金融業新一波軍備賽開打！中信金、台新金率先導入 LLM，機器人客服更聰明
十幾年前，台新銀行、中國信託銀行為台灣第一批引進大數據模型、資料採礦（Data Mining）的金融機構。在這一波的資訊革新浪頭上，這兩家銀行又率先引進了近兩年最熱門的大型語言模型（large language model，簡稱LLM），以生成式人工智慧技術，升級內部知識管理，強化企業腦，讓組織更有競爭力。
台新金、中信金率先導入 LLM
金融界認為，LLM 有可能改變企業內部營運和客戶體驗。國內金控看好 LLM 的潛力，也開始導入。2023 年 10 月，台新金控揭露生成式 AI 進展，不只制定 AI 發展關鍵因子和 AI 導入指引，還發展 4 項實驗專案，包括協作平台的聊天機器人 Teams Chatbot、知識管理平台、程式碼撰寫助理 Codex，以及虛擬智能客服。
台新金控表示，實驗的虛擬智能客服，並非僅使用微軟建置在雲端的模型，而是分別採用雲端模型和地端模型進行實驗，以了解各個業務場景適合使用的模型。
同樣在去年 11 月，「2023 台北國際金融博覽會」上，中信金控首次展示生成式 AI 應用，中國信託商業銀行利用 LLM 搭配自家銀行產品知識庫，打造理財與信用卡諮詢「AI 智能助理」，大幅提升理解與對話能力，以擬人對答、記憶內容互動，使對話前後連貫，服務更有溫度。
據了解，除了這 2 家金控外，也有其他銀行業者積極布局生成式 AI，和以往金融業強調的 AI 不同。這一波資訊革新的進入門檻，即是 LLM，甚至有金融業者在去年就下訂了內建輝達 H100 GPU 的 AI 伺服器，一台要價新台幣 1,500 萬元，預計今年到貨，開始運作大型語言模型。
自 ChatGPT 於 2022 年 11 月面世以來，LLM 技術已從單純完善文案和分析模型，不斷擴充，讓企業可進行各種聊天機器人等生成式 AI 功能的開發。
國際大型銀行應用於輔助系統
根據 OpenAI 自行公布的資訊，美國跨國投資銀行摩根士丹利（Morgan Stanley）推出一款由 OpenAI 最新技術支援的高級聊天機器人，以幫助該公司的財務顧問團隊。該工具已經開發了 1 年，開發的動機是幫助該銀行約 16,000 名顧問利用該銀行龐大的研究和資料庫。
尤其是當財務顧問和客戶通話時，人工智慧系統在一旁輔助，可減輕財務顧問在回應上的負擔。例如當客戶問到比較複雜的問題，AI 輔助系統也許可以提出較好的建議，或客戶問到一些專業，恰好是理財顧問不熟悉的領域時，AI 輔助系統也可給出建議的答案。
荷蘭銀行（ABN AMRO）則擴大了生成式人工智慧的使用範圍，以生成銀行理財產品頁面的摘要。這些內容通常龐雜，需要大量的人力與時間編輯，但AI可以輕鬆完成此工作。高盛集團（Goldman Sachs）正在試驗生成式人工智慧工具，以協助其軟體工程師自動產生程式碼。
富國銀行送員工到史丹佛大學進修
美國富國銀行（Wells Fargo）首席資訊長梅爾塔（Chintan Mehta）在今年 1 月指出，引進生成式人工智慧應用程式，包括該公司的虛擬助理應用程式，自去年 3 月推出以來已處理了 2,000 萬次互動。
但他認為這個數字還能大幅成長，今年1月他在一場舊金山的論壇「AI Impact Tour Event」上預估，實際上每年互動應該能進行近 1 億次或更多次。富國銀行對全面導入人工智慧應用非常積極，該銀行已讓 4,000 名員工參加了美國史丹佛大學「以人為本」的人工智慧計畫（Stanford's Humancentered AI Program，簡稱 HAI）。
富國銀行在該 Google Dialogflow 基礎上建構，並使用 Google的PaLM 2 LLM 啟動了自家的大型語言模型，讓客戶可透過手機用語音提問、用文字提問，把一些瑣碎、常見的問題，透過生成式 AI 順利地回應客戶，降低客服中心人員的負擔。
印度兩大民營銀行加入 LLM 戰局
不只歐美國家，其他國家的金融業者也越來越重視大型語言模型的應用。例如，印度大型消金銀行 HDFC 銀行推出由大型語言模型提供支援的網站，而其競爭對手 Axis 銀行則運用大型語言模型，為客戶推出以生成式人工智慧開發出來的虛擬助理（類似國內銀行推出財務管理小幫手）。
《印度時報》報導，HDFC 銀行還將利用 GenAI 的 LLM 來編寫信用評分模型，以及過去分析師通常必須手動搜尋大量資料，才能編寫業務需求文件等。
客製化 LLM 訓練後，變得更「聰明」
客製化大型語言模型（Custom LLMs）現已成為銀行界中耳熟能詳的字眼，毋庸置疑，金融科技組織正在充分利用大型語言模型建立自己的優勢。
應用的共通流程大致如下，第一階段是根據特定資料訓練這些模型，以確保它們能夠獲得有用的資訊。國外的研究逐漸證實，大型語言模式在討論客戶服務和知識、數據行銷時，可發揮巨大的作用。
尤其是這些工具對於金融科技新創公司來說，更能發揮絕對效用。從財務管理的建議到帳戶管理，客製化 LLM 有能力簡化每個流程，並找出最好及最有價值的重點。
而且 LLM 透過不斷訓練得以進化。隨著每次迭代，這些語言模型都變得更加先進，這種能力有時會讓人出乎意料之外。透過這些功能，金融科技公司可以簡化其營運過程，從而提高整體效率。
過去，金融機構開發模型程序是透過實驗設計，找出最佳變數，制定最佳預測模型，例如信用評等、成交機率、詐欺偵測等。然而，在客製化LLM時代，模型是「活的」。
在傳統的大數據資料分析中，模型一個接著一個建立，也許彼此之間是獨立的。但在大型語言模型時代，模型藉由不斷的學習而精進。兩家銀行之間，即便向同一家顧問公司、資訊公司引進相同的大型語言模型，但經過 1、2 年以後，由於訓練的歷程、內涵不同，兩家銀行的 LLM 模型本質上已有巨大差異。
潛力無窮，但有聲音呼籲納管
然而，若使用現成的大型語言模型 ChatGPT，將有資料外洩風險。因此，國內金控多為導入已開發完成大型語言模型，再以自家資料進行訓練。所謂大型語言模型，其可用算參數可以超過 100 億個，因此需要強大的運算能力，雖然國內多家金控進行資料採礦多年，已有成熟的知識管理體系，但面對大型語言模型，又是另一新層次的挑戰。
此外，大型語言模型領先的 OpenAI 去年宣布運行 ChatGPT 的底層模型「GPT-3.5-Turbo」公開測試版。對於銀行業者來說，新模型的成本降低了 10 倍，速度更快，數學能力更強，並且允許銀行業者透過 API 與引擎連接。對於已使用大型語言模型的摩根大通銀行、亞馬遜、威訊無線（Verizon Wireless）和埃森哲（Accenture）等來說，仍刻意有限度地使用大型語言模型，以降低風險。
當然，金融機構導入大型語言模型，也並非毫無風險，例如資料正確性、是否違法使用客戶資料而觸法，以及前期投入成本、時間和人力都很可觀。
金融業遇到另一個限制，可能來自於監理機關和現行法規，使得大型語言模型還不能有過多的「突破」作為，仍要遵循既有規範。另外，金融機構內部對於各種資料的使用權限，也決定了LLM能做什麼、不能做什麼。
目前，已有國際學者陸續呼籲，應該對大型語言模型管制，不能放任AI演算法過度發揮。然而，在LLM發展初期，各行各業仍在摸索、嘗試其潛能，這樣的聲音似乎稍嫌過早。但平心而論，不論是哪一種模型、功效有多好，每筆交易的最後都是人，其最終目的還是在於了解並滿足消費者在數位時代的期望與需求。
（本文經《台灣銀行家》授權轉載）
延伸閱讀
擺脫繁冗的投保、理賠手續，保險業者如何用 AI 、IoT 技術優化客戶體驗？
ChatGPT 橫空出世，AI 會誘發下一場系統性金融風險嗎？
核心系統轉型釀風波，金融業如何避免重蹈覆轍？成功關鍵要素為何？