粉絲團
國泰金控攜手NVIDIA，共同研究運用 NVIDIA NeMo訓練台灣金融授信大型語言模型（LLM），以符合台灣的監管環境與市場需求。圖為國泰金控副總經理暨國泰世華銀行數據長梁明喬。（國泰金控提供）
〔記者吳欣恬／台北報導〕國泰金控攜手NVIDIA，共同研究運用NVIDIA NeMo訓練台灣金融授信大型語言模型（LLM），以符合台灣的監管環境與市場需求。國泰金控今在NVIDIA GTC Taipei發表此成果，經過訓練後，大型語言模型具備通過進階授信人員證照考試能力，顯示大型語言模型在處理專業金融知識方面的可行性。
國泰金控去年推出「國泰生成式AI技術發展框架GAIA」，更宣布以AI即服務（AI as a service）策略，全面提升集團在數位、數據、技術轉型的效益，發展多元AI智能應用。此舉旨在透過導入多元AI解決方案，加速集團在數位、資料與科技領域的轉型進程。
國泰金表示，與NVIDIA的合作是這項策略藍圖的一環，共同研究如何運用 NVIDIA NeMo在符合法規與商業需求的前提下，於本地端安全部署大型語言模型，以契合台灣的監管環境與市場需求。
這項成果於今日在NVIDIA GTC Taipei發表，顯示大型語言模型在處理專業金融知識方面的可行性，為區域內具規模、特定領域的AI應用奠定基礎。同時提出在台灣金融業導入AI智慧代理的發展藍圖，突顯國泰在技術領域的領導地位與對創新的承諾。
國泰金控副總經理暨國泰世華銀行數據長梁明喬表示，我們運用台灣本地金融授信知識、法規文獻及實務案例等作為訓練語料，在模型上利用NVIDIA NeMo框架進行預訓練、微調等技術手法，藉NVIDIA的加速運算完成70至80億參數量的大型語言模型訓練。
他說明，透過知識蒸餾（Knowledge Distillation）與NVIDIA NeMo Curator框架，擴增訓練資料達4至5倍，大幅縮短資料準備時間，也輔以NVIDIA TensorRT框架加速模型評估流程。成果顯示，此模型不僅能精準回應進階金融問答，也具備通過進階授信人員證照考試能力，展現AI在金融領域的應用潛力。
國泰金指出，隨著全球AI技術快速演進，AI Agent正成為新一代人工智慧的發展趨勢。相較傳統具對話功能的工具型AI，AI Agent具備環境感測、記憶與自主規劃能力，能根據情境變化主動推論、規劃並執行任務，象徵AI由「回應式工具」正式邁入「主動型代理」的新階段。
而在金融場域中，AI Agent的應用潛力無窮，但目前市面上多數屬通用大型語言模型，對於台灣在地金融知識、專業術語及產業實務掌握仍不足，難以準確回應台灣市場金融使用者需求。
此次國泰金控運用NVIDIA加速運算的優勢，充分展現金融機構如何結合專有與產業特定資料，進一步提升大型語言模型的應用效能。
國泰金控使用NVIDIA加速運算平台的成果，展示了金融機構如何結合專有和產業特定資料以超越基礎大型語言模型。
梁明喬強調，國泰金控將持續與NVIDIA合作，推進具備更廣泛金融知識與實務應用能力的領域專屬大型語言模型（LLM）。展望未來，國泰金控將持續強化AI Agent的適應性推理、複雜決策輔助與情境感知任務執行等能力，涵蓋從交易處理、服務自動化到智慧資訊擷取等多元應用。
他透露，國泰對生成式AI的發展運用，分為對客運用，以及對內部員工的應用。在對內部員工上，協助員工摘要、文件生成，以及作業流程的支持查詢助理，今年上半年已在慢慢落實應用；對客戶數位體驗上，預計最快在今年第4季或明年第1季，會推出小型生成式AI互動的體驗。
一手掌握經濟脈動 點我訂閱自由財經Youtube頻道
不用抽 不用搶 現在用APP看新聞 保證天天中獎 點我下載APP 按我看活動辦法
