1. 一句話總結

玉山銀行總工程師黃仕鎮分享行內自建的生成式AI對話平台「GENIE」從上線初期使用率低迷、到2024 年推出GENIE 2.0後月使用人數成長200%、使用量成長六倍的一整年歷程，並帶出會議紀錄、OCR、財經新聞彙整等特定型AI應用如何在銀行的法遵框架下落地。

2. 重點筆記

講者背景與玉山智能金融處

黃仕鎮現任玉山銀行總工程師，隸屬智能金融處；他是紐約大學電腦科學博士，曾在AT&T貝爾實驗室擔任研究員，也在國立中央大學兼任教職，並在玉山銀行內部歷任首席架構師、資料科學總監等職務（查證：年會官方臉書講者介紹，內容與投影片自我介紹一致）。他笑稱自己是「資訊黑手、AI白手」，開發資歷已累積超過三分之一個世紀。

玉山銀行的組織文化是每十年設定一個目標：上一個十年（第三個十年）的目標是「科技的玉山」，也是在那時候成立了智能金融處；今年（第四個十年）的目標則是「台灣的玉山、世界的玉山」，重心轉向海外市場。智能金融處目前約有百人規模的AI團隊，自行建模、自行導入解決方案（講者自述；會後媒體報導同樣提到智能金融處約百人團隊、每天維運兩百八十餘支模型或流程機器人，可視為外部佐證）。

GENIE 上線初期的血淚史

故事要回到2022 年十一月，ChatGPT問世後玉山行內就開始思考「大型語言模型怎麼在行內使用」。但銀行是特許行業，黃仕鎮講得很直白：「顧客的資料其實是我們的生命，我們不能隨便把生命丟到牆外去。」所以玉山不能任意串接外部ChatGPT，而是決定打造行內自有的對話平台，底層雖然仍串接OpenAI的模型，但在資料送出前會透過DLP（資料外洩防護）機制，把機敏資訊做遮罩或替換。經過約一年準備，GENIE在2024 年一月正式上線。

上線初期成效很差：三十七天的統計資料顯示，使用過的不重複人數只占開放總人數的17.8%，其中4.1%的人只問過一到兩個問題、6.6%的人只問過三到十個問題，只有2.7%的人達到「假設每天都問一題」的使用強度；每日不重複使用人數更只占開放總人數的2.1%。

他用二分法拆解「為什麼沒人用」：先分成「用過」與「沒用過」。用過但不繼續用的，又分成不會用、會用但沒有想用的功能、會用但不滿意產出這三種；沒用過的則分成不知道有這服務、知道但不知道怎麼用、知道但沒有想要用（背後常常是主管沒讓下屬用，因為每個月會依部門用量核發帳單，主管不支持，下面的人自然不會用）。投影片的細節數字是：使用過但沒繼續用的人，占不重複使用人數的58.8%；每日活躍使用者從一開始就流失了40%的人。

解法與GENIE 2.0

補救做法很直接：功能上增加多通路（電腦、手機）與多模態輸入輸出（PDF、文字、圖片、語音、HTML、影片），補上提示詞模板庫讓不會下指令的人可以照抄，並且強化教育訓練——尤其是對主管的教育訓練，因為主管不支持，下面的人就不會用。2024 年九月GENIE 2.0上線，新功能陸續補齊，搭配各單位的推廣活動，月使用量呈現20%的加權成長；累積到這次年會的時間點，相較2024 年GAI年會，月使用人數成長200%、實際使用量成長600%（也就是六倍）。這兩個成長數字都是講者自述，查不到外部稽核佐證。

系統架構與法遵限制

GENIE並非全自建，而是整合各雲端服務商最適合的SaaS元件：預設模型走Azure OpenAI，網路檢索用GCP的Grounding with Google Search，內部知識點則整合既有的行內問答機器人，並評估過GCP Agent Builder、AWS Bedrock、Microsoft Copilot Studio作為模組化元件的候選。考量銀行業務特性，玉山把AI生成內容的正確與精準放在治理精神之前：建立護欄強化個資與資安風險管理、強化知識檢索能力以降低幻覺、回答內容需考量玉山的服務品質與專業形象；費用控管上，每一筆呼叫都要記錄來源單位與費用使用狀況，做上限追蹤（也就是FinOps的概念）。

這套「資料不能出行、正確性優先於炫技」的treatment，呼應了金管會2024 年六月發布的「金融業運用人工智慧（AI）指引」。該指引提出六大核心原則（建立治理及問責機制、重視公平性及以人為本、保護隱私及客戶權益、確保系統穩健性與安全性、落實透明性與可解釋性、促進永續發展），也明白要求金融機構若使用第三方生成式AI，仍須由行內人員對其產出結果做客觀專業的風險判斷，這與黃仕鎮提到玉山堅持自建GENIE、寧可多花一年也要把DLP機制做好的邏輯是一致的。

特定型AI應用：智能會議紀錄服務

第一個案例是行內自建的智能會議紀錄服務。他先回應了一個必然會被問到的問題：外面已經有很多會議紀錄工具，為什麼玉山還要自己做一套；答案還是回到金融業的本質——個人機密資料與業務機密不能外流，只能自建。

技術做法上，玉山不只是把逐字稿丟給大型語言模型摘要，而是先做一輪「修整」：把贅字、重複字先清掉，產出一份修整過的逐字稿，讓後續摘要更有效率也更精確。標題產製則採用切塊（chunk）方式：把一場一到兩小時的長會議切成多個段落分別摘要並取出段落標題，再把所有段落標題彙整、請大型語言模型評估哪幾個才是真正重要的主題。玉山一度考慮過改回讓使用者自己下標題，但觀察到從GPT-4之後模型判斷標題的準確度明顯提升，最後還是維持自動化的做法。代辦事項的擷取則是偵測「請某某人做某件事」這類句型，自動列成待辦清單，準確度相對沒有那麼高——他舉例，連這場演講本身的錄音都會被系統判斷出好幾條代辦事項。

投影片附上的具體量化指標很有意思：摘要長度占修整逐字稿長度的比例落在1.1%到32%之間；待辦事項長度占修整逐字稿長度的比例則是0.6%到33%；修整逐字稿長度占原始逐字稿長度的比例是7%到20%（可以理解成贅字比例）；而講話速度是用「會議時長除以逐字稿長度」估算，約每秒 0.17 字。這些數據進一步被拿來分析每位同仁的開會習慣：誰的會議重點最多、誰的待辦事項最多、誰的贅字最多、誰講話最快，甚至用文字雲讓主管一眼看出「同仁每天到底在開什麼會」。

特定型AI應用：智能OCR

玉山過去做OCR一向是針對固定格式（支票、身分證）自行訓練模型，辨識準確度可以到99.9%以上（講者自述，查無外部稽核佐證）。但另一類是格式不固定的辨識，例如發票、電費單、財報，每一張格式都不一樣；玉山新的做法是改用大型語言模型直接讀圖，只要先告訴模型要抓哪些欄位，模型就能直接讀出答案，等於做出一套「非固定模板式」的OCR。投影片提到，這種做法讓智能OCR服務的開發週期縮短到一個月。

特定型AI應用：財經新聞彙整

玉山的財經處同仁每天要看五十個網站，涵蓋八種貨幣與對應央行（美元與聯準會、歐元與歐洲央行、英鎊與英格蘭銀行、日圓與日本央行、人民幣與中國人民銀行、澳幣與澳洲央行、紐幣與紐西蘭央行、加幣與加拿大央行）的政策與市場動態，靠人力彙整每天一篇報告非常耗時。玉山的做法是先用JSON格式把每篇新聞結構化摘要，再統整成一份JSON、寫成新聞稿、翻譯成台灣慣用的繁體中文，並保留原文索引方便回查。投影片解釋為什麼要用這種「階層式」的多層提示詞設計：單一提示詞有輸入字數上限、對輸出格式與內容的控制力也比較弱，階層式設計的品質相對穩定；此外還搭配反問機制（讓模型自我檢查分類是否正確）與相似度比對來尋找引用來源，作為過濾雜訊、降低幻覺的檢驗手段。

未來展望

黃仕鎮觀察到行內AI應用的趨勢，是從輔助型的AI（copilot）走向具備自主性的代理人模式（agentic），服務對象也逐漸從行員本身走向客戶端。投影片畫出的願景圖是打造「顧客AI Agent」與「行員AI Agent」雙軌並行：顧客端朝主動式資產配置建議、主動偵測存款水位並提醒調度資金發展；行員端則持續深化內部文件檢索、會議記錄整理、表單與報告生成。下一步是擴大GENIE的應用場景，推動以MCP（Model Context Protocol）框架為基礎的代理整合，目標是打造安全、可靠、易用的金融AI生態系。

3. 關鍵數據與案例

數據／案例內容標註
GENIE上線初期使用率三十七天內，使用過不重複人數占開放總人數17.8%；每日不重複使用人數占2.1%講者自述（投影片），無外部稽核佐證
使用過但沒繼續用的比例占不重複使用人數58.8%；每日活躍使用者一開始流失40%講者自述（投影片）
GENIE 2.0後的成長相較2024 年GAI年會，月使用人數成長200%、實際使用量成長600%（六倍），月加權成長約20%講者自述，無外部來源佐證
智能會議紀錄服務量化指標摘要長度／逐字稿長度1.1%～32%；待辦長度／逐字稿長度0.6%～33%；修整逐字稿／原逐字稿7%～20%；語速約每秒0.17 字講者自述（投影片）
固定格式OCR辨識率支票、身分證等固定格式辨識率達99.9%以上講者自述，無外部來源佐證
智能OCR開發週期開發週期縮短到一個月講者自述（投影片）
財經新聞彙整規模每日蒐集整合超過五十份資料，涵蓋八種貨幣與對應央行講者自述（投影片）
智能金融處團隊規模約百人的AI團隊，每天維運約兩百八十餘支模型或流程機器人講者自述，有會後媒體報導相互印證

4. 金句

  • 「銀行是一個特許的行業，顧客的資料其實是我們的生命，我們不能隨便把生命丟到牆外去。」
  • 「我們基本上可以相信它自己定的標題，定的不會比我們人定的差。」
  • 「從agentic的角度來看，其實就是元件化——我們怎麼把很多的AI變成一個一個的agentic AI，然後把它整合起來。」

5. 提到的工具與名詞

  • GENIE、GENIE 2.0：玉山銀行行內生成式AI對話平台
  • DLP（資料外洩防護）：送出外部模型前的機敏資訊遮罩機制
  • RAG（檢索增強生成）：行內知識檢索的核心架構
  • Azure OpenAI、GCP Grounding with Google Search、GCP Agent Builder、AWS Bedrock、Microsoft Copilot Studio：GENIE整合的雲端服務元件
  • MCP（Model Context Protocol）：未來代理整合規劃採用的框架
  • SPOCR／GPOCR：投影片對「特定用途OCR」與「通用型OCR」的簡稱
  • FinOps：AI服務費用控管與追蹤的概念
  • Pydantic Structure：財經新聞結構化摘要提示詞中提到的輸出格式規範

6. 延伸觀察

這場真正的看點不是後來的成長數字，而是他願意先攤開「17.8%」這麼難看的起手式。多數企業案例分享只講成功故事，他先講清楚失敗的樣貌、再拆解根因，反而更有參考價值——尤其是「主管不支持就沒人敢用」這條，聽起來像小事，但點出了企業導入AI常常卡在治理誘因而不是技術本身。

金融業寧可自建也不用現成整合型服務的取捨也很值得記一筆：多數新創的邏輯是能用SaaS就不重造輪子，但玉山的每一個特定型應用（會議紀錄、OCR、財經新聞）都選擇自建，理由永遠回到同一句話：客戶資料是生命，不能外流。這跟開發者年會第一場林鉦育（同樣任職玉山銀行智能金融處，現職資深副總工程師）分享行內導入GitHub Copilot的內容遙相呼應——兩場分屬兩天、面向不同（一個對內談工程師生產力，一個對內談全行同仁的知識型助理），但都指向玉山銀行內部這一兩年在生成式AI上的紮實布局，兩人的實際分工與關係不確定，不多做揣測。

7. 資料來源

項目來源
黃仕鎮學經歷（紐約大學電腦科學博士、AT&T貝爾實驗室、國立中央大學兼任教職、玉山銀行內部歷任職務）年會官方臉書講者介紹
玉山銀行總工程師現職經濟日報／聯合新聞網報導
智能金融處團隊規模與流程機器人維運數量Business Insider（原Business Yee）報導
金管會「金融業運用人工智慧（AI）指引」與六大核心原則金融監督管理委員會新聞稿
林鉦育現職與開發者年會分享內容議程總覽
GENIE平台架構、成長數字、各項特定型應用細節講者投影片《玉山銀行生成式AI服務的發展》