大數據 KEYLM 上線！65 億筆繁中語料練出 BIG10 語言模型，讓政府 AI 幕僚也能聽懂繁中
擁有「網路溫度計 DailyView」等產品的數據科技品牌大數據股份有限公司（以下簡稱大數據），於 7 月 24 日宣布推出 AI 智慧幕僚解決方案《KEYLM》，鎖定政府機關決策支援與備詢應用。
《KEYLM》以大數據累積逾十年、超過 65 億筆繁體中文語料訓練而成的領域語言模型 BIG10 為核心，結合 AI Agent 平台，協助政府機關整合內部知識、支援政策決策與備詢，並能在資料不出域的前提下完成地端部署，兼顧回答可溯源、流程可稽核等需求。整套系統更採用 NVIDIA 軟硬體技術架構，來提升模型推論效能與 AI Agent 的管理能力。
大數據營運長暨發言人蔣志薇表示，隨著全球主權 AI 快速發展，政府機關對資料落地與資安治理的需求持續增加。KEYLM 採用 NVIDIA 軟硬體整合架構，同時補足繁體中文長期在國際 AI 訓練資料中的不足，希望協助政府建立真正理解台灣語境的 AI 能力，解決知識分散、人工整理耗時，以及敏感資料無法上雲等挑戰。
全球主權 AI 趨勢下，繁體中文模型成關鍵基礎
根據市場研究機構 Fortune Business Insights 預測，全球主權雲市場規模將從 2026 年的 1,953.5 億美元，成長至 2034 年的 1 兆 3,185.7 億美元，年複合成長率達 27%。其中，政府與公部門對資料落地、資訊安全與治理的需求，被視為帶動市場成長的重要因素，也讓「地端部署、資料不出域」逐漸成為各國政府導入 AI 的共同方向。
對台灣政府機關而言，政策知識往往散落於公文、會議紀錄、報表及答詢資料之中，面對臨時備詢或政策說明時，仍高度仰賴人工搜尋與整理，不僅效率有限，也難以維持一致性。且政府機密敏感資料無法上雲，因此 AI 系統除了需要具備地端部署能力，更必須兼顧回答可溯源、流程可稽核等要求。
而目前國際大型語言模型的訓練資料仍以英文與簡體中文為主。以開源大型語言模型 BLOOM 為例，其訓練語料中英語占比超過三成、簡體中文約占一成六，繁體中文則未被獨立列計，反映出台灣語境長期缺乏足夠的 AI 訓練資源。
為此，大數據運用累積十餘年的數據基礎，打造領域語言模型 BIG10，透過超過 65 億筆繁體中文語料進行微調，希望讓 AI 更能理解台灣在地語境與政府行政用語。
搭配 KEYLM 智慧幕僚後，系統可在資料不出域的前提下，整合機關內部文件、業務資料及外部輿情資訊，提供即問即答、即時產製報告、輿情分析及知識治理等能力，協助政府將原本分散的知識資產，轉化為可快速查詢與應用的決策支援工具。
延伸閱讀｜建築師每年花 60% 在畫圖！AI 新創 illoca 推出「建築 AI」，1 分鐘將草圖化為 3D 模型
一台 NVIDIA DGX Spark，整合平台、模型與算力
大數據表示，《KEYLM》採用平台、模型與硬體三層架構整合設計。
平台層為 KEYLM Agent Platform，提供知識庫管理、具溯源能力的 RAG 問答、AI Agent 工作流程、長期記憶，以及權限與用量管理等功能，作為政府與企業內部的 AI 數據中台。
其中，Agent 治理採用 NVIDIA NeMo Agent Toolkit，可建置、管理與優化 AI Agent 工作流程，並提供效能分析、可觀測性及評估能力，使 Agent 的決策流程具備可追蹤、可評估與可稽核特性，同時降低大型語言模型呼叫次數、Token 消耗及整體延遲。
模型層則採用大數據自主打造的 BIG10，透過超過 65 億筆繁體中文語料進行領域微調，能理解台灣語境與政府行政用語，並可依不同任務需求，在地端模型與雲端大型語言模型之間彈性切換。模型訓練過程導入 NVIDIA NeMo Framework，涵蓋資料整備、去識別化、領域微調及模型評測等流程，其中資料去識別化能力也特別符合政府機關對敏感資訊處理的需求。
硬體層則由 KEYLM Box 承載，搭載單一台 NVIDIA DGX Spark，內建 NVIDIA GB10 Grace Blackwell 超級晶片 與 128GB 統一記憶體，可同時運行 AI Agent 平台、BIG10 模型與知識檢索系統，讓整套智慧幕僚能完整於地端運作。
大數據表示，完成 DGX Spark 推論最佳化後，相較於未經優化的同級開源模型，可將記憶體使用量降低約五成，推論速度提升約一倍。
相較於市場上許多企業 AI 導入方案仍需投入大量伺服器與機房資源，KEYLM 將 AI Agent、語言模型及推論能力整合於一台桌邊大小的設備中，一台機器即可支援單一政府機關的智慧幕僚需求。
未來，大數據將持續結合既有數據資產與 AI 研發能力，並採用 NVIDIA 等主流技術架構，加速 AI 解決方案落地，協助更多政府機關與企業建立兼顧在地語境、資料安全與可信任性的 AI 應用。
延伸閱讀｜善用累積 10 年的輿情、社群數據！「網路溫度計」推 3 項 AI 解方幫企業掌控聲量
（本文轉載自《創業小聚》）
延伸閱讀
記憶體缺到看不到盡頭！黃仁勳為何飛韓國談生意？專家解析台韓新分工
川普說台灣偷晶片技術？科技專家拆解聯發科：靠什麼拿下 Google TPU 設計訂單、輝達也找上門
導入 CDP = 做好顧客體驗管理？別再買 MarTech 工具了，這套「五大底層架構」企業需先搞懂