智慧幕僚是什麼？NVIDIA DGX Spark驅動大數據《KEYLM》 打造公部門AI決策平台
台灣數據科技領導品牌大數據股份有限公司於今(24)日宣布推出《KEYLM》智慧幕僚解決方案，鎖定政府單位的決策支援與備詢應用，將自有累積逾十年、超過65億筆繁體中文語料訓練而成的領域語言模型BIG10，結合AI Agent平台，並以NVIDIA DGX Spark為地端算力基礎，搭配NVIDIA軟體技術包括NVIDIA NeMo Framework與NVIDIA NeMo Agent Toolkit強化模型微調與Agent治理能力，實現一機到位的地端部署，在確保回答可溯源、過程可稽核的前提下，同步提升整體效能。大數據(股)公司營運長暨發言人蔣志薇表示，全球主權AI市場快速成長，公部門對資料落地與資安治理的需求日益升高，《KEYLM》採用NVIDIA軟硬整合架構，同時填補繁體中文長期在國際AI訓練資料中相對弱勢的缺口，協助政府機關以真正理解台灣在地語境的AI模型，解決知識分散、人工彙整費時、資料不得上雲三大課題。
從全球主權AI趨勢到BIG10
看懂繁體中文語境的關鍵起點
市場研究機構Fortune Business Insights預測，全球主權雲市場規模將從2026年的1,953.5億美元，成長至2034年的1兆3,185.7億美元，年複合成長率達27%，並指出政府與公部門對資料落地與資安治理的高度重視，是帶動此一市場成長的主要動能之一。這顯示地端部署、資料不出域，已從少數政府的特例需求，逐步成為全球公部門共同面對的AI導入課題。
台灣政府單位長期面臨各機關知識分散於公文、會議紀錄、報表與答詢稿之間，臨時備詢與政策說明往往耗費大量人工查找；同時，人工彙整品質不一、時效有限。最關鍵的的是，政府機敏資料不得外傳上雲，必須於地端運行、資料不出域，且回答可溯源、過程可稽核。一套真正理解台灣在地語境的AI模型，正是繁體中文長期在全球AI訓練資料中相對弱勢的現實所在。以具代表性的開放多語言大型語言模型BLOOM為例，其訓練語料中英語佔比逾三成、簡體中文亦佔約一成六，繁體中文相關語料則未被獨立列計，反映出國際主流AI訓練資料對繁體中文長期關注不足。
大數據(股)公司累積逾十年、超過65億筆繁體中文語料，精選微調而成的BIG10，即是針對此一缺口所建立的領域語言模型。而智慧幕僚也能在上述資安前提下，整合機關內部文件、業務資料與外部輿情，提供即問即答、即時產報、輿情感知與知識治理四項能力，將政府的知識從人工翻找，升級為AI即問即答的決策支援。
一台主機 三層架構
大數據(股)公司
《KEYLM》協同運作平台、模型、算力 以NVIDIA DGX Spark驅動智慧幕僚
《KEYLM》是一套涵蓋平台、模型與硬體三個層次的軟硬整合解決方案。平台層為KEYLM Agent Platform，是企業與政府內部的AI數據中台，具備四層系統架構、知識庫管理、可溯源的RAG問答、Agent工作流、長期記憶，以及權限治理與用量管理；其Agent治理採用NVIDIA NeMo Agent Toolkit，用於建置、運行與優化AI Agent工作流，提供效能剖析、可觀測性與評估，讓Agent行為可追蹤、可評估、可稽核，並於工作流層級降低大型語言模型呼叫次數、token用量與整體延遲。
大數據(股)公司以累積十年、超過65億筆繁體中文語料微調而成的領域語言模型BIG10，能理解台灣在地語境與機關用語，並可依任務機密性與雲端大模型彈性切換；模型微調採用NVIDIA NeMo Framework，透過資料整備、去識別化、領域微調與評測等能力，將繁體中文領域知識注入模型，其中去識別化能力對政府場景尤為重要。KEYLM Box則是搭載單一台NVIDIA DGX Spark，具備NVIDIA GB10 Grace Blackwell超級晶片與128GB統一記憶體，使單機即可同時承載AI Agent平台、BIG10模型與知識檢索，讓整套智慧幕僚得以在地端落地、資料不出域。大數據(股)公司於DGX Spark上完成推論優化後，相較於未經優化的同級開源模型，記憶體用量降低約一半、回應速度提升約一倍。
市面多數企業AI方案需要可觀的伺服器與機房投入，《KEYLM》則將一套AI代理智慧幕僚所需的完整能力，收斂於一台桌邊大小的DGX Spark之中，一台機器即可承載一個機關的智慧幕僚。大數據(股)公司也將持續以既有數據資產與技術研發能量為基礎，採用NVIDIA等業界主流技術架構，加速AI解決方案的落地速度，協助更多政府機關與企業，建立真正貼近在地語境、值得信任的AI應用。