1 年雲端 AI 預算 3 個月燒光!企業為何要搶回主權 AI?拆解 token 帳單三層陷阱
「1 年的雲端 token 預算,3 個月就花光。」這是 APMIC(亞太智能機器)創辦人暨執行長吳柏翰(首圖)近來常從客戶口中聽到的故事。國際大廠也不例外,Uber 技術長今年證實,工程團隊大量導入 Claude Code 等 AI 寫程式工具後,2026 年全年的 AI 程式開發工具預算 4 個月就已用罄。帳單失控、供應商說停就停,讓主權 AI 不只是國家議題,也成了企業的營運課題。
政策端同樣在加速。行政院今年 6 月拍板以教育、醫療、金融、司法作為主權 AI 示範場景,「AI 新十大建設」2025 至 2028 年預估合計投入約 1,366 億元。數發部也提出 4 層策略,從境內算力、模型評測、金融與法務垂直模型,一路到方案輸出海外。
垂直模型已陸續啟動。法務部 6 月 3 日啟動「法務專屬大型語言模型計畫」,規劃 2026 至 2028 年分試驗、推廣、優化三階段推進,優先運用在檢察、觀護、行政執行及政府採購等場域。
《數位時代》創新長黃亮崢 James 邀請吳柏翰 Jerry 對談。APMIC 今年 3 月完成 700 萬美元(約新台幣 2.2 億元)A 輪融資,負責台灣金融大語言模型(FinLLM)的調校與優化,並自研 240 億參數的 ACE-1 模型。
以下 Q 為《數位時代》創新長黃亮崢提問,A 為 APMIC 創辦人暨執行長吳柏翰回答。本集節目於 2026 年 7 月 25 日上架,文中說法以當時為準。
文章目錄
Q1:主權 AI 這 2 年起了什麼變化?台灣又站在哪個位置?
Q2:企業用雲端 AI,真實的成本和風險在哪裡?
Q3:小模型如何打贏大模型?以開放權重模型為基座,還算是主權嗎?
Q4:金融模型如何兼顧資料不出門,又避免幻覺和漏讀?
Q5:垂直領域主權 AI 該由政府出錢還是產業出錢?會不會淪為蚊子館?
Q6:主權 AI 能輸出海外嗎?30 人的新創怎麼分配資源?
Q7:企業決策者回到辦公室,第一步該做什麼?
Q1:主權 AI 這 2 年起了什麼變化?台灣又站在哪個位置?
A: 黃仁勳在 2024 年大力倡議主權 AI 時,核心論述很簡單:每個國家的資料就是自己的礦產,不應該送到別的國家去精煉。中東、東南亞國家從此紛紛規劃自己的算力中心。
但兩年過去,大家發現真正能全端自主的,大概只有美國和中國。McKinsey 估計 2030 年主權 AI 市場將達 5,000 億至 6,000 億美元(約新台幣 16 兆至 19 兆元),但全球只有約 30 個國家有足夠算力。
美國智庫 CNAS(新美國安全中心)的資料顯示,130 多個專案裡約 70% 有外國夥伴參與,其中 80% 涉及美國企業(編按:CNAS 該指數於 2026 年 8 月更新,追蹤專案增至 184 個,逾 60% 揭露至少 1 家外國夥伴)。主權從來不是完全獨立,而是在依賴與自主之間找平衡。
台灣走的是 Brookings(布魯金斯研究院)「管理式互賴」的變體,但多了輸出。APMIC 把主權 AI 想成同心圓:
- 國家主權(最外圈): 模型要懂我們的語言、歷史敘事與民主價值,算力中心要在我們的領土上。
- 產業主權(中間): 談的是特定行業的合規需求,例如金融模型不能引用美國法規來回答台灣的銀行問題。
- 企業主權(最內圈): 資料不能出門、成本要能預測、不能被一家供應商綁死。
三層不互斥。國家做好算力與評測標準,產業做好垂直領域的合規模型,企業才能在這個基礎上建立自己的主權 AI。
在模型層,台灣不可能和美、中正面對決。底層基座可以用開源、算力可以國際合作,但產業知識、法規邏輯與文化理解一定要自己掌握。
至於輸出,法國的 Mistral 想和 OpenAI 正面競爭,美國想把技術堆疊賣給全世界。台灣則是把方法論、工具與評測標準打包好,讓對方用自己的資料建出自己的模型,這和賣 GPU 是完全不同的生意。
Q2:企業用雲端 AI,真實的成本和風險在哪裡?
A: 我們最近聽到很多客戶,準備 1 年的雲端 token 預算,3 個月就花光。計費結構可以拆成 3 層陷阱。第一層是長文本懲罰。受 HBM(高頻寬記憶體)限制,上下文超過一定長度,輸入計價就多出 1 至 2 倍。企業動輒處理幾萬字的合約、法規,成本馬上疊上來。
第二層是輸出比輸入貴,一般是 4 至 6 倍,拿來寫報告、做深度分析,帳就高很多。第三層最恐怖,是推理的隱形稅。推理模型給答案前會先跑一段推理,但用掉多少 token,AI 不會告訴你。使用者看不見也無法預估,帳單卻照算。
我們做過比較:以每個 AI 代理每日約一億 token 計算,GPT-5.5 每百萬 token 約新台幣 450 元;用 ACE-1 搭配 NVFP4 精度(NVIDIA 的 4 位元浮點格式)做地端部署,攤提軟硬體成本後約 83 元,節省超過 80%。AI 客服更明顯,一個月照樣燒掉 300 萬 token,對營收的貢獻卻微乎其微。
成本之外,更大的風險是供應商說變就變。美國科技媒體 SiliconANGLE 有篇分析,在主權的 4 個核心維度之外,把這稱為第 5 個維度:財務主權,也就是價格與升級時程都由別人說了算。要降低這個風險,企業至少要守住 3 種控制權:
- 資料絕對權: 資料不離開你的掌握。
- 模型自主權: 不會因為供應商一句「關了」就用不到。
- 流程控制權: 工作流程不會因 API 改版就斷掉。
少了這 3 種控制權,代價很具體。企業可能花半年做完需求訪談、導入與驗測,連提示詞都調到堪用;供應商一紙公告說模型停用,就得整個重來。
延伸閱讀:聯發科傳砍員工 AI token 額度,官方怎麼說?Uber、微軟、Meta 如何管 AI 用量?
Q3:小模型如何打贏大模型?以開放權重模型為基座,還算是主權嗎?
A: 評測設計有影響。數發部 AI 評測中心(AIEC)的評測分三類:用學測國文題測語言能力、社會科題測對台灣社會的理解,以及數發部整理的台灣價值觀題。例如二戰中國戰場的主力是國軍還是共軍,台灣與中共官方的答案就不同。
ACE-1 價值觀拿到滿分,國文 83.78 分、社會 71.57 分,綜合約 255 分,排名全球第五。價值觀是我們的強項,因為微調時輸入了大量台灣語境資料。
但技術上真正的關鍵是蒸餾加微調。ACE-1 以 Google 的開放權重模型 Gemma 為基座,用知識蒸餾把大模型能力壓進 240 億參數的小模型。再搭配 NVFP4 量化,記憶體需求降 50%,精準度下降控制在 2% 以內。
大模型像百科全書,什麼都有但查起來慢又貴;小模型像行業實戰手冊,在擅長領域反應更快、更便宜、更精準。主權 AI 不一定是最大的模型,而是最理解你的模型。
至於基座會不會消失,Gemma 是開放權重模型,授權允許商業使用、修改與再散佈。雲端 API 的模型在別人伺服器上,隨時可能停用漲價;開放權重模型載到你的機器上就是你的。
我們的核心能力也不在基座,而在方法論。哪天 Google 改變策略,同樣方法可以移植到 Meta 或 NVIDIA 的 Nemotron(開放權重模型系列)。基座像建築地基,水泥可以換品牌,但上面的台灣金融法規、法律邏輯與語境,才是不可替代的主權資產。
大、小模型兩條路線也是互補。大型金控或政府機關做大規模預訓練,需要國家級算力;但台灣 90% 以上的企業需要的,是便宜、懂自己、能跑在自家機房的 AI 助手。
我們建議「知識分層、成本分流」:高敏感、需精確合規的工作交給地端小模型,通用、非敏感的繼續用雲端。
我們遇過一個客戶,查出將近 60% 的 token 是員工在問中午吃什麼。用 GPT-5 或 Gemini 3 Pro 回答便當問題非常浪費,地端小模型搭配 MCP(讓 AI 串接外部工具的標準協定)就能解決。
Q4:金融模型如何兼顧資料不出門,又避免幻覺和漏讀?
A: 我們設計的是「產業公版」,也就是參與銀行共有的產業主權模型。銀行內部資料與工作流程不放進來,放的是各家共通的法規、合規與情境資料。
金管會主委彭金隆說過,金融業高度仰賴語言與文本處理,又是高度監理的產業。用 ChatGPT 或 Gemini 問台灣的銀行問題,可能會引用美國規範來回答,而不是金管會對結構型商品的管理規則。
公版模型送到各家銀行後,是讓模型去找資料,而不是資料送到模型。每家銀行再微調出自家模型,資料就不會出門。
幻覺方面,一般做 RAG(檢索增強生成)要先把文件切塊,而嵌入模型受物理限制,長度頂多 32K。只要切錯地方,資料就開始錯亂。
像 100 多頁的合約,第 20 頁財務比率符合授信條件,第 120 頁卻有例外排除條款,切塊就可能漏掉。
我們的做法有兩個:
- 少切碎: 改用 128K 甚至百萬 token 的上下文視窗一次讀進去;超出時讓多個 Agent 分段處理,但每個 Agent 吃進去的都是完整長文本。
- 情境微調: 工程師常把提示詞調到上萬行,結果 Agent 越來越慢。我們讓 AI 開工前腦袋就內建這些邏輯。
以呼叫 MCP 為例,沒微調的開源模型失誤率幾乎達 70% 至 80%;微調後教它按 A、B、C、D 步驟做,失誤率降到不到 10%。
金融場景的思考邏輯也不同。要先判斷提問者年紀,30 歲和 70 歲貸款的方案完全不同;再判斷是否合規、回覆有無風險,最後才整合答案。
中信金高層也提過,幻覺無法百分之百消除,但 Agent 背後的模型設計得好,就能大幅降低。
Q5:垂直領域主權 AI 該由政府出錢還是產業出錢?會不會淪為蚊子館?
A: 不是二選一。FinLLM 從 16 家增加到 20 家金融機構集資,每家分攤幾百萬元。好處是需求最接地氣、成果歸參與機構所有;壞處是協調成本高,各家利益與資料標準都不同。
法務模型由政府出資,可以從公益出發,不必先考慮變現,再用訂閱制回收成本。
最理想是混合:第一階段由政府或產業聯盟出資,建立產業模型與評測標準;第二階段交給民間微調商用。就像高速公路由政府蓋,物流由民間經營。
曾任職白宮與 GitHub 的美國科技對沖基金 Interconnected Capital 創辦人 Kevin Xu 的質疑是合理的(編按:Kevin Xu 曾提出,各國主權 AI 投資究竟會成為「知識與智慧的新工廠」,還是淪為滿足國王與總統虛榮心、浪費國家資源的「二流宮殿」,目前仍無定論)。宮殿蓋得好看但沒人用,工廠則每天都在生產有經濟效益的 token。
FinLLM 的目標是達到初階銀行員水準,若銀行真的導入處理客服、授信審查、法規比對,它每天都在產生價值。律師每月花少少的錢,就能用懂台灣法律的 AI 找案例、比對法條,這也是工廠。
金融業本就被規範不能把資料送出去,法律本就極度在地化,這是剛性需求。但美國研調機構 Gartner 在 2025 年預測,超過 40% 的 AI 代理專案將在 2027 年底前被取消。有沒有紀律地做,才是決定工廠或宮殿的關鍵。
Q6:主權 AI 能輸出海外嗎?30 人的新創怎麼分配資源?
A: 這是 APMIC 未來最大的成長機會,做法分 3 步:
- 評測標準化: AIEC 的語言、社會、價值觀三維度框架可以移植,馬來西亞可用馬來語測語言、用伊斯蘭教義題目做價值觀對齊。
- 平台模組化: 企業地端 AI 平台 PrivStation 採容器化架構,內建 120 個加值微調模型與 72 萬種工作流,客戶可快速搭配在地法規微調。
- 生態夥伴: 和精誠資訊、流程自動化平台 AgilePoint 合作,不必只靠 30、40 人打全世界。
台灣同時具備硬體、軟體能力與民主形象。對東南亞或中東國家來說,和台灣合作的政治風險比美、中低。
30 人能做這麼多事,關鍵在選擇層級。模型微調與蒸餾是核心,自己做;部署與業務靠夥伴與代理商,我們不蓋資料中心、不做硬體。
優先順序是國內第一,金融與法務是最有說服力的案例。美國第二,當地很多新創在做 Agent,我們做的是 Agent 背後的基座模型,他們需要地端部署時就是機會。日本與東南亞則是明後年的目標。
NVIDIA 把我們定位為微調模型的策略夥伴。對 30 人的團隊來說,這種夥伴關係比聘僱上百人更有價值。
延伸閱讀|台灣最有錢卻最缺人!簡立峰談 AI 時代的「新出海」,企業為何需積極搶國際人才?
Q7:企業決策者回到辦公室,第一步該做什麼?
A: 最重要的是現在就開始,我建議 3 件事:
- 盤點: 算清楚花在雲端 API 的費用、開發維護與人力成本。很多企業不知道自己每天燒多少 token,因為費用散落在不同部門與專案。
- 辨識紅線: 競爭力資料、公司知識資產、金融交易、醫療紀錄、法律文件,如果還在雲端跑來跑去,風險就不只是成本,還有合規。
- 選一個場景先導入: 不要想一步到位,先挑痛點最大、資料最敏感的場景,用地端小模型跑跑看。
過去企業從建置到上線約需 5 至 7 個月,透過 PrivStation 2 大約 30 天就能完成。外界估計企業整體遷移要 3 至 4 年,但第一步不難,難的是下定決心。
主權 AI 不是大企業的專利,也不是政府的事。每一家企業,只要你在用 AI,就應該開始思考,你對 AI 的自主權在哪裡。
收聽完整 Podcast|數位關鍵字 EP250|一年雲端預算三個月燒光!企業為何開始搶回 AI 自主權
(本文初稿為 AI 編撰)
延伸閱讀
地端 AI 誰先卡位?資料成企業 AI 落地關鍵:醫療、金融法規優先,製造業人力密集墊後
多數企業 AI 轉型卡關,百年物流巨頭如何靠三招突圍?獲利成長 80%、生產力提升 45%
2026 AI TAIWAN 精選解方 | KDAN 凱鈿核心產品開源,打造企業商業授權模式,協助企業掌握文件 AI 資料主權