黃仁勳猛催 token,微軟、Uber AI 帳單卻炸鍋!token 愈便宜,成本怎麼反而更高?
為了加速擁抱AI技術,各大企業都積極導入AI工具,鼓勵員工花費大量token。輝達執行長黃仁勳就曾表示,頂尖工程師應該一年要花費價值25萬美元的token,也在GTC Taipei主題演講中對企業高喊「算力就是收入」,誰多榨出token誰就贏。但這股熱潮似乎正迎來現實的金錢考驗,微軟和Uber近期接連傳出因為成本失控,被迫在AI政策上緊急煞車。
企業AI帳單失控,微軟、Uber接連踩煞車
微軟近期已著手取消Anthropic公司旗下AI程式碼生成工具Claude Code的使用授權,轉而引導工程師改用自家的GitHub Copilot CLI。這次調整距離微軟首次開放Claude Code權限,讓員工自由實驗僅僅過了半年之久。
由於Claude Code在微軟內部受歡迎的程度遠超預期,員工極高頻率的使用率帶來了驚人的成本,最終促使這家科技巨頭不得不對自家工程師高度依賴的工具祭出限制。
無獨有偶,Uber科技長普拉文·內帕利・納加(Praveen Neppalli Naga)先前也透露,公司內部採用AI的速度超乎預期,導致整個2026年度的AI程式碼工具預算,在短短四個月內就徹底燒光。
這似乎代表著,過去用AI替代或輔助人類員工工作的美好想像,可能遠比各界早期預期的要複雜許多,甚至出現了「算力成本比員工薪水還貴」的全新通膨危機。
延伸閱讀|Token 用量成績效新指標?矽谷工程師、Meta 團隊狂燒上兆 Token,是作秀還是真高效?
降價也救不了的無底洞:為何token變便宜,整體成本卻變高?
企業界曾經預期,隨著AI技術進步,運算token的價格會持續下滑,最終推動工作效率提升、成本下降。但市調機構顧能(Gartner)高級研究總監分析師威爾.索墨(Will Sommer)警告,企業不該因token的價格下降,就認為使用AI的成本也會隨之下滑。
Gartner在研究中指出,到了2030年,運行擁有一兆參數規模的超大型語言模型,其推理成本確實將比2025年大幅銳減將近90%,但這不完全代表企業使用AI的成本也會下降,因為AI代理消耗token的膨脹速度,甚至比token價格下降還來得快,因此整體推理成本仍會上升。
金融巨頭高盛更預測,在AI代理的推波助瀾下,到了2030年,全球企業與消費者的token消耗量將暴增24倍,達到每月驚人的120千兆(120 quadrillion)個token。這也是為何算力推理成本會持續被推向新高的核心原因。
用AI可能已比用人更貴
儘管許多科技巨頭執行長仍在大力描繪美好的AI願景,例如黃仁勳近期便公開宣示,他預期未來在輝達內部,每一位員工身旁都將有100個AI代理協同作業。但AI代理帶來的龐大成本,可能會先讓企業消受不了。
輝達應用深度學習副總裁布萊恩.卡坦扎羅(Bryan Catanzaro)坦承「對我的團隊而言,運算成本已遠遠超過員工的成本。」當AI領域最頂尖的AI晶片設計團隊都面臨養AI比養員工更貴的現實,也是給那些盲目相信能靠AI裁員縮減成本、或全面以AI取代人力的企業巨頭們的一記警鐘。
延伸閱讀|
Claude token 這樣省!學會這 9 個技巧,讓你不升級方案也能突破用量上限
當寫程式變便宜,企業該投資哪種 AI 人才?吳恩達指出,能回答這兩件事的人最貴!
(本文轉載自《數位時代》,初稿為 AI 編撰)
延伸閱讀
Claude 三款模型怎麼選?Opus、Sonnet、Haiku 完整比較,沒切換模型可能會多花 5 倍成本
AI 讓執行成本趨近於零!直到 2034 年,企業都應培養員工的五種「AI 學不會」的能力
企業砸錢教員工用 AI,成效為何不顯?簡立峰指出:企業競爭力來自核心轉型!