Uber 4 個月花光全年 AI 預算!只設限額還不夠,BCG 建議改算「每次成功」的成本
今年 10 月初,社群上傳出聯發科縮減員工使用 AI 的 token 額度,員工反映難以工作。對此,聯發科表示公司鼓勵員工應用 AI 工具提升生產力,並指出內部有智慧自動調度機制,會依任務複雜度自動匹配內部專屬模型或外部模型,以更具效益的 token 使用模式,支撐公司長遠發展。
這是許多企業正在經歷的轉折,今年以來,不少國外企業也因為高額的 AI 支出而改變政策。然而,企業該管的真的只是 token 用量嗎?
先衝量再踩煞車,企業的 AI 政策為何轉彎?
為了加快轉型,許多企業鼓勵員工盡量嘗試 AI 工具,有些公司更認為使用率愈高,代表創新力和生產力愈強,因此以 token 用量評量員工。舉例來說,Uber 曾設立內部排行榜,依 AI 工具的總用量替團隊排名,鼓勵員工採用 AI。亞馬遜(Amazon)則設定目標,要讓 8 成以上的開發人員每週使用 AI,內部也出現名為「Kirorank」的排行榜,依員工在 AI 開發平台 Kiro 上的活動量排名。
但是 AI 工具的計費方式和過去買斷的軟體不同,token 用得愈多,花費就愈高。隨著 AI 從軟體開發擴散到業務、行銷、營運等部門,加上 AI 代理會大量消耗 token,企業的 AI 帳單金額暴增。
根據《TechCrunch》報導,Uber 在短短 4 個月內就花光了全年的 AI 預算。Uber 隨後將每位員工每項 AI 工具的支出,限制在每月 1500 美元以內,需要更多額度的員工則須另外申請核准。《商業內幕》(Business Insider)的報導也提到沃爾瑪(Walmart)對其內部自研的 vibe coding 工具「Code Puppy」實施 token 配額制度,結束過去的「吃到飽」模式。
延伸閱讀|1 年雲端 AI 預算 3 個月燒光!企業為何要搶回主權 AI?拆解 token 帳單三層陷阱
企業鼓勵狂用、設下限額,其實卡在同一個盲點
然而,也有公司認為 token 是不該省的投資。輝達(NVIDIA)執行長黃仁勳就曾表示,年薪 50 萬美元的工程師應該至少使用價值 25 萬美元的 token,「我會在年底問他們花了多少 token,如果那個人說 5000 美元,我會抓狂。」
換句話說,token 的使用可能攸關企業的長遠發展,那麼省下這筆成本,會不會反而讓公司錯失更大的成長機會?
答案取決於企業怎麼評量 AI 的成效。由於 token 用量是一個容易被看見、計算的指標,所以企業將其作為關鍵績效指標。但一旦 token 用量和績效考核掛鉤,員工就可能做表面功夫,想辦法衝高看得見的活動量。亞馬遜的 Kirorank 排行榜就是一例,根據《金融時報》報導,有員工為了衝高排名,讓 AI 代理執行不必要的任務。
結果,企業花了大錢,換來的卻是灌水的用量。帳單失控後,企業的直覺反應是限制用量,但是他們盯著的依然是同一個數字,卻沒有回答到一個問題:哪些 token 真正創造了價值。
察覺問題的企業,已經開始轉變策略。知名教育科技公司多鄰國(Duolingo)原本將 AI 使用情形納入績效考核,但後來取消這項做法。多鄰國執行長路易斯.馮.安(Luis von Ahn)更重要的是員工「把工作做到最好」,AI 有幫助就用,沒幫助就不強迫使用。
別只看 token 花了多少,要看「每次成功」花了多少
因此,企業需要改變衡量方法,波士頓顧問公司(BCG)便指出,公司需要追蹤的不只是 token 的總支出,而是每次帶來成功結果的成本。
原因在於使用者與 AI 模型的互動都會持續產生費用,單看總花費無法反映這筆支出是帶來了實際業務價值,還是白白浪費。
此外,若使用者為了節省 token 而選擇較弱的模型,但因準確度不足導致多次重試、修正,甚至耗費大量人工審核時間,最終達成單次成功成果的 token 與人力成本,反而會高於直接調用能力較強的模型。
所以涉及 AI 報酬率的計算,分子會是「最終成功並被採納的成果」,而非「產出的總生成量」。分母則要納入除了 token 費用以外的成本,包含指令的設計、修正錯誤的時間成本。
而要做到如此細緻的計算,企業需要做 3 件事情:
1.區分 token 的價值屬性
不同用途的 token,衡量效益的方式也不同。波士頓顧問公司認為,企業可以先把 token 費用分成三類:第一類屬於投資,性質類似資本支出,例如用來打造 AI 代理的 token;第二類屬於營運費用,也就是執行內部日常工作的 token,財務長可以依部門和流程編列預算,並要求主管對產出負責;第三類是銷貨成本,也就是用在產品或客戶互動中的 token,後續會納入毛利率的計算。
2.定義什麼才是真正的成果
分子必須是真正的成果,而不是活動量。以寫程式為例,程式碼行數只是活動指標,該計算的是真正上線、通過審查的程式。
所以如果客服流程的結案數增加,但需要處理的客訴也跟著變多,就代表 token 創造的並非回報,而只是在製造活動量。
3.每個流程都有負責人追蹤
每個工作流程都要標明負責人、所屬部門、對應的損益科目、使用的模型與供應商,以及預期成果。
同時,建立儀表板追蹤每個工作流程消耗的 token 與產出的成果,並針對 token 消耗最高的工作流程進行定期審查,比較它帶來的成果與投入的全部成本。如果低於預期,或產生大量無效的產出,就應該重新調整範疇或終止專案。
token 用量與生產力之間,並非必然成正比,節省 token,也不等於提高經營效率。當 AI 變成必備工具,企業不能只問花了多少錢,更要問這些錢帶來多少價值,學習為「真正需要的聰明」買單。
延伸閱讀|導入AI先別急著挑工具!台灣微軟前首席營運長陳慧蓉:先用「黃金三問」問清楚為什麼、要什麼
(本文轉載自《經理人》)
延伸閱讀
聯發科傳砍員工 AI token 額度,官方怎麼說?Uber、微軟、Meta 如何管 AI 用量?
用 AI 交差,同事每月多花 3.4 小時收拾!Shopify 執行長稱「AI 垃圾手榴彈」,交付前怎把關?
黃仁勳猛催 token,微軟、Uber AI 帳單卻炸鍋!token 愈便宜,成本怎麼反而更高?