別讓 AI 模型吃光 IT 預算！拆解 AT&T 降本 90%、每日處理 270 億 Token 的秘訣
當企業真正將生成式 AI 推向大規模營運時，成本問題開始浮上檯面。根據《VentureBeat》報導，美國最大電信商 AT&T 每天需要處理高達 80 億 個 token 的 AI 任務規模，而 AT&T 資料長 Andy Markus 與他的團隊意識到，將所有資料都透過大型推理模型處理既不現實也不經濟。
這個壓力促使 AT&T 在打造內部生成式 AI 助理 Ask AT&T 時，徹底重寫整個 Orchestration（協作編排）架構，從依賴單一大型模型，轉向多代理與多模型協作系統。
這麼做的成效是顯著的。Markus 向《VentureBeat》表示，新架構讓 AI 成本最多降低 90%，同時處理能力反而大幅提升，目前每天可處理多達 270 億個 token，是短短數月前的三倍以上。AT&T 是怎麼辦到的？
從單一大模型，轉向多代理「指揮官＋執行者」架構
AT&T 的核心轉變，是建立一套多代理 AI 系統。這個系統採用 LangChain 框架，讓大型語言模型扮演「超級代理（super agent）」，負責決策與指揮，而實際執行任務的，則是多個較小型、專門化的「執行者代理（worker agents）」。這些較小的語言模型專注於特定任務，例如文件處理、資料庫查詢或影像分析。
Markus 表示，「我相信 AI 代理的未來，是非常多的小型語言模型（SLM），」他說，在特定領域任務中，小模型的準確度「幾乎與大型模型一樣，甚至更高」，但成本和速度卻明顯更具優勢。
《PYMNTS》也指出，小型語言模型參數較少，但速度更快、成本更低，且在特定產業場景中，表現甚至能超越大型語言模型（LLM）。此外，NVIDIA 研究也發現，小模型在企業環境中更具實用性與獲利能力，因為它們能在不需要昂貴基礎設施的情況下大規模部署。
不過度建設，使用可互換、可選擇的模型
根據《VentureBeat》，AT&T 並不採取「所有東西都從零開始打造」的策略，Markus 表示，他們更傾向使用可互換（interchangeable）、可選擇（selectable）的模型，並且「不會重新發明已經商品化的技術」。隨著產業研發的 AI 功能逐漸成熟，他解釋，公司也會淘汰自研工具，改用現成的商用解決方案。
在自研代理式 AI 工具方面，Markus 團隊使用 LangChain 作為核心框架，並透過標準的檢索增強生成（RAG）與其他內部演算法對模型進行微調，同時與微軟密切合作，採用這家科技巨頭的搜尋功能作為向量資料庫。
不過 Markus 強調，重要的不是為了使用代理式 AI 或其他先進技術而將其套用到所有場景。「有時候我們會把事情搞得太複雜，甚至過度設計解決方案。」相反地，開發者應該先思考某個工具是否真的需要代理式架構，例如，如果使用更簡單的單輪生成式 AI，能達到什麼樣的準確率？是否可以將任務拆分成更小的部分，讓每個部分都能更精準完成？
他指出，準確率、成本與工具回應速度應是核心原則，「即使解決方案變得更複雜，這三個基本原則仍然為我們提供了重要的方向。」
這套架構也被用來建立 Ask AT&T Workflows，讓超過 10 萬名員工能建立自己的 AI 代理，自動化日常工作。Markus 指出，超過一半員工每天使用這套系統，部分使用者生產力提升高達 90%。例如，網路工程師可以讓 AI 代理自動診斷網路問題、開立維修單、撰寫修復程式，甚至生成後續報告，而人類只需負責監督整體流程。他也強調，即使 AI 可以自主執行，人類仍會提供必要的監督與控制。
用「AI 驅動程式設計」取代 Vibe Coding
Markus 表示，這種將工作拆解為更小、專用模組的工程方法，如今也正在透過他所稱的「AI-驅動程式設計（AI-fueled coding）」改變 AT&T 自身的程式開發方式。
他將這個過程比喻為 RAG：開發人員在整合開發環境中採用敏捷開發方法，並搭配「特定功能導向」的建構範本，這些範本會定義程式碼應該如何互動。如此一來，最終產生的程式碼不是鬆散、尚未完成的狀態，而是接近正式上線等級。Markus 指出，AI 驅動程式設計消除了 Vibe Coding 中常見的大量來回修改與迭代，這種方式正在重新定義軟體開發週期，甚至非技術團隊也能參與。
企業 AI 真正的競爭核心，轉向編排能力
AT&T 的經驗，反映出企業導入生成式 AI 正在經歷一個關鍵轉變。過去兩年，產業競爭的焦點集中在模型本身，企業與科技公司不斷追逐更大的模型規模、更強的推理能力，以及更亮眼的測試表現。然而，當生成式 AI 真正進入企業日常營運後，新的瓶頸逐漸浮現：成本、效率，以及系統如何穩定運作，開始比模型本身的能力更加關鍵。
OpenAI 近期推出專門管理企業 AI 代理的平台 Frontier，也顯示企業正在面臨相同挑戰。隨著企業內部 AI 任務數量快速增加，如何統一管理這些 AI 代理、控制成本並確保穩定運作，正成為企業導入生成式 AI 能否成功的關鍵。
探索主動功能模型如何降低 R&D 工程師除錯成本！立即報名 3/10-12【ADI 次世代訊號鏈設計量測工作坊】
＊本文開放合作夥伴轉載，資料來源：《VentureBeat》、《PYMNT》、《AXIOS》，首圖來源：Unsplash