AI 基建走向系統級整合，下一波效率從哪來？專訪微軟 Azure 全球基礎架構總經理
AI 爆發性成長，AI 基礎設施也在全球持續擴張，當中最難克服的限制究竟是晶片、電力，還是資料中心容量？微軟 Azure 全球基礎架構總經理 Alistair Speirs 藉著 SEMICON Taiwan 國際半導體展來台、接受《TechOrange》專訪時，給出的答案是：「時間。時間是最大的限制。」
原因在於，支撐 AI 的技術堆疊有著完全不同的建設與更新週期。Speirs 指出，新增電力供應往往得提前 10 年、20 年，甚至 30 年規劃；資料中心需要數年建設；晶片持續快速換代；軟體卻幾乎可以即時更新。更困難的是，電力、資料中心、晶片、軟體與客戶需求最後都必須在正確時間一起到位。
「有電卻用不上，沒有意義；有晶片卻沒有電，也沒有意義；有晶片卻沒有客戶需求，同樣沒有意義。」Speirs 表示，微軟一端必須思考 20 年後的基礎設施，另一端卻要隨時因應隔天可能出現的新模型與技術，而這項挑戰又因 AI 工作負載快速分化變得更加複雜。
AI 發展越來越快，基礎設施卻得提前多年下注
Speirs 表示，早期微軟的 AI 超級電腦大量沿用高效能運算基礎設施，但近年 AI 已從少數大型模型，走向小型模型、特定任務模型與 AI 代理等更多型態，不同工作開始適合不同架構。
今年快速升溫的 AI 代理就是一例。這類工作不只產生回答，還要實際執行任務，因此 CPU 與 AI 加速器需要搭配使用；部分工作可能只存在於執行請求的短暫時間，完成後就釋放資源，快速啟動與關閉也因此變得重要。Speirs 指出，這些工作負載使用基礎設施的方式，已經和傳統生成式 AI 不同。
除了持續擴充基礎設施，現有系統還有哪些效率可以往下挖？Speirs 將答案指向不同技術層彼此銜接的位置。
最大效率空間，藏在不同技術層的「縫隙」
Speirs 認為，目前最大的效率改善空間「其實就在不同技術層之間的縫隙（gaps）」。他形容，一套 AI 系統從底層晶片往上，還疊著 Python、CUDA、各種軟體函式庫與資料層，最後才到模型，每一層都可能帶來額外負擔（overhead）。因此，同一個效能問題，有時從軟體改善最有效，有時則適合調整晶片、硬體、作業系統或軟體框架。
這也呼應微軟近來強調「從晶片到系統（silicon-to-systems）」的設計思路：把原本分散在不同層級的問題，放回整套系統一起尋找最佳化空間。
工作負載的差異甚至會一路往下改變晶片。Speirs 指出，模型大小、記憶體需求，以及資料如何在晶片內配置與移動，都會影響硬體選擇。以自研 AI 晶片 Maia 為例，微軟必須決定高頻寬記憶體容量、Tensor 運算單元與數值格式，目的就是「最佳化硬體，讓軟體能發揮最好的作用」。 但晶片設計一旦改變，影響還不會停在晶片本身。
晶片設計改了，資料中心也得跟著改
Speirs 以 NVIDIA Blackwell 為例指出，NVIDIA 設計 Blackwell 時，微軟已同步設計 Fairwater 資料中心。晶片與機櫃需要多少電力、網路能力與冷卻條件，都會反過來影響設施設計。
因此，當 Blackwell 還在製造時，承接它的資料中心也已同步興建，目的就是讓晶片完成後，可以立即大規模部署。微軟同時還得思考如何讓新晶片進入既有資料中心，而不是每換一代硬體就重新蓋一座設施。
Speirs 形容，10 年前資料中心的問題很大程度可以簡化成「需要多少 x86 核心」；如今卻同時存在 Arm CPU、GPU、DPU 與 AI 專用 ASIC。運算架構越來越多元，也讓基礎設施設計必須從單一元件往整套系統思考。
AI 開始反過來協助設計 AI 基礎設施
當系統本身變得越來越複雜，微軟也開始把 AI 用回基礎設施設計。Speirs 在訪談中拿起主機板指出，密集、分層的線路配置就像迷宮，如何安排更好的連線路徑，本身就是適合 AI 處理的圖樣最佳化問題。
AI 一方面推高基礎設施需求，另一方面也開始成為設計下一代 AI 基礎設施的工具。微軟正利用 AI 協助尋找線路與晶片配置，應用範圍從主機板延伸到晶片與晶圓設計；設計完成後，大量連線與電晶體的測試、驗證，也可以由 AI 協助自動化。
供應商更早加入，台灣還要強化 AI 應用
系統共同設計也改變微軟與供應鏈合作的方式。Speirs 表示，隨著更深入參與系統設計，供應鏈合作也逐漸從過去逐層交付的線性流程，轉向更早期的跨層共同設計。現在，從晶片設計、晶圓製造、封裝、基板到網路，各環節都需要更早加入討論，找出一項能力究竟適合在哪個技術層解決；微軟也因此必須更擅長預測未來數年的需求，讓合作夥伴同步規劃。
當被問到台灣供應鏈在走向系統級整合的趨勢下，需要哪些能力才能創造更多價值時，Speirs 將重點放在 AI 應用。他指出，AI 已開始被用於晶片設計與半導體供應鏈最佳化，台灣產業也可以利用 AI「維持競爭力、變得更快、更有效率，並進一步最佳化」。
對台灣供應鏈而言，值得注意的變化因此不只在於 AI 基礎設施需求變大，也在於供應商被拉進系統設計與需求規劃的時間正在提前。能否更早理解下一代系統需要什麼，並把 AI 用進設計與供應鏈最佳化，也可能影響未來能在這波基礎設施擴張中取得多少價值。
科技的變化總是快得驚人，而我們每天的工作，就是從龐雜的趨勢中理出觀點、提煉出決策者真正需要的洞察。如果你也對 AI 發展充滿熱情，《TechOrange 科技報橘》正在徵內容編輯！
👉了解職缺內容
【推薦閱讀】
◆ AI 發展還在第一階段，吳田玉：台灣要加速把基礎建設做出來
＊首圖來源：《TechOrange》拍攝