Google 傳聯手 AMD 打造第十代 TPU,整合 CPU 核心攻強化學習
根據半導體研究機構 SemiAnalysis 一份研究報告所述,Google 與 AMD 攜手合作,共同開發第十代 TPU 其中一款。開發方向恐怕不是一般的 AI 加速器升級,而是朝向結合 TPU 與 CPU 核心一同封裝的混合式設計,鎖定強化學習和其他需要通用運算的工作負載。
「市場傳言指出,Google 正與 AMD 就一項第 10 代 TPU 專案進行合作」,SemiAnalysis 客戶研究報告如此寫到,「AMD 的參與,將是該公司首次真正投入一項客製化 AI ASIC 專案」,SemiAnalysis 的分析師認為,AMD 擁有強大的 IP,尤其是在先進封裝和 SoIC 方面;此外,其 CPU IP 或許同樣具備吸引力,考量到 Google 及其客戶推動將 CPU 核心整合進 TPU 的同一封裝內,以因應強化學習工作負載。
CPU 這個切入角度尤其值得關注,雖然傳統的大型語言模型訓練仍壓倒性地偏重於 AI 加速器,但針對推理型和代理式模型所進行的強化學習,可能在加速器運算周邊需要相當可觀的通用運算資源。
Google 其實早已開始在推理導向 TPU 周邊增加 CPU 資源,最新的 TPU 8i 系統用於推理和強化學習工作負載,配置比例約為每 2 顆 TPU 搭配 1 顆 Google Axion CPU;相較之下,採放第 7 代 TPU 的伺服器則是每 4 顆 TPU 搭配 1 顆 Xeon「Emerald Rapid」處理器。SemiAnalysis 分析認為,如果未來某些場景需要接近 1 比 1 的加速器和 CPU 配置,把 CPU 核心直接放進 TPU 封裝內,可能是更合理的下一步。
將 CPU 核心直接放進 TPU 封裝內,可縮短通用運算和張量運算之間的距離,提升效能表現並降低功耗,這正是 AMD 得以派上用場之處。AMD 早已具備開發資料中心等級晶片的設計經驗,即 Instinct MI300A,這款產品同時封裝 x86 和加速器 2 種 chiplet。因此,一款研擬中的產品,可能將 Google 自行研發的張量運算 chiplet,與 AMD 的 CPU 和 HBM,結合在一個由 AMD 所打造的緊密整合封裝中。
不過,相關內容目前仍屬市場傳聞,SemiAnalysis 也明確表示其分析可能有誤,AMD 參與的實際形式還不清楚。如果報導屬實,那麼真正重要的發展或許不在於 AMD 協助 Google 打造新產品,而是 Google 考慮為其 TPU v10 系列打造一款全新、偏重 CPU 的新晶片,針對強化學習和代理式工作負載最佳化
(首圖來源:Google)