請更新您的瀏覽器

您使用的瀏覽器版本較舊,已不再受支援。建議您更新瀏覽器版本,以獲得最佳使用體驗。

理財

Gemini 2.0 模型訓練全靠它!Google 親自解密 Trillium TPU 厲害在哪

TechOrange 科技報橘

更新於 01月16日21:51 • 發布於 01月16日00:00 • 廖紹伶
Gemini 2.0 模型訓練全靠它!Google 親自解密 Trillium TPU 厲害在哪

Google 近年持續耕耘自研晶片,去年底剛開放給所有客戶使用的 Trillium TPU,已是其最新、目前效能最強的第六代 TPU。值得關注的是,Google 就是拿 Trillium TPU 來訓練自家最新 AI 模型 Gemini 2.0 ,而 Google Cloud 在 1/15 舉辦線上媒體聚會,也再次強調自家的技術優勢。

別還在害怕被 AI 取代嗎?企業主管要學習與 AI 協作,才能發揮人機協作的最大價值!

立即下載《2025 企業主管 AI 技能趨勢報告》,讓 AI 成為你的學習動力

開發整合式超級運算架構,納入 TPU、GPU、CPU

Google Cloud 表示,隨著生成式 AI 掀起創新浪潮,對運算效能的需求也與日俱增,而晶片需要的是系統、不只是硬體,因此他們進一步開發出整合式超級運算架構「AI Hypercomputer」,來整合包含 TPU、GPU 和 CPU 在內的硬體、開放軟體,以及可彈性消費的模型。

Google Cloud 產品群經理 Mohan Pichika 表示,最重要的是這些元件能結合在一起和諧工作,才能產生威力。

Trillium 作為第 6 代 TPU,厲害在哪?

針對最新的第六代 TPU ,Pichika 表示,Trillium 是專門為類神經網路設計的機器學習加速器,並且是為了專門目的而設計,不是通用目的。

相較前一代產品,Trillium 也有顯著進展:訓練效能提升超過 4 倍、推論處理量增加至 3 倍、能源效率提升 67%。在硬體規格方面,每顆晶片的尖峰效能提高 4.7 倍,高頻寬記憶體容量和晶片間互連網路頻寬都提升 1 倍。特別的是,單一 Jupiter 網路架構可同時容納和運作多達 10 萬個 Trillium 晶片。

Google 透過測試數據指出,在處理 Llama-2-70b 和 gpt3-175b 等大型語言模型時,Trillium 的訓練速度比前代 Cloud TPU v5e 快 4 倍;從成本效益來看,每美元可獲得的訓練效能提升 2.5 倍,推論效能則提升 1.4 倍。目前這款處理器已應用於訓練 Google 的 Gemini 2.0 模型,同時也支援搜尋、相簿與地圖等核心服務。

針對訓練 Gemini 2.0 這類型的大型模型需要大量的資料和運算,Google Cloud 指出 Trillium 的近線性擴充能力(near-linear scaling capabilities)能讓模型高效且精準的分配工作負載,大幅提高訓練速度。不過,Pichika 也提到,雖然目前 TPU 應用場景多在生成式 AI,但相信未來可以運用在更多創新上。

【推薦閱讀】

NVIDIA 首家直投的台灣新創!MetAI 宣布完成 400 萬美元種子輪融資

金融業導入 AI 將帶來 17% 利潤成長,員工數量是否成反比?

ChatGPT 新功能「任務」釋出!可設定提醒、待辦事項挑戰 Siri

*本文開放合作夥伴轉載,資料來源:Google、Google 新聞資料。圖片來源:Google Cloud。

加入『 TechOrange 官方 LINE 好友』 掌握最新科技資訊!

0 0
reaction icon 0
reaction icon 0
reaction icon 0
reaction icon 0
reaction icon 0
reaction icon 0