AI 將為商業市場帶來廣大效益,使大廠積極投入 AI 訓練,推動硬體設備需求。ChatGPT 用戶數量和使用頻率持續成長下,推動更多推理算力消耗;同時模型更新,訓練資料增加亦造成更多算力消耗,使 AI 訓練無止境進行。由於模型成長速度遠高於硬體成長速度,推動 AI 伺服器零組件發展,並隨著硬體效能增加而提高成本。
現階段AI伺服器以訓練型為主,GPU為關鍵主力
廣告(請繼續閱讀本文)
AI伺服器為關鍵硬體,硬體效能演進推動AI發展。以現階段而言,AI仍處於大量訓練期,AI伺服器的應用仍以訓練為主,LLM趨勢下,模型訓練必須分散到不同GPU運算,GPU和GPGPU為關鍵;ASIC和FPGA可透過特定演算法協助推理,提高整體運算效能。由於大量資料處理需求,帶動存儲需求與DPU協助CPU和GPU資源調配。此外,隨著晶片和大量資料傳輸造成功耗問題,讓散熱需求增加。
▲ 2023~2027年AI伺服器出貨量預估。(Source:TrendForce;拓墣產業研究院整理,2023.5)
廣告(請繼續閱讀本文)
(首圖來源:shutterstock)