AI 將為商業市場帶來廣大效益，使大廠積極投入 AI 訓練，推動硬體設備需求。ChatGPT 用戶數量和使用頻率持續成長下，推動更多推理算力消耗；同時模型更新，訓練資料增加亦造成更多算力消耗，使 AI 訓練無止境進行。由於模型成長速度遠高於硬體成長速度，推動 AI 伺服器零組件發展，並隨著硬體效能增加而提高成本。
現階段AI伺服器以訓練型為主，GPU為關鍵主力
AI伺服器為關鍵硬體，硬體效能演進推動AI發展。以現階段而言，AI仍處於大量訓練期，AI伺服器的應用仍以訓練為主，LLM趨勢下，模型訓練必須分散到不同GPU運算，GPU和GPGPU為關鍵；ASIC和FPGA可透過特定演算法協助推理，提高整體運算效能。由於大量資料處理需求，帶動存儲需求與DPU協助CPU和GPU資源調配。此外，隨著晶片和大量資料傳輸造成功耗問題，讓散熱需求增加。
▲ 2023~2027年AI伺服器出貨量預估。（Source：TrendForce；拓墣產業研究院整理，2023.5）
（首圖來源：shutterstock）
留言 0