英特爾 (INTC-US) 今 (9) 日舉辦 Intel Vision 2024，會中推出新一代 AI 晶片 Gaudi 3，與輝達 (NVDA-US)H100 晶片相比，推論平均表現高出 50%，能源效率也提升 40%，且成本較輝達 H100 低。
英特爾 Gaudi 3 前段由自家設計，後續委由世芯 - KY(3661-TW) 進行後端設計，並採台積電 (2330-TW)(TSM-US)5 奈米製程與 CoWoS 封裝技術製造，預計本季就可以提供給 HPE、聯想和美超微等 OEM 廠商。
英特爾指出，Gaudi 3 與前代產品相比，BF16 的 AI 運算量將提高 4 倍，記憶體頻寬也提升 1.5 倍，可為大規模部署 GenAI 的全球企業，帶來 AI 訓練和推論重大飛躍。
以同樣參數模型比較，英特爾指出，Gaudi 3 與輝達 H100 相比，在 70 億和 130 億個參數的 Llama2 模型以及 GPT-3 1750 億個參數模型中，平均訓練時間縮短 50%，推理吞吐量也高出 50%，尤其在 Llama 70 億個和 700 億個參數模型以及 Falcon 1800 億個參數模型的平均推理能效將比 H100 高 40%。
另外，英特爾也在此次 Vision 2024 揭露一套新的開放可擴展系統、下一代產品和戰略合作關係，以加速企業採用生成式 AI。
更多鉅亨報導
•英特爾等科技巨擘聯盟瞄準軟體工具 突圍輝達AI開發平台
•英特爾估代工營運虧損今年觸頂 2030年前實現損益平衡
