文／定錨產業筆記
近期 NVIDIA 執行長黃仁勳在美國舉辦的 SIGGRAPH 2023，宣布推出新款 L40S GPU，以及由 8 張 L40S GPU 搭配 ConnectX SmartNIC、Bluefield DPU……等網卡組成的 OVX 伺服器。
L40S 為 L40 的升級版，從原先單純影像處理型 AI 晶片，切入生成式 AI 市場，縱使無法像 H100 構成資料中心，並建構如 GPT-4、GPT-5……等大型語言模型，但仍是強大的通用型 GPU。L40S 仍擁有前一代 L40 的渲染與 3D 設計繪圖、串流影片處理、工業數位化……等功能。此外，L40S 性能的提升可用於更多運算複雜的應用項目，例如具備簡單的生成式 AI 功能，不論在 AI 訓練或推論中，皆可以做一些簡單的微調(fine-tuning)；亦可用於 Omniverse 企業版，在元宇宙構築所需的模型，可運用於汽車、建築、工程、製造、建設及運營、媒體及娛樂……等產業。
L40S 採用 Ada Lovelace 架構，具備第四代 Tensor core 568 顆、第三代 RT core 使用量 142 顆，搭配 48GB GDDR6，規格與前代 L40 並無太大差異，最大功耗由 300W 提升至 350W，且增加 Transformer engine，可以針對生成式 AI 做微調。
與 A100 相比，L40S 在生成式 AI 運算效能提高 20%，在 AI Training 提高 70%，微調方面比 A100 快 50%，但 L40S 不具有 NV Link、NV Switch、高頻寬記憶體(HBM)……等零組件，故推測在大型演算法訓練效益應該會低於 A100，價格也較便宜，因此目標客群為僅有小規模演算法訓練、推論需求，或預算較少的企業；另一項契機是，如果能符合美國禁令的標準，也可望進入中國市場。
此外，由於 L40S 沒有整合 HBM，不需要採用台積電 CoWoS 封裝，在近期台積電 CoWoS 封裝產能吃緊，A100、H100 面臨缺貨之際，L40S 也可作為對於算力要求較低的替代方案之一。但目前大型雲端服務商積極採購 H100、A100，強化自身算力儲備，主要還是針對大型演算法訓練，L40S 沒有辦法達到這個目標，故 L40S 並不會對既有 H100、A100 的需求造成排擠效應，維持台積電 2024 年底 CoWoS 產能目標 2.5 萬片／月不變，2025 上半年將進一步擴充至 3.0 萬片／月，設備供應鏈除了市場廣泛提到的弘塑、辛耘、萬潤……等，近期傳出 PCB 設備廠揚博透過代理日系廠商先進封裝設備，成功切入台積電供應鏈，但代理設備的毛利率應會低於公司平均值。
在供應鏈方面，廣達、技嘉、華碩將成為 OVX 伺服器首波供應商，廣達位居全球伺服器產業領導廠商，技嘉則是長期與 NVIDIA 進行合作，會入選並不意外；較令人意外的是華碩，推測有可能是 L40S 本身類似針對生成式 AI 特化的顯示卡，而華碩長期穩居顯示卡產業領導廠商，故能雀屏中選。不過，不會預期華碩在採用 H100 的高階 AI 伺服器方面獲得更好的競爭地位。
NVIDIA 在高階產品佈局有 A100、H100、Grace Hopper Superchip，可以滿足生成式 AI 所需的大型演算法模型，並推出 HGX 準系統、DGX 品牌伺服器、MGX 伺服器參考設計、GH200 超級電腦……等多種產品，滿足客戶對於不同面向的需求，現在又推出低階 L40S 構成的 OVX 伺服器，使得產品組合更完整。其他競爭對手，如 AMD、Intel、Tesla，在 AI 運算的發展是否能追上 NVIDIA 的腳步，或是會以什麼方式切入 AI 市場，讓我們拭目以待。
