Llama 3 模型開發中，祖克柏：Meta AI 藍圖需要更多 NVIDIA GPU
祖克柏 18 日透過 Reels 短影音分享 Meta AI 藍圖，計劃建構大規模的運算基礎設施，到 2024 年底，運算基礎設施將包含 35 萬個 NVIDIA H100 GPU。
如果加上 NVIDIA A100 以及其他 AI 晶片，到 2024 年底 Meta GPU 庫存量將達將近 60 萬個，值得一提的是，AMD 去年 12 月發表 Instinct MI300X AI 晶片時，就曾透露包括 Meta、OpenAI、微軟等公司將採用。Meta 也有自研 AI 晶片計畫，但最快 2025 年才會投入運算行列。
祖克柏未透露 Meta 已經採購多少 GPU，由於 NVIDIA H100 是 2022 年底才上市，且供應量有限，外部研究推測 Meta 的 H100 到貨量在 2023 年達到 15 萬個，這個數字也與微軟到貨量持平。券商 Raymond James 的分析師估算，H100 價格落在 25,000 美元至 30,000 美元之間，在 eBay 上拍賣價格甚至超過 40,000 美元。如果 Meta 以價格範圍底標進行採購，也得付出將近 90 億美元。
祖克柏還透露，Meta 正在訓練大型語言模型 Llama 3，由基礎 AI 研究團隊（Fundamental AI Research，FAIR）和 GenAI 研究團隊緊密合作開發。Llama 3 將具有產生程式碼的能力，與 Google Gemini 一樣，另一重點將是更先進的推理和規劃能力。
祖克柏上傳 Reels 後不久，Meta 首席 AI 科學家楊立昆（Yann LeCun）也談道「為了加速進展，FAIR 現在是 AI 產品部門 GenAI 的姐妹組織。」
▲ 祖克柏分享Meta AI 藍圖。
為了進行 AGI（Artificial General Intelligence，通用人工智慧）研究，Meta 急需 AI 晶片建立運算基礎，祖克柏強調這是 Meta 長期願景。AGI 是一種媲美人類智慧水準的未來 AI 形式，包括 OpenAI、Google DeepMind 等也大力投入研發。
楊立昆上個月在一場座談活動分享 GPU 對 AI 發展重要性，「你認為 AGI 已經流行時，就必須採購更多 GPU」。同場活動提及 NVIDIA 和執行長黃仁勳（Jensen Huang），由於 AI 熱潮下 NVIDIA 獲益匪淺，「這是一場 AI 戰爭，而 Jensen 正在提供武器」，楊立昆談道。
從 Meta 第三季財報顯示，2024 資本支出將在 940 億美元至 990 億美元之間，一部分將用來擴張運算基礎設施。「就投資重點而言，AI 成為我們 2024 年最大投資領域，無論是在工程還是運算資源上」，祖克柏透過財報電話會議表示。
祖克柏公開了他擘劃已久的 AI 藍圖，如今 AI 人才和運算資源的競爭從未如此激烈，各家科技公司都在爭奪少數的研究人員和工程師，更願意砸錢添購 AI 晶片，只希望在全球 AI 競賽不落人後。
Mark Zuckerberg’s new goal is creating artificial general intelligence
Zuckerberg’s AGI remarks follow trend of downplaying AI dangers
Mark Zuckerberg indicates Meta is spending billions of dollars on Nvidia AI chips
（首圖來源：Meta）