AI推論需求爆發！Together AI每月跑400兆Token，再擴2,000顆B300

過去市場判斷GPU需求，主要看大型AI模型需要多少算力訓練。但隨AI從模型開發走向企業實際使用，終端企業的Token使用量也愈來愈受到關注。

美國AI雲端新創Together AI目前每月已處理約400兆Token，近期與IBM(IBM-US)簽署2.4億美元多年合約。IBM預計2027年第1季在美國部署約2,000顆NVIDIA(NVDA-US) Blackwell B300，專門提供Together AI執行開源模型推論。

更值得注意的是，這批GPU還沒上線，需求可能就會先滿。Together AI營收長Kai Mak表示，預計新叢集在正式提供服務前2至3個月就會售罄，並在上線前找到足夠客戶使用全部算力。

Together AI主要提供企業開源AI模型的訓練與推論服務。企業不必自行購買GPU，可以直接透過Together AI使用DeepSeek、MiniMax及Kimi等開源模型，並主打較封閉式系統更低的運算成本。

這類服務與模型訓練最大的差別，在於需求會隨AI使用量持續增加。模型可能只需要集中一段時間進行訓練，但模型上線後，每一次使用者提問、生成內容或AI Agent執行工作，都需要GPU進行推論。

因此，AI使用量增加，需要處理的Token也會跟著成長，業者就必須準備更多GPU承接推論需求。Together AI目前每月400兆Token的使用規模，接著帶動約2,000顆B300的新增部署，而且這批算力預期上線前就會被客戶用滿，讓Token成長如何轉化為GPU需求更加具體。

這股需求也開始反映在IBM的基礎設施業務。IBM第2季Distributed Infrastructure營收年增37%，創歷史最佳成長紀錄，第2季底backlog約5億美元，同樣創歷史新高，相較之下，Together AI這次與IBM簽署的多年合約金額就達2.4億美元，約相當於IBM第2季底Distributed Infrastructure backlog的48%。

以單一客戶來看，合約規模已接近當時backlog的一半，而且初期約2,000顆B300預計在上線前就被客戶訂滿，顯示AI推論使用量增加，已開始轉化為數億美元等級的基礎設施需求。

過去市場追蹤GPU需求，主要觀察大型科技公司的資本支出，以及新模型需要多少GPU訓練。隨AI逐步進入企業日常應用，Token使用量可能成為另一項值得追蹤的指標。

如果企業與使用者持續增加AI使用頻率，即使模型已經完成訓練，推論仍需要大量GPU持續運作。Together AI的案例顯示，GPU需求不只取決於下一個大型模型何時開始訓練，也開始取決於已經上線的AI服務每天被使用多少次。