獲a16z領投 3 億美元！Gimlet Labs憑「異質晶片配對」策略挑戰傳統雲端巨頭

Gimlet Labs 正以顛覆傳統雲端業者的策略快速擴展版圖。該公司近日宣布完成由 Andreessen Horowitz（a16z）領投的 3 億美元融資，估值一舉達到 30 億美元。未來將持續推進以「異質晶片配對」為核心的資料中心硬體布局。

拆解推論流程與模組化部署，極大化運算效率

Gimlet Labs 創立於 2023 年，技術源自執行長 Zain Asgar 在史丹佛大學的研究計畫。其核心亮點在於透過軟體編排 AI 工作負載，將推論流程精準拆分並分派至最合適的硬體執行。例如，利用 GPU 處理需要龐大算力的前置預填充（Prefill）階段，再交由具備高記憶體頻寬優勢的 SRAM 導向晶片接手解碼（Decode）任務，藉此極大化運算效率。

有別於一般雲端資料中心追求繁雜的晶片種類，Gimlet Labs 採取「少量、可重複」的配對策略，將每座資料中心的晶片組合控制在兩到四種，以大幅降低營運複雜度。目前合作的供應商涵蓋 Nvidia、AMD、Intel、Arm、d-Matrix 與 Cerebras，並將旗下晶片劃分為 GPU、CPU、SRAM 晶片，以及資料流加速器與 TPU 等四大類別。

軟硬體深度整合，迎戰 GW 級產能擴張需求

隨著營運規模擴大，Gimlet Labs 的技術布局已從純軟體延伸至基礎設施層。公司指出，單靠軟體已不足以突破效能瓶頸，因此開始將資料中心的硬體工程、散熱系統與網路架構全面納入設計。由於不同晶片在連線規格與液冷散熱的需求上大相徑庭，如何讓異質晶片在同一資料中心內穩定協同運作，已成為公司擴張過程中的關鍵挑戰與優勢。

在技術實作上，Gimlet Labs 導入了多種推論拆分架構，除了 Prefill 與 Decode 分離外，更進一步涵蓋投機性解構（Speculative Disaggregation）與 Attention-FFN 拆分等進階做法。這些技術的核心目標，皆是讓不同架構的晶片發揮各自強項，在相同功耗下換取更高的吞吐量與互動性。

受惠於強勁的市場需求，Gimlet Labs 表示過去一年的每月 Token 生成量已暴增 6 倍，並看好未來三年將再翻漲 20 倍。目前，該公司已簽署總值達數十億美元的雲端合約，並計畫在未來幾年內釋出吉瓦（GW）等級的資料中心電力規劃，預計 2027 年底前即可完成數百百萬瓦（MW）的容量部署。

本文授權轉載自《科技新報》｜原文標題：AI 推論雲端新創 Gimlet Labs 獲 a16z 領投 3 億美元，主打「異質晶片配對」重塑資料中心