PrismML 發表首個 iPhone 就能跑的 27B 大模型!傳蘋果正在評估合作可能
外媒報導,AI 新創公司 PrismML 14 日推出 Bonsai 27B,宣稱是首個 iPhone 就能跑的同級大型模型,能原生 Mac、iPhone 與 iPad 執行,也能以 CUDA 用 NVIDIA GPU 執行,並已以 Apache 2.0 授權開放權重與開發者預覽 API。
PrismML 之前傳出與品果接觸而受關注。執行長 Babak Hassibi 受訪時表示,蘋果與其他企業都在評估模型速度、耗電與裝置端效能表現,雙方討論仍屬初步階段,但進展「相當順利」。蘋果並未立即回應。
PrismML 強調,Bonsai 27B 以低位元壓縮,將約 54GB 的 27.8 億參數模型壓縮到最低約 3.9GB,有機會用 iPhone 15 以上裝置執行。1-bit 版本約 4GB,主打極致壓縮;1.58-bit 的三元(ternary)版維持較高品質同時,仍遠小於傳統全精確度模型。PrismML 聲稱,壓縮後模型僅需約10%~6.6%記憶體,回應速度提升六至八倍,耗電則降低三至六倍,但代價是準確率略微下降,且事實性知識退化得比推理與程式能力更快。
效能數據方面,PrismML 表示,Bonsai 27B 在 NVIDIA GeForce RTX 5090,1-bit 版最高可達每秒 163 個 token,ternary 版可達 134 個 token;M5 Max 則分別可達 87 與 58 個 token。1-bit 版本專為高階行動裝置設計如 iPhone 17 Pro,每秒可達 11 個 token。
此發表也延續外界對蘋果強化裝置端 AI 的關注。蘋果近年希望更多 AI 運算留在裝置終端,而非完全依賴雲端;若技術成熟,有助縮短回應時間、降低雲端基礎設施成本,並強化一貫主打的隱私訴求。PrismML 則表示,旗下模型與技術來自加州理工學院相關研究,並獲得獨家商業化授權。
PrismML releases Bonsai 27B, claiming first major AI model of its size fit for iPhone
Apple explores running larger AI models on iPhones with PrismML
Apple May Soon Run More Powerful AI Models Directly On iPhones
(首圖來源:PrismML)