PrismML發布微型AI模型 蘋果評估導入iPhone裝置提升算力

商傳媒｜林昭衡／綜合外電報導

一家名為 PrismML 的新創公司，近日發布了一款名為 Bonsai 27B 的人工智慧模型，該公司宣稱這是首個能夠在智慧型手機上運行的 270 億參數大型模型。PrismML 同時證實，正與科技巨頭蘋果（Apple）進行早期洽談，探討將其獨特的 AI 模型壓縮技術導入蘋果手機（iPhone）和 iPad 等裝置的可能性。

傳統上，大型 AI 模型因檔案龐大，處理時需要強大的雲端伺服器支援，難以在一般個人電腦或智慧型手機等裝置上獨立運行。這使得許多 AI 應用必須依賴網路連線，並可能引發資料隱私與安全的疑慮。

PrismML 的技術核心在於大幅縮小 AI 模型體積。例如，一個通常需要 54 GB 儲存空間、擁有 270 億參數的 Qwen 模型，透過 PrismML 的壓縮技術，可縮減至 4 GB 以下，使其能在僅有 8 GB 記憶體的蘋果手機 iPhone 15 Pro 或 Pro Max 上順暢運行。PrismML 所推出的 Bonsai 27B 模型，其 1-bit 版本檔案大小約為 4 GB。

蘋果一直以來都偏好在裝置端進行 AI 運算，以確保用戶的隱私、資料安全，並擺脫對網際網路連線的依賴。PrismML 的技術正能符合蘋果的需求，讓人工智慧處理能在裝置上直接進行。將 AI 運算從雲端轉移至裝置端，也能降低對雲端 AI 基礎設施的需求，緩解目前記憶體與零組件短缺的壓力。

PrismML 執行長巴巴克·哈斯比（Babak Hassibi）表示，雖然經過壓縮的模型在效能上會損失幾個百分點，且在事實推理、數學計算與程式開發等方面的表現會稍弱，但他強調蘋果和其他公司正積極評估這項技術的潛力。哈斯比補充，與蘋果的洽談仍處於非常初期的階段，最終結果尚不明朗，但進展順利。這些合作可能性包括技術授權，甚至是蘋果直接收購 PrismML 公司。蘋果公司目前尚未對此傳聞做出回應。

在效能方面，根據 PrismML 數據，Bonsai 27B 模型在 NVIDIA GeForce RTX 5090 上，1-bit 版本每秒可處理 163 個 Token，而在蘋果的 M5 Max 晶片上，1-bit 版本則達到每秒 87 個 Token。PrismML 表示，目前正提供 Bonsai 27B 模型的免費、限時開發者預覽 API，模型的權重（weights）則以 Apache 2.0 授權開放。