27B AI模型首登手機 行動AI應用迎新篇章

商傳媒｜林昭衡／綜合外電報導

新創公司PrismML近日推出劃時代的Bonsai 27B模型，這是一款擁有270億參數的人工智慧模型，透過先進壓縮技術，首度實現了在蘋果手機（iPhone 17 Pro Max）等行動裝置上直接運行。該模型在裝置端（on-device）的處理速度可達每秒11個Token（Token是人工智慧模型處理和生成的資訊基本單位），為行動裝置上的高效AI應用開啟了新可能。

Bonsai 27B的關鍵在於其源自加州理工學院（Caltech）智慧財產的獨特壓縮方法。傳統上，270億參數的AI模型若以半精確度（half precision）運行，約需佔用54 GB的記憶體空間。然而，PrismML成功將Bonsai 27B的二進位版本壓縮至僅3.9 GB，而三進位版本則為5.9 GB。簡單來說，相較於標準AI模型能從約65,000種設定中選擇，三進位AI模型每個內部值僅需負值、零或正值三種設定，大幅減少了記憶體需求。

儘管大幅壓縮，Bonsai 27B在效能表現上仍維持優異。根據測試，三進位版本的Bonsai 27B在多項基準測試中，仍保留了94.6%的原始精確度模型效能。在M5 Pro筆記型電腦上，其處理速度可達每秒約26個Token。此外，Bonsai 27B支援26.2萬Token的上下文視窗（Context Window），代表模型能處理並理解大量的連續資訊。模型還結合了混合注意力骨幹（hybrid attention backbone），其中約75%的層採用線性注意力，這使得在手機硬體上實現如此大型的上下文視窗變得實用可行。

這款模型具備多模態輸入功能，意味著它能同時處理文字與影像。Bonsai 27B也提供工具呼叫（tool-calling）能力，支援更複雜的代理工作流程，例如讓AI自主瀏覽網路或執行多步驟任務。PrismML還附帶了DSpark推測解碼層（speculative decoding layer），能在NVIDIA H100處理器上提供1.37倍的處理量提升，且不影響輸出品質。

PrismML執行長巴巴克·哈斯比（Babak Hassibi）向消費者新聞與商業頻道（CNBC）證實，蘋果正與PrismML進行初步洽談，評估將這項壓縮技術應用於蘋果自家的裝置端AI計畫中。目前，蘋果、Google和高通（Qualcomm）等科技巨頭也積極推動裝置端AI發展，但主要集中在參數較小的30億至70億模型。PrismML的Bonsai 27B已開放原始碼，並遵循Apache授權條款2.0版（Apache 2.0）提供免費下載，為開發者提供了無需依賴雲端運算、降低成本和避免資料外洩風險的機會。

PrismML今年持續擴展Bonsai模型家族，繼今年三月推出Bonsai 8B模型，五月發表Image 4B後，本週稍早正式發布了Bonsai 27B。此發展對於智慧裝置產業具深遠意義，特別是對於台灣在智慧裝置硬體及相關應用開發的業者而言，開啟了更多創新可能性。