請更新您的瀏覽器

您使用的瀏覽器版本較舊,已不再受支援。建議您更新瀏覽器版本,以獲得最佳使用體驗。

PrismML 發表首個 iPhone 就能跑的 27B 大模型!傳蘋果正在評估合作可能

科技新報

更新於 4小時前 • 發布於 3小時前

外媒報導,AI 新創公司 PrismML 14 日推出 Bonsai 27B,宣稱是首個 iPhone 就能跑的同級大型模型,能原生 Mac、iPhone 與 iPad 執行,也能以 CUDA 用 NVIDIA GPU 執行,並已以 Apache 2.0 授權開放權重與開發者預覽 API。

PrismML 之前傳出與品果接觸而受關注。執行長 Babak Hassibi 受訪時表示,蘋果與其他企業都在評估模型速度、耗電與裝置端效能表現,雙方討論仍屬初步階段,但進展「相當順利」。蘋果並未立即回應。

PrismML 強調,Bonsai 27B 以低位元壓縮,將約 54GB 的 27.8 億參數模型壓縮到最低約 3.9GB,有機會用 iPhone 15 以上裝置執行。1-bit 版本約 4GB,主打極致壓縮;1.58-bit 的三元(ternary)版維持較高品質同時,仍遠小於傳統全精確度模型。PrismML 聲稱,壓縮後模型僅需約10%~6.6%記憶體,回應速度提升六至八倍,耗電則降低三至六倍,但代價是準確率略微下降,且事實性知識退化得比推理與程式能力更快。

效能數據方面,PrismML 表示,Bonsai 27B 在 NVIDIA GeForce RTX 5090,1-bit 版最高可達每秒 163 個 token,ternary 版可達 134 個 token;M5 Max 則分別可達 87 與 58 個 token。1-bit 版本專為高階行動裝置設計如 iPhone 17 Pro,每秒可達 11 個 token。

此發表也延續外界對蘋果強化裝置端 AI 的關注。蘋果近年希望更多 AI 運算留在裝置終端,而非完全依賴雲端;若技術成熟,有助縮短回應時間、降低雲端基礎設施成本,並強化一貫主打的隱私訴求。PrismML 則表示,旗下模型與技術來自加州理工學院相關研究,並獲得獨家商業化授權。

(首圖來源:PrismML

立刻加入《科技新報》LINE 官方帳號,全方位科技產業新知一手掌握!

查看原始文章

更多理財相關文章

01

新/14萬股民注意!禾伸堂、台燿爆鉅額違約交割

EBC 東森新聞
02

關鍵推手竟是台灣廠商!這2兄弟意外創業「1年海撈32億」 翻身心路曝光

自由電子報
03

全國十二大最富村出爐!新竹寶山鄉稱霸 馬祖、阿里山也入榜

三立新聞網
04

信驊1張股票近2千萬「能買北市1間房」!台股千金盛世,3年暴增39檔千金股,背後藏了什麼暴富秘密?

今周刊
05

西門町「in89豪華影城」熄燈轉手!19.8億拿下 神秘家族身分曝光

三立新聞網
06

偉詮電股價今年漲30%!護國神山牽線,一場祕密併購切入AI鏈、市占飆4成「輝達牛肉再好,沒我們上不了桌」

今周刊
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...