新創 PrismML 把 AI 模型壓縮近 10 倍，個人電腦就能執行，測試分數達原版 98%
佔用容量越大的人工智慧模型，就一定代表更好的性能嗎？實際情況或許並非如此。舉例來說，知名 AI 新創實驗室 PrismML，就透過旗下開發的壓縮技術，試圖讓小容量 AI 模型也能跟大容量模型擁有相同的性能與智慧能力。
日前 PrismML 發表基於阿里巴巴旗下開源模型 Qwen3.8 27B 的第二代壓縮模型 Bonsai 2 27B，並將整體容量壓縮到 5.9GB，足以讓使用者於個人電腦或高階智慧型手機中直接執行。
PrismML 致力於開發體積極小的推理模型，使其能安裝在個人電腦和智慧型手機上。公司由一群來自加州理工學院的研究人員創立，其中壓縮技術專家 Babak Hassibi 擔任創辦人兼執行長，而 Databricks 共同創辦人 Ion Stoica 則是公司顧問，後者還是柏克萊大學 Sky Computing Lab 主任，曾孕育出 Letta、SGLang 等眾多技術與新創公司。
三元權重壓縮，記憶體佔用降 10 倍
Babak Hassibi 表示，跟其他競爭對手與技術相較，PrismML 的壓縮方式之所以獨特，關鍵在於旗下推出的 AI 模型，若跟原始版本相比，性能方面幾乎沒有任何損失。
相較於原始版本模型，Bonsai 2 27B 的記憶體佔用量減少了 9 到 10 倍，但其綜合基準測試分數卻達到原版 Qwen3.8 27B 的 98%，比起半年前推出，第一代 Bonsai 模型的 95% 來得更高。
技術方面 PrismML 解釋，開發團隊透過縮小構成模型的「權重（weights）」來達成容量壓縮的目標。
所謂「權重」本質上是 AI 模型在訓練過程中，學習並儲存下來的資訊。普遍而言，每個「權重」需要 16 位元，但 PrismML 採用「三元」壓縮法，將其簡化為 +1、−1 與 0 三種對應值，使每個「權重」需要儲存的數值大幅減少，所以 AI 模型所佔用的空間也因此降低。
在每次版本更新中，PrismML 的 AI 模型性能皆有所提升，只不過未來壓縮模型是否能達到跟原版模型 100% 相同的性能，這點仍有待觀察。Babak Hassibi 也承認，當 AI 模型經過壓縮，性能似乎一定會出現某種程度的影響。
無論是否壓縮，LLM 都不夠完美
雖然從 Bonsai 到 Bonsai 2，PrismML 所開發的壓縮模型，確實跟原版模型的效能越來越接近，但基準測試終究無法反映 AI 模型於實際任務中的表現。
原因在於，即使是未經壓縮的原版大型語言模型，本身也不是完全準確，同時基準測試也不可能完美模擬各種任務的真實處理情況。因此，基準測試上的分數差距，並不能直接等同於 AI 模型在實際使用上的性能差距。
所以若站在實用性的角度來看，即使 PrismML 研發的壓縮模型，跟原版模型在仍有 2% 的性能差距，消費者實際使用時也未必會感受到顯著差異。
畢竟 AI 模型的實際表現，通常不只取決於模型本身，舉凡 AI 運作時所仰賴的軟體環境與框架等因素，亦可能對最終準確度，甚至是效能造成影響。
保留智慧能力，壓縮千億級 AI 模型
根據官方說法，第一代 Bonsai 模型推出後，至今已累積超過 1,100 萬次下載量，而 PrismML 其他容量更小的模型，亦累積超過 260 萬次下載。
PrismML 的下一個目標，是將把壓縮技術應用於規模更大的模型上。Babak Hassibi 說，團隊希望於未來幾個月內，發表參數規模達千億級別以上的壓縮模型，同時他認為隨著模型參數增加，AI 的智慧能力將會被保留得更加完整。
Babak Hassibi 解釋，參數規模越大的模型，就代表擁有更大的空間，在不損失智慧能力的情況下被進行壓縮；所以就趨勢來說，當 AI 模型規模提升，想要達到與原版模型 100% 相同的性能，自然也會比較容易。
至於對普通消費者與一部分中小企業來說，若能擁有高性能的小容量模型，即代表能夠隨時隨地運用 AI 智慧功能，而且是免費、零開銷的效率提升。
不僅如此，當小容量模型能夠在消費級硬體上流暢執行，還可以同步保障使用者的隱私安全，因為消費者與企業將不再需要把資料傳送至雲端。
【推薦閱讀】
◆ Google 研究：AI 有幻覺是因為「想不起來」！增加規模無助提取問題，靠思考才能找回答案
◆ Jev 為何爆紅？AI Agent 正重新分配「誰來做決策」
◆ 【AI 代理只是聰明的猴子】軟體工程師的新工作，是打造讓代理更強大的系統邊界
＊本文開放合作夥伴轉載，參考資料：TechCrunch、PrismML，首圖來源：PrismML
（責任編輯：鄒家彥）