把閒置遊戲電腦送去 AI 打工?兩新創打造「AI 版 Airbnb」串聯分散資源
兩家新創公司正將目光投向家用電腦與遊戲主機的閒置算力,試圖打造可出租 AI 推論資源的市場。來自阿布達比的 Far Labs 與美國奧斯汀的 Evolving Edge 兩家公司,近期都在推動個人硬體承接 AI 工作的服務,概念類似「AI 推論版 Uber 或 Airbnb」。
Far Labs 預定幾週內推出 Far AI 平台,稱延遲可控制在 100 毫秒內;Evolving Edge 已開始公測。兩家公司鎖定的目標並非最尖端、規模最大的模型,而是較小型且以開源為主的 AI 模型,旨在將分散於家庭與小型企業的閒置 GPU、CPU 等資源串聯起來,提供推論服務。
技術設計方面,Far Labs 以自研排程系統將模型拆分成多台機器運算,再由協調器與負載平衡器整合結果;Evolving Edge 則採開源框架 Ray 分派工作。兩家公司都強調安全隔離,表示推論會在沙盒環境執行,並用加密通訊與 GPU、CPU、記憶體、儲存與網路嚴格限制,降低主機被惡意程式入侵或遭存取本機檔案的風險。Evolving Edge 甚至開源節點軟體,讓硬體提供者能檢視實際執行內容。
然而,這類模式的商業可行性仍有待觀察。現有商業平台如 Salad 每小時 0.02 美元起,但硬體擁有者實際能分到多少收益、扣除電費後是否划算,外界仍缺乏明確數據。且 RTX 4090 這類高階顯卡長時間滿載運作的耗電量不低,若收益不足,甚至可能出現「替平台打工還要自己貼電費」慘況。
兩家新創公司都主張,分散式網路比集中式雲端服務更具備抵禦故障的能力。Evolving Edge 創辦人 John Federico 以去年 10 月 AWS 當機為例,強調即使網路有大量節點失效,整體服務仍能運作。然而,分散式 AI 運算也面臨信任挑戰;已有研究質疑某些以區塊鏈包裝的 AI 計畫,其實並未產生有用的 AI 計算。雖然 Far Labs 與 Evolving Edge 強調提供真實的客戶推論服務,但關於成本與延遲的說法,仍需等平台規模化後才能驗證。
(首圖來源:shutterstock)