創鑫智慧COMPUTEX展示ViperPCIe加速卡 提升AI大型語言模型推論應用
全球AI推論加速晶片廠商創鑫智慧(Neuchips) 執行長劉景慈今(15)日宣佈，將於 COMPUTEX 會場展示N3000晶片系列及Viper PCIe加速卡，將為生成式AI中大型語言模型(LLM)推論應用，帶來突破性的能源效率，是專為地端部署設計的成本效益方案。
AI時代到來，讓台北國際電腦展再度成為全球焦點，今年創鑫智慧在會場展示的N3000晶片系列及Viper PCIe加速卡，就是聚焦可全面支援英特爾(Intel)和超微(AMD)的CPU，同時兼容Ubuntu和Windows作業系統，滿足用戶地端應用的多樣化需求。
劉景慈指出，創鑫智慧推出的Viper PCIe半高半寬加速卡，專為LLM推論設計，具備優異能源效率，單卡支援最多14B參數模型，雙卡可達24B，四卡配置甚至能處理高達70B參數的大型模型，完全滿足多種LLM推論需求，舉凡Llama、Mistral、Gemma、Qwen、Phi、TAIDE，甚至Deepseek蒸餾的模型，都在支援清單中。
創鑫智慧董事長林永隆指出，創鑫智慧加速卡平均功耗僅45瓦，相當於一個普通燈泡的耗電量，顯著低於現有解決方案，在大型語言模型運算通常需要消耗大量能源的情況下，創鑫智慧的解決方案為企業提供了節能高效的LLM推論選擇，有效應對AI發展過程中可能面臨的能源挑戰。」
此外，創鑫智慧解決方案的最大優勢，在於消除了高昂的月費訂閱成本，讓企業能以一次性投資擁有自己的AI推論基礎設施，專為地端部署設計的方案，不僅降低了長期運營成本，還提高了數據安全性，使企業能完全掌控自己的AI資產。
劉景慈表示，本次展會上，創鑫智慧將攜手新加坡商楓葉資訊科技和工業電腦品牌超恩，展示其加速卡廣泛的硬體兼容性與系統支援，值得注意的是，這些小型系統無需額外電力配置，便可運行複雜的生成式AI應用。
創鑫智慧已成為國家實驗研究院國家高速網路與計算中心（國研院國網中心）推論硬體成員之一，透過國網中心TAIWAN AI RAP高效能生成式AI開發平台架構，使用創鑫智慧自家AI加速方案提供官網客服推論服務，大幅降低雲端服務成本，國網中心的混合雲方案也可確保資料安全與隱私。