創鑫智慧攜高登智慧與超恩 推企業級一站式生成式AI方案
因應工業AI在地端部署的強勁需求，創鑫智慧(Neuchips)今(26)日宣佈，旗下Viper系列AI加速卡將與超恩(Vecow)ECX-3100 RAG超強固工作站結合，透過高登智慧(GSH)的ShareGuru SLM解決方案，提供高能效、低耗電的軟硬整合式方案，以滿足邊緣端蓬勃發展的生成式AI應用需求。
專注於大語言模型(LLM)和生成式AI晶片設計的創鑫智慧，與超恩所合作開發的高能效解決方案，將分別整合雙方Viper系列LLM加速卡與邊緣AI運算系統，其中創鑫智慧提供的是企業級離線AI解決方案，搭載Raptor N3000 LLM加速晶片，這一戰略合作可望帶給企業高精準度且可信賴的解決方案，以加速生成式AI發展和雙贏的企業部署。
超恩ECX-3100 RAG超強固工作站採用Intel® Core™ i9/i7/i5/i3處理器搭載工作站等級Intel R680E PCH，與內建96GB DDR5高速記憶體，是一款極精巧整合式生成式AI推論平台，支援具備多種高速資料傳輸介面：10G USB、2.5G網路以及5G/WiFi/BT/4G/LTE/GPRS/UMTS無線傳輸，彈性支援DC 12V至50V寬範圍電源輸入，車用電源控制功能，超堅固設計，可滿足邊緣端生成式AI應用的多樣化需求。
超恩執行副總黃聖凱表示，隨著生成式 AI (Generative AI; GenAI)應用的發表，市場上對Gen AI的需求正快速增長，超恩與創鑫智慧合作開發以RAG為主的先進Gen AI專用軟硬體整合解決方案，讓企業使用者在無需透過他方的額外進行訓練模型即能以自然語言利用Gen AI技術提取企業資料庫/商業智能(BI)中最新分析，從而提供更關鑑鍵和高品質如圖表化的結果，加快企業用戶決策過程。相較對於傳統以雲端為基礎的GPU解決方案，更具成本效益、紮實的推論性能且低功耗的GenAI工作站的用戶來說，這才是至關重要。
創鑫智慧執行長劉景慈指出，Viper AI LLM加速卡展現創鑫智慧在生成式AI市場上的敏捷應變能力，為高登智慧ShareGuru QA 2.0自然語言轉換資料庫查詢(Natural Language to SQL)方案提供動力，在極為節能與高容量記憶體配置下，提供企業級語言模型能力，透過此一戰略整合，ShareGuru QA2.0 是一個與SLM配合運作的SQL Agent, 並充分利用Mistral-Nemo(為一個120 億參數模型)的能力，僅在單張Viper卡上高效運行，同時僅消耗45W功率，實現安全的本地AI處理，無需傳統基礎設施的複雜性和成本。
高登智慧技術長林志哲博士說明，高登智慧先進的自然語言處理解決方案，與Viper原生BF16結構化語言模型支持之間的協同，使用原生模型，不需特別壓縮處理，提供高精度的資料庫轉換生成結果，為尋求實施AI驅動數據庫分析的組織創建出強大解決方案，同時保持數據安全並降低運營成本，而這種軟硬體間的整合，展示功率效率、處理能力和安全性之間的完美平衡，特別適合需要本地處理和能源效率的工業和企業應用，可以滿足工業AI在地端部署強勁需求。