請更新您的瀏覽器

您使用的瀏覽器版本較舊,已不再受支援。建議您更新瀏覽器版本,以獲得最佳使用體驗。

理財

APMIC 攜手銓鍇國際推 AI 算力方案,支援李飛飛 s1 訓練方法

科技新報

更新於 1天前 • 發布於 1天前

曾獲 Google、NVIDIA 兩大公司資源挹注的台灣新創 APMIC(Accelerate Private Machine Intelligence Company)與銓鍇國際,共同推出軟硬體整合的 Test-Time Compute AI 算力解決方案,提供類似於 DeepSeek-R1 的全新訓練方法「APMIC Toolbox s1」,結合銓鍇國際「AI CKompute」實體機櫃租賃服務。

APMIC Toolbox s1 以 NVIDIA NeMo 所開發的框架,同時支援 AI 教母李飛飛所發表的「Simple test-time scaling」(s1)訓練方法。該方法不僅承襲 DeepSeek 優點,避免中國訓練方法或模型所衍生的資安問題,更較 DeepSeek 方法節省 90 %成本,訓練資料可從 80 萬筆大幅減少至 1 千筆。

過去為了實現高準確率模型,通常需要昂貴設備與訓練方法,然而 APMIC Toolbox s1 搭配銓鍇國際推出台灣首創的 AI CKompute,提供搭載 24 片 NVIDIA H100 GPU 的高階伺服器,整櫃直送客戶現場,或者放在銓鍇這端再以遠端連線方式使用,減輕自行維護負擔。這套方案能夠快速啟動資料訓練、進行高強度測試,不必排隊等雲端 GPU 資源,免除機密資料外移的隱憂。

APMIC Toolbox s1 搭配 24 片 H100 設備後,形成一套可以訓練、推論及多模態的企業數位大腦,不僅能夠分析文字、圖片,也能進行企業知識的深度推理,相較傳統做法,資訊檢索準確度提升 70%,便於企業客戶透過自然語言建立 AI,進行知識管理、撰寫報告等。

這套方案讓客戶可在地端實現「知識蒸餾」(Knowledge Distillation),透過大模型學習企業領域知識,然後縮小至 320 億至 700 億參數(32B~70B)的模型上,讓推論成本可比 ChatGPT 節省多達 98% 以上,而且企業知識資料不外流。

與此同時,企業不再需要擔心購買昂貴設備,依業務需求靈活調整 AI CKompute,可長期租用,甚至租單一個月或數天使用。租約到期,客戶可選擇整機購買或直接歸還,達到「資本支出轉營運支出」的高彈性策略,取得所需運算資源。

值得關注的是,APMIC 自行開發在地化大型語言模型和平台框架「CaiGunn」(開講,取自「聊天」的台語發音),包括專為台灣人打造的「CaiGunn-TaME」,打造企業 AI 大腦。企業員工能以聊天機器人的對話方式使用,協助提高客戶服務、文字分析、文件審查等處理效率。CaiGunn 獲得 Google、台北市政府、NEC、台塑生醫、中國信託銀行等超過 800 家企業採用,從去年起進軍北美市場。

(首圖為 APMIC 共同創辦人暨執行長吳柏翰,來源:APMIC)

立刻加入《科技新報》LINE 官方帳號,全方位科技產業新知一手掌握!

0 0
reaction icon 0
reaction icon 0
reaction icon 0
reaction icon 0
reaction icon 0
reaction icon 0