輝達推國語 NVIDIA NIM 微服務 和碩、長春集團、長庚醫院皆採用
AI霸主輝達（NVIDIA）今天宣布推出四款全新 NVIDIA NIM 微服務，讓開發人員能夠更輕鬆地建置與部署高效能的生成式 AI 應用。微服務支援社群常用的各種模型，可以按照當地語言和文化傳統，強化與使用者的互動，這些產業包括醫療保健、金融、製造業、教育與法律。台灣則有長庚醫院、和碩、長春集團、欣興、科技報橘、律果科技，以及生成式 AI 新創APMIC使用輝達微服務。
根據 ABI Research 的資料顯示，光是在亞太地區，預計到 2030 年時，生成式 AI 軟體的營收將從今年的 50 億美元成長到 480 億美元。使用日文資料訓練出的Llama-3-Swallow-70B，以及用國語資料訓練出的Llama-3-Taiwan-70B，都屬於區域語言模型，可以更深入瞭解當地法律、法規和其他習俗。
從新加坡、阿拉伯聯合大公國、韓國和瑞典，再到法國、義大利和印度，世界各國均投注心力發展主權 AI 基礎設施。全新 NIM 微服務讓企業、政府機構和大學可以在自己的環境中託管原生 LLM，使得開發人員能夠開發先進的 AI 輔助功能（copilots）、聊天機器人和 AI 助理。
NVIDIA AI Enterprise 提供的微服務，為利用 NVIDIA TensorRT-LLM 開源函式庫推論最佳化。
適用於 Llama 3 70B 的 NIM 微服務可提供高達 5 倍的輸出量，而Llama 3 70B 正是全新 Llama-3-Swallow-70B 與 Llama-3-Taiwan-70B NIM 微服務的基礎模型。這麼一來可以降低在生產環境中運行模型的總成本，又能減少延遲，讓使用者享受更好的操作體驗。現在可以經由託管式應用程式介面（API）使用全新的 NIM 微服務。
台灣長庚紀念醫院目前正在建置該院專屬的AI推論服務（AIIS），以集中管理醫院體系內的所有 LLM 應用。長庚醫院使用 Llama 3-Taiwan 70B，提供患者能夠理解更細膩的醫療語言，提高第一線醫護人員的工作效率。
和碩將採用 Llama 3-Taiwan 70B NIM 微服務來開發供內部及外部使用的應用。該公司已將這款微服務與旗下的PEGAAi Agentic AI系統進行整合，以達到流程自動化，提升製造與營運效率。長春集團、欣興、科科技報橘、律果科技，以及生成式 AI 新創APMIC 同樣正在使用Llama-3-Taiwan 70B NIM。