輝達推出全新NIM微服務 加速企業打造AI
[NOWnews今日新聞] 輝達（NVIDIA）宣布推出全新NVIDIA NIM微服務，旨在協助產業提升效率和安全性，打造出符合當地價值觀的AI系統，目前已與台灣多家組織和廠商合作，如長庚醫院、和碩、欣興電子等，NVIDIA NIM的工具簡化應用程序的開發，用最少的工程專業知識，輕鬆存取與部署以當地語言訓練的模型。
世界各地都在追求發展主權 AI，期盼利用自身的運算基礎設施、資料、勞動力及商業網路等資源來發展人工智慧（AI），打造出符合當地的價值觀、法律與利益的 AI 系統，保護和推動文化、語言多元性與知識。為此，輝達推出全新的NVIDIA NIM微服務，支援各種常用的社群模型，也包括主權基礎模型，可按照當地語言和文化傳統，透過準確理解和改善回應，強化與使用者的互動，使開發人員在輕鬆地建置與部署高效能的生成式AI應用的同時，有效控制生成式AI對社會、經濟、安全可能帶來的負面影響。
全新NVIDIA NIM微服務支援最新發展出的大型語言模型（LLM）Llama-3-Taiwan-70B，主要特點包括強大的語言理解、生成、推理、多輪對話能力。Llama 3 70B 的NIM微服務可提供高達5倍的輸出量，而Llama 3 70B正是全新Llama-3-Taiwan-70B NIM微服務的基礎模型，可降低在生產環境中運行模型的總成本，又能減少延遲，讓使用者享受更好的操作體驗。
該模型能更好地理解和反映台灣文化與語言上的微妙之處，有助於確保進行更加精準細緻的溝通，創造出更有效果的輸出內容。與Llama 3等基礎LLM相比，Llama-3-Taiwan-70B在理解國語、處理本地法律任務、回答問題，以及語言翻譯和總結方面的表現相當優異。
NVIDIA NIM微服務能夠加速部署、提升整體效能，且為全球醫療保健、金融、製造業、教育與法律等各產業的組織提供必要的安全性。輝達已與台灣多家產業組織合作，導入全新NVIDIA NIM微服務。
台灣領先醫療體系之一的長庚紀念醫院目前正在建置該院專屬的AI推論服務（AIIS），以集中管理醫院體系內的所有LLM應用。長庚醫院使用Llama 3-Taiwan 70B，提供患者能夠理解更細膩的醫療語言，提高第一線醫護人員的工作效率。
長庚紀念醫院醫療人工智能核心實驗室主任郭昶甫醫師表示，即時提供適合情境的指導，以當地語言LLM建立的AI應用能夠簡化工作流程，並且當成持續學習的工具，作為支持員工發展與提昇病患照護品質。而NVIDIA NIM的工具簡化了這些應用程序的開發，用最少的工程專業知識，輕鬆存取與部署以當地語言訓練的模型。
台灣的電子設備製造商和碩聯合科技將採用Llama 3-Taiwan 70B NIM微服務來開發供內部及外部使用的應用。該公司已將這款微服務與旗下的PEGAAi Agentic AI系統進行整合，以達到流程自動化，提升製造與營運效率。
全球石化產品製造商長春集團使用Llama 3-Taiwan 70B NIM微服務開發用於知識管理、銷售分析和預測、翻譯和品質保證的內部AI平台，提升決策精準度和營運效率；全球領先的印刷電路板公司欣興電子、科技媒體公司科技報橘、線上合約服務公司律果科技，以及生成式AI新創APMIC同樣正在使用Llama-3-Taiwan 70B NIM。這些公司也在開放模型上進行合作。
另外，雖然區域性AI模型可以提供文化上的細微差異與在地化的回應內容，企業還是要針對其業務流程與領域專業知識進行微調。「NVIDIA AI Foundry」是一個平台與服務，其中包括各式常用的基礎模型、用於微調的NVIDIA NeMo，以及NVIDIA DGX Cloud上的專用容量，為開發人員提供完整堆疊解決方案，以建立包裝為NIM微服務的客製化基礎模型。
輝達表示，使用NVIDIA AI Foundry的開發人員同樣可以使用NVIDIA AI Enterprise軟體平台，為生產環境部署作業提供安全性、穩定性與支援。NVIDIA AI Foundry為開發人員提供必要工具，幫助他們更便捷地建置與部署自身的客製化區域語言NIM微服務，以支援各AI應用，確保為使用者提供符合各地文化與語言使用習慣的結果。