老黃簡報提3次提「他」 APMIC帶AI解決方案反攻美國市場
今年台北國際電腦展COMPUTEX掀起AI教父、輝達（NVIDIA）執行長黃仁勳炫風，他在演講簡報提及的台灣公司股票都大漲一波，有一家軟體公司的名稱出現三次，那就是主打企業自主AI解決方案的台灣新創公司APMIC。
APMIC創辦人暨執行長吳柏翰27日表示，旗下的大型語言模型「CaiGunn開講」將引進北美市場，讓企業擁有能力打造自己的AI大腦、人人輕鬆參與AI時代，協助全球企業邁向AI轉型。
「CaiGunn開講」，名稱取自台語「聊天」發音，是APMIC團隊打造的在地化大型語言模型與平台框架。吳柏翰介紹，企業人員只要將現有的文章、網站或是文件資料上傳，不需寫任何程式，就能打造出地端的企業AI大腦，不上傳到雲端，所以不怕機密洩漏，每個員工都能一鍵套用、用對話的方式使用AI工具。
「CaiGunn開講」已獲得Google、台北市政府、NEC、台塑生醫、中國信託銀行及亞太電信等800多家橫跨健康、製造、金融、航空、零售等產業採用，為企業服務效率提升超過30%，也是2023年全台唯一上榜全球知名開源語言模型平台Hugging Face百大排名的模型。
輝達也在27日宣布推出四款全新NVIDIA NIM微服務，讓開發人員能輕鬆建置與部署高效能的生成式AI應用，針對地區需求量身打造，在台灣使用Llama 3-Taiwan 70B NIM微服務，可降低生產環境中運行模型的總成本，並減少延遲。
輝達新聞稿提到，像是長庚醫院正在以此建置該院專屬的AI推論服務，集中管理醫院體系內的所有LLM應用；和碩用來開發內外部的應用，將這款微服務與旗下的AI系統整合，提升製造與營運效率。其他包括長春集團、欣興電子，媒體公司，以及線上合約服務公司律果科技與新創公司APMIC等都有在開放模型上進行合作。
數據顯示，目前企業做AI生成，用小模型加上RAG準確率只能達到83.9%，若想更精準，就必須花更多的錢、買更大的設備與模型，但APMIC的技術就是用他們「微調」，使用輝達H100的顯卡，達到H200擁有的90%以上的精準度。
吳柏翰表示，今年他到美國參加輝達的GTC大會時，發現美國雖然AI發展得早，但缺乏相關的框架業者，而他們已能跟輝達生態圈合作打團體戰，包括硬體、軟體與系統整合等廠商，進軍美國市場。