2023年生成式AI相關應用如雨後春筍般湧現，開啟人工智慧新篇章，為產業和民眾帶來前所未有的創造力和智慧。5G、物聯網和智慧裝置普及推動了運算能力向邊緣發展的趨勢，邊緣小型化大語言模型（Small Large Language Models；sLLM）也因此逐漸受到重視。
根據市場調查研究機構Valuates Reports的評估報告指出，2023年全球sLLM市場規模為51.8億美元，至2030年將成長至171.8億美元，2024年至2030年的年複合成長率（CAGR）為17.8%。sLLM的常見應用為自然語言處理（Natural Language Processing；NLP）任務、資訊擷取和摘要、語言生成如內容生成、程式碼生成、跨國語言翻譯、智慧助理與對話系統等。
目前許多企業都在關注sLLM，因為其運算效率、靈活可調整和可訪問性的特點，非常適合部署在邊緣裝置和雲端環境中。sLLM和大型語言模型LLM（Large Language Model）之間的差異不僅在於規模和能力，更在於其專屬應用場景和效能的表現。
如果說，LLM擁有龐大的參數量和廣泛的資料學習能力，能處理更複雜的語言結構並產生更準確的預測。相較之下，sLLM雖然在規模上較小，但卻具有執行速度更快、占用更少記憶體和運算資源等優點。
在實際應用中，根據不同的任務需求和資源限制，選擇適合的語言模型將對AI應用的效能與成本起到關鍵作用，必須充分考慮其規模與性能的平衡，以實現最佳的應用效果。因此，sLLM和LLM的主要區別在於：規模和範圍、訓練時間與運算資源、領域專業知識以及多功能性等四大面向。
近年來，在5G和邊緣應用的推動下，sLLM在本地端進行數據處理和分析，無需依賴雲端伺服器，降低網路延遲和數據回傳成本，特別適合資源受限環境，如邊緣裝置或中小型企業的使用場景。尤其在生成式AI技術獲得重大突破並瞬間爆發成長後，sLLM也加速邊緣AI終端市場的快速成長。歸結主要原因有四：
第一、低延遲、高效率需求：sLLM保留大型語言模型的部分能力，同時減少運算資源需求，使其能在算力有限的邊緣裝置上有效運行，提供低延遲的數據處理和語言理解能力。
第二、5G與邊緣運算的結合：5G網路是邊緣運算落地的關鍵基礎。在5G網路支持下，sLLM可實現快速的資料處理和決策，將進一步帶動智慧城市、智慧交通、自動駕駛等領域發展。
第三、邊緣AI市場的普及與成本降低：sLLM提供一種性能與成本間的平衡方案，使得中小型企業也能利用強大語言模型來提高產品／服務的智慧化能力，促進市場的擴展。
第四、客製化應用：邊緣AI裝置需要在各種不同的環境中工作，sLLM能依據不同需求微調，其靈活性和可客製化能適應多元場域。
目前sLLM市場主要投入的國際業者有Google、Meta、Microsoft、Salesforce、Stability AI、阿里巴巴等，例如Google於2023年12月6日推出Gemini多模態模型。Gemini模型有Ultra、Pro、Nano三個版本，Nano模型由Android開發團隊主導，此模型最小，有Nano-1 1.8B和Nano-2 3.25B兩個參數模型，專為行動裝置設計，目的是提供更快速回應和節省電力的AI功能。其用於Android手機可離線運行，Nano-1是針對低記憶體裝置、Nano-2是針對高記憶體裝置，目前已整合在Pixel 8系列、三星s24旗艦系列，提供更個人化的服務。2024年4月微軟發布Phi-3系列小語言模型，在語言理解、推理、數學和程式寫作等任務有不錯的表現，效能達到GPT-3.5 Turbo的水準，特別適合於商業和學術領域。同年7月Meta也推出新一代開源大語言模型Llama 3.1 - 8B、70B和405B三種參數模型，其中8B參數模型相較參數量相似的Gemma 2 9B IT及Mistral 7B Instruct也有較好的表現。AI新創公司方面，如Hugging Face、Mosaic ML等也都有創新的研發能量。
另一方面，國際大廠除了看好sLLM的市場潛力，也積極布局AI Phone、AI PC、人形機器人以及虛擬人平台服務等領域，藉此創造多元且智慧化的使用體驗。
總結來說，5G甚至未來的6G高速網路發展，正與sLLM展現相輔相成的趨勢，共同推動智慧裝置與服務模式的轉型升級。隨著邊緣AI應用逐步克服數據隱私、硬體限制和跨平台管理等挑戰，將加速智慧邊緣生態系全面發展。（作者是工研院產業科技國際策略發展所分析師）
工研院
工業技術研究院是國際級的應用研究機構，以科技研發，帶動產業發展，創造經濟價值，增進社會福祉為任務。工研院以整合跨域解方，加速產業前進動能，擘畫「2035技術策略與藍圖」為解決方案，用科技創新翻轉生活，以市場需求為導向、發展解決方案、創建嶄新市場，引領產業社會邁向美好未來。