破除 LLM 無法「從經驗學習」限制，MIT 開發持續學習的 SEAL 模型
為了解決當前大型語言模型（LLM）完全不具備「從經驗學習」能力，麻省理工學院（MIT）的研究人員設計出名為「自適應語言模型」（Self Adapting Language Models，SEAL），讓 LLM 根據有用新資訊自行調整參數，持續改進表現。
研究人員表示，當前AI推理雖然能推理出更好的解答，但這些推理過程對模型的長期能力並沒有實質的幫助。相比之下，SEAL 能產出新見解，並將其納入模型自身的權重或參數中，這就好像人類學生透過寫筆記與複習來增強學習效率的方式一樣。
系統接著會利用這些資料更新模型，並測試新模型回答問題的能力。最終，這個過程會產生一個「強化學習」訊號，用來引導模型朝向能提升整體能力、並促進持續學習的方向進行調整。
研究員用 Meta Llama 、阿里巴巴 Qwen 測試，也適用更大型模型。團隊並將 SEAL 用於一般文字任務，以及專門評估 AI 模型解決抽象推理問題能力的 ARC 基準測試，發現 SEAL 讓這些模型初始訓練完後也繼續學習。
值得注意的是，SEAL 專案觸及 AI 領域重要主題，如何讓 AI 自行判斷該學什麼，將來有助 AI 模型更個人化。不過 SEAL 還不是讓 AI 無限進步的方法，因為測試曾出現所謂「災難性遺忘」現象，也就是當模型吸收新資訊後，使舊知識消失。
此外，SEAL 需要十分密集的運算，研究員難以有效安排新學習週期。為了解決這個問題，或許 LLM 也可像人類需要「睡眠期」，以便讓它有效融合新舊資訊。
不論如何，這項研究邁出朝「讓人工智慧模型具備持續學習能力」的關鍵一步，SEAL 持續最佳化後，人們有望打造更能吸收新資訊、理解使用者興趣與偏好的聊天機器人與其他 AI 工具。
（首圖來源：shutterstock）