28 日清晨，中國 AI 企業 DeepSeek 又再宣布開放全新原始碼的視覺多模態模型 Janus-Pro-7B。該模型其在 GenEval 和 DPG-Bench 基準測試中擊敗了 Stable Diffusion 和 OpenAI 的 DALL-E 3。
根據官方的說法，Janus-Pro 是一種創新的自回歸框架，可以達成多模態資訊的統一理解與生成。與以往的方法不同的是，Janus-Pro 透過將視覺編碼過程拆分為多個獨立的路徑，解決了以往框架中的一些局限性，同時仍採用單一的統一變換器架構進行處理。
DeepSeek 指出，這一解耦方式不僅有效緩解了視覺編碼器在理解和生成過程中可能出現的衝突，還提升了框架的靈活性。而 Janus 的表現超越了傳統的統一模型，並且在與任務特定模型的比較中也同樣表現出色。尤其憑藉其簡潔、高靈活性和高效性的特點，Janus-Pro 成為下一代統一多模態模型的有力競爭者。
事實上，Janus-Pro 是一個統一的多模態大語言模型（MLLM），是採用於 DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base 的模型構建的。透過將視覺編碼過程，可以從多模態理解和生成中解耦來實現更高效的處理。另外，在多模態理解任務中，Janus-Pro 採用 SigLIP-L 作為視覺編碼器，支持 384 x 384 像素的圖像輸入。在圖像生成任務中，Janus-Pro 使用一個來自特定來源的分詞器，降採樣率為 16。
DeepSeek 強調，Janus-Pro 是先前工作 Janus 的進階版本。具體來說，Janus-Pro 整合了優化的訓練策略、擴展的訓練數據，以及更大模型規模的拓展。透過這些改進，Janus-Pro 在多模態理解和文字到圖像指令遵循能力方面獲得了顯著進展，同時還增強了文字到圖像生成的穩定性。
DeepSeek 進一步指出，JanusFlow 導入了一種極簡架構，它將自回歸語言模型與校正流 （一種最先進的生成模型方法） 相整合。研究發現，校正流可以直接在大型語言模型框架內進行訓練，無需複雜的架構調整。大量實驗顯示，JanusFlow 在各自領域內獲得了與專用模型相當，甚至更好的性能，同時在標準基準測試中顯著優於現有的統一方法。這項工作代表著朝著更高效、更通用的視覺語言模型邁進了一步。
(首圖來源：官網)