Kakao 宣布開源 AI 影像辨識模型:訓練效率提升 4 倍、延遲大幅降低逾 60%
Kakao 於 10 月 22 日宣布,已將旗下自研的兩款影像辨識模型 Kanana-2-vision-encoder 釋出為開源模型,並上架至全球 AI 開發平台 Hugging Face。這次公開的版本包括 4.26 億參數的 medium 與 9,800 萬參數的 tiny,兩者皆採用可供研究與商業用途的 Kanana Open License。
這類視覺編碼器可視為多模態 AI 的「眼睛」,負責從影像中擷取物件、文字、位置與形狀等資訊,再交由語言模型進一步理解與回應。Kakao 表示,這類技術可應用於菜單與文件辨識、圖片內容理解,以及視覺問答等場景。
效能超越主流模型,訓練效率大幅躍升
根據 Kakao 的內部評測,兩款模型在涵蓋一般視覺問答、英文與韓文 OCR、文件理解、影像定位與細粒度辨識等多項基準測試中,整體表現優於多款國際主流視覺編碼器。
▲ Kakao 針對自家最新推出的 AI 模型與其他國家的 AI 模型做比較。(Source:Kakao)
Kakao 也指出,這兩款模型是以自家語言模型 Kanana-2 訓練而成,讓訓練效率較先前提升約 4 倍;同時透過針對高解析度影像設計的架構,將處理延遲較主要國際比較模型降低逾 60%。其中,tiny 版本更是以不到 1 億參數的輕量設計,精準瞄準裝置端(On-device)的應用需求。
Kakao 先前已在 10 月 13 日的 if(kakao)26 開發者大會上預告這項開源計畫。公司表示,開放這些核心技術的初衷,是為了降低國內外研究人員與企業導入多模態 AI 的門檻,並進一步推動相關研究與服務的開發。
(首圖來源:Kakao)