學術使用與商用皆可，中研院 CKIP-Llama-2-7b 繁中大型語言模型登場
中央研究院詞庫小組（CKIP）最新釋出可以商用的繁中大型語言模型（large language model）CKIP-Llama-2-7b，能作為學術使用或是商業使用，可應用於文案生成、文學創作、問答系統、客服系統、語言翻譯、文字編修、華語教學等。
中央研究院詞庫小組以商用開源模型 Llama-2-7b 以及 Atom-7b 為基礎，再補強繁體中文的處理能力，並對 405 個可商用的任務檔案同步進行訓練優化，參數量達 70 億。團隊一共開發出兩個模型一個是繁體中文預訓練後的 CKIP-Llama-2-7b，一個是以前者為基礎，繼續多任務微調訓練後的 CKIP-Llama-2-7b-chat。
該模型已經放上 Github 和 Huggingface 提供大眾下載，也可以使用自己的訓練資料集進行訓練，快速構建出一個可以滿足自身任務需求的模型，模型僅需一張 12G 記憶體容量的 GPU 即可佈屬。
（Source：測試網頁）
其中為了達到可商用目的，多任務微調資料也避免使用 alpaca 及 vicuna 等經由 OpenAI 產品生成的資料集，而取自於純人工產生的 COIG-PC 資料集和 dolly 資料集，中央研究院詞庫小組表示，COIG-PC資料集當中有為每一個任務檔案註明是否可以商用，團隊從中挑選出 405 個可商用的任務檔案，再從其中隨機抽取出我們的任務微調資料集；dolly-15k 資料集整體均為為可商用資料集。
團隊也展示實測範例，好比問它「在台灣什麼是 22K？」、「台灣地方特色小吃」、「幫我規劃日月潭二日遊」等，都可以獲得相對應的答案，也能請它以七言絕句吟詩、寫推銷文案、寫志願或是一封想入職中研院的求職信等。
中央研究院詞庫小組小組表示，這個模型可應用於各種領域，包括文案生成、文學創作、問答系統、客服系統、語言翻譯、文字編修、華語教學等等，中研院搶先開放測試網頁，開放所有人測試。
臉書母公司 Meta 7 月免費釋出旗下開源軟體人工智慧商用模型 Llama 2，提供免費用於研究和商業用途，也免費提供給在微軟 Azure 雲端服務上開發軟體的開發者使用，華碩旗下的台智雲也開發了「繁體中文強化版 FFM-Llama 2 大語言模型」，包括 70B、13B 及 7B 三種商用版本，支援 Code Llama 程式開發與 Embedding 增強語意搜尋模型。
（首圖來源：unsplash）
留言 1