OpenAI 新模型攻克老舊程式語言,COBOL 移轉正確率飆升至 97.9%
OpenAI 19 日宣布,最新模型對 COBOL、Fortran 與 Visual Basic 等學習資源較少的老舊程式語言,無論撰寫新程式或系統移轉,表現都明顯進步。這些程式語言雖然訓練資料庫相對稀少,卻仍支撐金融與政府等關鍵基礎設施,因此提升功能很有意義。
為衡量進展,OpenAI 設計兩項評測。一是 MultiLangBench,要求模型以 20 種不同程式語言,從零打造一套相容 SQLite 的資料庫引擎。結果顯示,GPT-6 Astra 最高推理設定下平均通過率達 87.4%,遠高於前代 GPT-5.6 Sol 的 26.8%。各語言表現,COBOL 由 10.9% 提升至 72.1%,Fortran 由 21.4% 升至 83.5%,Visual Basic 則由 27.5% 升至 89.4%;OpenAI 表示,20 種語言有 19 種都超過 83%,但 COBOL 仍最具挑戰性。
另一項評測聚焦程式移轉,要求模型將 COBOL 程式改寫成 C++、Java、Kotlin、Python 或 Rust,同時維持原本行為不變。OpenAI 表示,這類任務不只是單純翻譯程式碼,還必須保留原始計算邏輯與商業規則,因此採用隱藏測試檢查輸出是否逐位元組一致。結果顯示,GPT-6.1 Sol 低推理設定時準確率達 86.6%,明顯高於 GPT-5.6 Sol 的 5.4%;提高推理強度後,準確率更升至 97.9%。
OpenAI 提到,低成本版 GPT-6 Luna 在 MultiLangBench 平均通過率也達 40.3%,且每測試樣本的預估 API 成本較前代更低。不過 OpenAI 強調,這些成果只代表在測試環境有進步,若要實際用於生產系統,仍需專家審查,並針對各自業務規則與依賴關係仔細驗證。
OpenAI、「COBOL」など学習リソースの少ない言語でのコーディング能力が大幅向上 COBOL移行の正解率は最大97.9%に
OpenAI says GPT-6.1 Sol is dramatically better at migrating legacy code
OpenAI looks to help banks modernise legacy software their operations still depend on
(首圖來源:OpenAI)