為了與 Google 等競爭對手抗衡，OpenAI 宣布推出「Flex 處理（Flex processing）」，這是一種 API 選項，提供更低的 AI 模型使用價格。Flex 處理目前是測試版，率先適用於最新推出的 o3 和 o4-mini 模型。
根據 OpenAI，Flex 處理專為優先序較低與非生產性環境的任務所設計，例如模型效能評估、資料擴充（Data Enrichment）與非同步工作負載（asynchronous workloads）等場景。
「Flex 處理」可以降低多少成本？
根據《TechCrunch》，Flex 處理的開發者將可獲得與標準 API 相比「整整少一半」的成本。以 o3 模型為例，Flex 處理模式下的輸入費率為每百萬 token 5 美元、輸出 20 美元，相比標準版本分別為 10 美元與 40 美元。對於 o4-mini，Flex 處理費率則為輸入 0.55 美元、輸出 2.20 美元，標準費率則為 1.10 美元與 4.40 美元。
使用「Flex 處理」該注意哪些事？
然而，選擇使用 Flex 處理，同時也需接受較慢的反應時間，甚至在高峰期可能遇到資源不足、處理失敗的情況。
根據 OpenAI 說明，使用 Flex 處理時，因為處理速度較慢，API 請求出現逾時（timeout）或資源不足（429 錯誤）的機率將會上升。預設逾時為 10 分鐘，開發者可透過 OpenAI SDK 調整參數延長逾時時間。若出現 429 錯誤，表示當下資源無法分配，使用者不會因此被收費。
OpenAI 建議若開發者能容忍處理延遲，可採取「指數回退重試」策略處理錯誤。若處理時間重要，仍可透過切回標準服務等級（auto）以取得穩定回應。
【推薦閱讀】
◆ 企業導入 AI 為何須重新思考資安？「5 大情境」解析最常忽略的風險
＊ 本文部分初稿由 AI 生成，經《TechOrange》編撰，資料來源：《TechCrunch》、OpenAI，首圖來源：取自 OpenAI。