請更新您的瀏覽器

您使用的瀏覽器版本較舊,已不再受支援。建議您更新瀏覽器版本,以獲得最佳使用體驗。

為了省AI額度,我把Sol換成Luna,結果更累了!什麼工作適合「降模型」?

數位時代

更新於 09月24日01:27 • 發布於 09月24日01:25 • 韋惟珊

早安呀!最近為了一天一AI PRO 上線,有好多事情要做,我常常AI token不夠,有夠想加價升級。

跟工程師聊起來,他卻說「怎麼可能?」他用AI處理幾萬篇文章分類與重組,也沒遇到這個問題。結果發現:同樣都用ChatGPT,模型我都選Sol,他都是用最省的Luna。

他的想法是,模型沒那麼聰明也沒關係,只要工作講得夠清楚,慢慢跟它說,它還是可以做好,總比額度用完、工作做到一半被迫下課好吧!

好像有道理?

結果我回家一試,發現額度省了,我卻更累了!!它開始犯錯,連原本用得好好的Skill,也冒出不少需要補充的地方,補一補之後,才能穩定上工。

我從這次經驗,總結了選模型的關鍵,整理成圖卡給你。

如果你也常常用到額度不夠,可以拿一件熟悉的工作來試試看。

覺得實用?歡迎點此連結跟我分享心得。想知道一天一AI PRO 設計的 AI 工作流?點此查看吧。

ChatGPT模型怎麼選?工作量大,不代表一定要用最強模型

工作量很大,不代表一定需要強模型

從幾萬篇文章擷取日期和作者,可以重複同一套規則;但寫一頁產品介紹,卻可能要判斷賣給誰、主打項目,以及哪些承諾不能說。

所以選AI模型前,不能只看輸入和輸出量,而是要先問:這件工作裡,還有多少地方需要模型自己判斷?

有固定步驟、有範例、格式明確,而且結果容易核對的工作,才比較適合先試輕量模型。反過來說,如果工作中還有很多需要AI自己判斷、取捨的地方,就不一定適合為了省額度直接降模型。

換成輕量模型一直出錯?可能是Skill原本就有漏洞

Skill 跑得順,可能有模型在補洞

我原本以為,只要同一套Skill換成Luna執行,頂多只是能力差一點。實際測試後才發現,原本跑得很順的Skill,可能只是因為強模型一直在幫你「補洞」。

例如,要求AI從大量新聞中「挑出重要資訊」,看起來像是一條明確規則,但「重要」到底是跟主題最相關?最影響決策?如果這些標準都沒有寫清楚,能力強的模型可能會自己補上判斷。

一換成輕量模型,原本藏著的問題才突然跑出來。

所以換模型其實也可以是一種Skill壓力測試:哪些真的是寫清楚的規則?哪些只是模型以前剛好猜對?

哪些工作適合用輕量模型?固定步驟、格式明確可以先試

什麼工作,可以先試輕量模型?

OpenAI七月舉的例子是:Sol負責釐清問題、制定計畫,Luna則執行明確的工作。

我現在也會先找幾種工作來測試輕量模型,包括步驟固定、有範例可以對照,以及輸出格式明確的任務。

例如整理欄位、分類、轉格式、依規則擷取資訊,都可以先測試。

但如果工作還需要釐清方向、處理矛盾、做取捨,甚至連你自己都還不知道「怎樣才算好」,就先別急著降模型。

換模型真的比較省?別忘了把修正時間算進去

省了額度,卻多花時間教?也要算進去

不過,模型變便宜、額度用得比較少,不代表整體成本真的比較低。

換模型跑同一件工作時,我會多觀察兩件事:修正幾次?花多少時間?

如果只是漏寫規則,補完之後就明顯改善,就表示這套工作流程還可以繼續維護。但如果要求已經寫得很清楚,模型還是反覆做錯同一件事,就要考慮把任務拆小,或直接換能力更強的模型。

不然最後雖然省下額度,卻把更多時間花在來回修正上。

輕量模型能不能用?關鍵是「做錯了,你看得出來嗎?」

不要問「能不能做」,要問「錯了你看得出來嗎?」

最後,我現在不太會只問:「這個工作Luna能不能做?」

因為輕量模型偶爾做對一次,不代表這項工作就真的適合交給它。更重要的問題其實是:當它做錯時,我能不能很快發現?

格式、欄位、分類這類工作,通常比較容易驗收;但策略好不好、語氣自不自然,就比較難靠一眼確認。

越容易驗證的工作,越適合先試輕量模型。反過來說,如果結果本來就很難驗收,就算模型真的能做,也可能把成本轉移到你後續的檢查上。

訂閱《一天一AI》日報,每天跟你分享超實用的AI小技巧!

延伸閱讀:
AI老是犯同樣的錯?把你的修改變成「規則檔」,讓它下一次直接記住

提示詞別把步驟寫死!MIT研究揭限制太多反而變笨,「產業情報雷達」找出真正有用的情報

「加入《數位時代》LINE好友,科技新聞不漏接」

查看原始文章

更多理財相關文章

01

乖乖無限期罷工登外媒!被封「台灣晶片護身符」 網驚:半導體工廠浩劫

三立新聞網
02

工會喊無期限罷工 乖乖公司給4承諾:2年內絕不裁員

CTWANT
03

月薪3萬怎扛7萬房貸?全台低薪房貸族創10年新低...北市低薪族買房,靠「富爸媽」、「雙薪」撐腰

今周刊
04

Nike 財測不妙 製鞋代工廠 全面備戰

經濟日報
05

頭家開講/爆品熬經典 台灣奇士美總經理李琳媛

鏡週刊
06

AI 巨頭白宮閉門會議爆交鋒,黃仁勳當面質疑 Anthropic 執行長「危言聳聽」

科技新報
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...