請更新您的瀏覽器

您使用的瀏覽器版本較舊,已不再受支援。建議您更新瀏覽器版本,以獲得最佳使用體驗。

同段 Prompt 跑 3 次結果都不一樣?揭密 AI 做專案排序的「隱形權重」陷阱

經理人月刊

更新於 09月29日04:10 • 發布於 09月29日03:58 • 韋惟珊

早安呀!

你有沒有請 AI 幫你比較過方案、排優先順序?它做了比較表格,看起來分析得很完整,你就相信了?

昨天剛上完新商業學校的「降本增效 AI 工作流」,吳相勳老師現場帶學員做了一個實驗:用同段指令,請 AI 幫提案排優先順序,分別在不同對話執行 3 次,排出來的順序都不一樣。

老師用「信度」和「效度」來解釋。

信度是,相同條件下重複執行,AI 結果夠不夠一致?效度則是問,AI 給的結果,有對準你想解決的問題嗎?

以最值得公司投入的專案來說,假如主管給 AI 一套判斷標準,但每次排序結果有巨大差異(信度不足),或是結果根本抵觸主管資源分配的邏輯(效度不足),都會造成工作上的麻煩。

這讓我想起自己在設計一天一 AI PRO「決策教練」工作流時,也碰到類似的問題。

本來覺得要「幫你做出決定」,但做著做著才發現,在 AI 急著選 A 或 B 之前,應該先帶你看見:真正要解決什麼問題?真的只有 A、B 兩個選項嗎?可能有哪些盲點?

我把想法整理在圖卡給你。

一天一 AI PRO 官網正式上線,點此搶限時特惠,去看看我還做了哪些工作流吧。有任何心得和許願,歡迎點此留言分享,我都會看!

同段指令跑三次,AI 給的專案排序都不一樣

同段指令跑三次,AI 給的專案排序都不一樣

老師用同樣的 prompt,請 AI 從 7 個提案裡選出優先做的 3 個,同個人分別開不同對話跑 3 次,選出來的優先專案卻不完全相同。

他解釋,生成式 AI 做判斷型任務天生就帶隨機性,最麻煩的是,就算它就算每次都選一樣,也不代表選對。很可能挑出的 3 個優先專案,跟主管想選的完全不同。

問題出在哪?它自己補上了你沒定的權重

問題出在哪?它自己補上了你沒定的權重

你可能有說要根據幾個面向來評估和排序,但 AI 具體排序的依據是什麼?各個面向的權重占比如何?效益和風險哪個比較重要?高報酬、高風險值得做嗎?哪些限制不能退讓?

這些主管有的「直覺」只要沒有說出口,AI 為了回答就會自己補上。

跟 AI 討論標準和選項,先別讓它直接排序

跟 AI 討論標準和選項,先別讓它直接排序

下次請 AI 做排序、選擇或比較,可以先貼:

先把藏在答案後面的判斷規則搬到桌面上。

我把「先別急著決定」做進了決策教練工作流

我把「先別急著決定」做進了決策教練工作流

一天一 AI PRO 裡,我設計了一個「決策教練」工作流。完整流程長這樣:

① 先確認目的:你真正想達成什麼?

② 檢查這真的是二選一?有沒有第三條路、先試一小步,甚至暫時不做?

③ 確認選項:至少兩個你確認過的方案,才開始比較。

④ 把代價攤開:選 A 得放棄什麼?選 B 又得承擔什麼?

⑤ 找出你「不能承受的代價」:選 A 要犧牲什麼、選 B 要犧牲什麼?

⑥ 最後才給建議:說清楚為什麼選它,以及在什麼情況下會改選另一個方案。

想直接用?決策教練已放進一天一 AI PRO

想直接用?決策教練已放進一天一 AI PRO

點此登入一天一AI PRO 官方網站,成為付費年度會員。找到「決策教練」的下載按鈕,下載 zip 檔。Claude 網頁版:Setting → Skills → 右上方 Add → Upload skill → 上傳 zip 檔。

ChatGPT 網頁版(付費版):開新對話 → 選「工作」標籤 → 對話框上傳 zip 檔 → 輸入「幫我安裝到個人雲端技能」。

完成後重整頁面、開新對話,直接說在對話處輸入「決策教練」+你的問題就能使用。

訂閱《一天一AI》日報,每天跟你分享超實用的AI小技巧!

延伸閱讀

ChatGPT 推出 Data Agent、金融業專屬版!拆解背後的運作邏輯,做出你的 AI 幫手
行銷怎麼用 AI?提案、素材製作等 10 大工作情境拆解,可複製 Prompt 一次看
加入《經理人》LINE好友,每天學習商管新知

查看原始文章

更多理財相關文章

01

統一發票千萬獎哪裡最旺?台北16年開286張 這縣市竟「掛零」

CTWANT
02

富邦悍將無緣總冠軍 蔡明忠稱傻子願砸錢 

NOWNEWS今日新聞
03

ATM提款新制!「2銀行」出手了 1狀況有錢也領不出來

三立新聞網
04

成交量爆96萬張!外資狠砍「這檔」21萬張 58萬股東遭綠油精洗臉

三立新聞網
05

銀行定存哭了!373萬人瘋搶除息大紅包 這4檔ETF不講武德「20%暴力配息」

鏡報
06

台股逼近5萬點!大票苦主卻喊「越漲越痛苦」原因曝光 網樂觀提1建議

鏡週刊
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...