你還在叫 AI「角色扮演」？實測 6 款模型：專家人設不會讓它更聰明！
在與 AI 互動時，許多人習慣在提示詞（Prompt）的開頭加上一句「你是一位 XX 領域專家」，期望藉此獲得更準確、更專業的回答。事實上，包含 Google Cloud、Anthropic 與 OpenAI 等主流 AI 模型的官方文件，也都曾建議將「指派角色」作為一種最佳實踐。然而，這樣做真的能讓 AI 變得更聰明嗎？
根據美國賓州大學華頓商學院（The Wharton School, University of Pennsylvania）生成式 AI 實驗室最新發布的研究報告指出，在面對困難且客觀的選擇題時，賦予 AI 模型「專家角色」並不能實質提升其事實準確度。研究針對多款當今最先進的 AI 模型進行基準測試，打破了長期以來「角色扮演能提高答題正確率」的迷思。
實測 6 款 AI 模型！「專家人設」幾乎無法提升答題勝率
為了驗證提示詞的有效性，研究團隊選用 2 個基準測試資料集：包含 198 道跨越生物、物理與化學領域博士級問題的 GPQA Diamond，以及挑選出 300 道涵蓋工程、法律與化學領域問題的 MMLU-Pro。測試陣容包含 GPT-4o、GPT-4o-mini、o3-mini、o4-mini、Gemini 2.0 Flash 以及 Gemini 2.5 Flash 等 6 款模型 。
為了確保結果的可靠性，每一個「模型與提示詞」的組合在每道題目上都進行了 25 次獨立的測試。測試結果發現，在大多數情況下，無論是給予模型與問題相對應的「領域專家」設定，例如要它扮演物理專家來回答物理問題，表現與完全不給予任何角色設定時相比，並沒有產生顯著的統計差異。
主要的例外是 Gemini 2.0 Flash，該模型在 MMLU-Pro 的測試中，扮演專家角色時確實展現適度的正向差異。但從整體來看，為 AI 披上專家的外衣，對於解決困難的事實性問題並不是一個可靠的方法 。
AI 會因為「入戲太深」而裝笨
另一方面，研究人員發現，如果給予 AI「低知識量」的角色設定，如外行人、幼童與蹣跚學步的幼兒等，這些設定在多個模型中普遍降低了答題的準確率。因為 AI 會為了「配合演出」而刻意裝笨 —— 即使它其實知道答案。
就算你給 AI 一個「專家」身份，也可能幫倒忙。比如叫 AI 扮演一位「物理學專家」來回答生物學問題，它有時反而答得比沒有任何設定時更差。也就是說，當使用者給予錯誤的角色指令時，模型會依照角色知識缺乏的程度，主動縮限自己的知識運用。
以 Gemini 2.5 Flash 為例，在面對不相關的專家設定時，它經常會直接拒絕回答問題。在其中一項測試中，模型在每題 25 次的嘗試裡，平均有 10.56 次會以「缺乏相關專業知識」或「基於良知無法作答」為由拒絕回答。這是過度依賴角色提示詞時，你可能沒想到的副作用：給 AI 設定角色，反而可能讓它變笨。
放棄無效的角色扮演！研究團隊建議專注於 3 件事
既然「你是一位專家」的魔法咒語已經失靈，那麼使用者應該如何正確地引導 AI 呢？研究團隊強調，實驗結果主要是針對「事實準確性」而論，角色設定在其他層面上仍然有價值。
首先，角色設定可以有效地改變 AI 輸出的語氣與呈現方式。其次，它能夠幫助 AI 轉移分析問題的優先順序與視角，例如扮演法令遵循主管時，會更注重監管問題；或是扮演業務開發人員時，會更看重市場機會。最後，指派特定角色也能作為使用者的輔助提示工具，幫助他們更好地構思與釐清自己的問題框架。
然而，若是企業與開發者的最終目標是追求客觀事實的正確性，研究團隊給出了務實的建議：與其只是在提示詞中加入專家角色，倒不如將心力投資在「迭代特定任務的指令」、「提供具體的範例」以及「建立評估環節」上。
多方嘗試不同的提示詞當然有其價值，但我們要有心理準備：換一個說法，結果可能就大不相同。別指望光靠設定一個角色，就能每次都得到穩定、理想的回應。
資料來源：Prompting Science Report 4: Playing Pretend: Expert Personas Don'tImprove Factual Accuracy；本文初稿由 AI 協助整理，編輯：支琬清
延伸閱讀
從「下指令」到 AI 代理！用 AI 工作的 3 個層級，你在哪一層？
還是別太依賴 AI！亞馬遜電商一周內出 4 次大包，數百萬筆訂單全蒸發
加入《經理人》LINE好友，每天學習商管新知