美智庫研究打臉AI高效神話 揭老手工程師用AI多花2成時間真相
過去有研究認為,人工智慧可以加速軟體開發工程師完成工作的速度。不過,一項新研究發現,當資深工程師在自己熟悉的代碼庫工作時,使用尖端人工智慧反而會拖慢他們的速度,而非大幅提升效率,主因在於這些工程師要花時間回頭檢查並修正AI所提出的不實用建議。
路透社10日報導,這份報告由美國專注衡量人工智慧(AI)災難性風險的智庫METR研究員貝克(Joel Becker)拉許(Nate Rush)2位共同主要作者於今年稍早進行研究,觀察一群資深的軟體開發工程師在熟悉的代碼庫工作時,使用AI輔助程式碼編輯工具「Cursor」協助他們完成開源專案任務的表現。
這些資深工程師在使用AI前,本來認為AI會讓他們更快完成工作,預估大約完成任務的時間能縮短24%,甚至在實際用AI完成任務後,他們依然相信自己縮短了約20%的時間。但研究結果證明,情況恰恰相反,他們使用AI完成任務的時間增加了19%,而速度變慢的原因在於這些開發者必須花時間回頭檢查並修正AI所提出的建議。貝克說,「我們在觀看錄影時發現,AI確實會對他們的工作提出一些建議,而且方向通常是對的,但卻不是他們實際需要的內容。」就連作者也對結果感到震驚,拉許在研究開始之前甚至寫下他預期「速度會提升2倍,應該是理所當然的情況」。
目前普遍相信AI總能大幅提升高薪工程師工作效率,而且還將取代初階程式開發職位,因此吸引了大量資金投入那些販售AI軟體開發工具的公司。人工智慧公司Anthropic執行長阿莫戴(Dario Amodei)近日告訴美國媒體「Axios」,AI可能在未來1到5年內,淘汰一半的初階白領工作。過去也有相關文獻指出AI能讓程式開發者的速度加快56%;另有研究指出,開發者在相同時間內能完成多出26%的任務。
如今,METR這項最新研究顯示,這些生產力提升的效果並不適用於所有軟體開發情境。研究作者指出,過去的研究通常都依賴一套標準化的題庫來測驗AI工具在程式設計任務中的表現,這種標準化測試有時與實務執行上脫節,容易產生誤導。但作者也強調,這次觀察到的資深工程師使用AI後反而變慢情況,並不能一竿子打翻一船人,例如AI對初階工程師,或者是在不熟悉的代碼庫工作的工程師來說,可能會有不同結果。
事實上,這項研究中的多數參與者,就連作者自己到現在都仍持續使用Cursor。作者認為,這是因為AI讓開發過程變得更輕鬆,感覺更愉快,就像是在修改一篇文章,而不是從零開始對著一張白紙發呆頭痛。貝克說,「對開發者來說,他們的目標不只是越快完成任務越好,」並補充,「所以他們會選擇這條比較省力的路徑。」
留言 2