世界模型比 LLM 更重要？台大教授徐宏民：讓機器人在虛擬世界先犯錯，才是產業化關鍵
大語言模型（LLM）崛起三年多來，AI 的主戰場主要在數位世界。但隨著具身 AI（Embodied AI）、實體 AI（Physical AI）與世界模型（World Model）等概念接連登場，越來越多研究者與產業人士認為：真正的挑戰，在螢幕之外。
台大資工系教授徐宏民，專長研究 AI、自駕車領域。曾任鴻海子公司富智捷技術長，致力將AI技術推向產業落地應用。
以下 Q 為《數位時代》總編輯王志仁提問，A 為台大資工系教授徐宏民回答。徐教授將從名詞定義出發，比較大語言模型與世界模型的根本差異，說明為何 VLA（Vision-Language-Action）模型是機器人自主化的核心引擎，並分析台灣廠商在實體 AI 產業化浪潮中的切入機會。
Q1：具身 AI、實體 AI、空間 AI，這些名詞各指什麼？彼此有何關係？
A： 現在大家習慣使用的 AI，都活在 App 或網頁裡，在伺服器端完成一切，可以稱為數位 AI。如果把這些 AI 能力從數位世界移植到實體世界，那個載體或系統性產品，就叫做具身 AI，也叫實體 AI。最直接的例子是自駕計程車，還有現在討論很熱的各種機器人，甚至戴在臉上的 VR / AR 眼鏡，也屬於這個範疇。
最大的差別有兩個軸線：第一是實體還是虛擬；第二是「被動回答」還是「主動行動」。早期語言模型只做 Q&A，現在的 Agent（代理）會在數位環境裡產生動作。但在實體世界裡，行動的難度高出百倍。Waymo 第一部自駕車從 2009 年做出 POC（概念驗證），到 2024、2025 年才真正規模化上路，走了將近 16 年。
我知道怎麼做，和在複雜環境中安全無虞地執行，是完全不同的兩件事。
關於空間 AI（Spatial AI），史丹佛大學教授李飛飛創辦的公司就是這個方向，相對比較偏向被動、靜態地理解空間環境裡的物件語意。世界模型（World Model）是一個更大的框架，目前大致有四種方向：
- 一是李飛飛他們偏靜態的空間理解；
- 二是 NVIDIA Cosmos 強調的高擬真模擬環境，可用來訓練機器人和自駕車；
- 三是 Google 偏向生成 3D 環境並與人長時序互動的模型；
- 四是 楊立昆（2018 年圖靈獎得主、曾任 Meta 首席 AI 科學家）主張的方向，強調 3D 環境裡的動作預測與後果推理，與機器人互動最為相關。
延伸閱讀｜生成式 AI 的下一站是空間智慧？AI 教母李飛飛推首款 Marble 3D 世界模型！其商業潛力在哪？
Q2：世界模型和大語言模型有何本質差異？
A： 大語言模型的訓練邏輯，是用大量網路文字做填空或預測下一個 Token，文字和圖片都可以這樣訓練。這幾年從預訓練、對齊，到近期加入更深層的推理，模型能力持續提升。但這套方法本質上處理的是數位世界的問題。
世界模型對實體機器人之所以關鍵，原因有三：
- 第一，機器人在 3D 環境中運作，對空間的理解越擬真越好。
- 第二，機器學習需要大量錯誤來修正。在虛擬世界犯錯沒關係，但在實體世界砸鍋、砸盆，代價極高，所以訓練幾乎都在模擬器上進行，模擬器越擬真，訓練品質越好。
- 第三，也是最關鍵的：機器人在執行動作前，必須先設想「我做完這個動作，後果是什麼？」，進而模擬幾個可能路徑，並選成功率最高、傷害最小的那條。
Q3：VLA Model 是什麼？它如何讓機器人從「懂」到「動」？
A： 在數位領域，我們談 VLM，也就是 Vision-Language Model（視覺語言模型）。在實體世界，要再加上一個 A，變成 VLA——Vision-Language-Action Model，視覺語言行動模型。這是目前驅動自主性機器人最核心的架構。
我自己對「自主性機器人」的定義是：一個指令就能驅動機器人完成任務，而且可以連續執行 10 小時以上。VLA 的架構大致分兩塊：第一塊是大腦，來自縮小版的語言模型，負責理解視覺輸入、做推理，把一個指令拆解成應該執行的動作序列；第二塊是 Action Head（動作頭），對接大腦輸出的指令，轉化成機器人實際的動作參數。
現在很多 Demo 都是這兩塊搭配：大腦做系統二的慢思考，Action Head 做系統一的快速反應。機器人攝影機取代雷達扮演視覺輸入，理解前方物件是什麼、可不可以抓取、材質硬不硬、重量多少，再轉化為對應的控制指令。這讓機器人初步具備泛化能力，可以處理訓練時沒見過的新情境。
Q4：Figure AI 的倉庫 Demo 代表什麼？機器人規模化的門檻在哪裡？
A： 那個 Demo 我自己也非常關注。從我對自主性機器人的定義來看，那台機器人的工作相對單純，沒有大範圍移動，但能長時間重複作業，我認為這是很重要的產業化展示，說明這個方向是走得通的。
規模化最重要的指標，是單一客戶、單一供應商能否達到一千台以上。Waymo 就是最好的對照：從 2009 年第一台到真正規模化，花了將近 16 年；過了一千台之後，部署速度明顯加快，因為更多的邊緣案例（Edge Cases）被資料覆蓋，能部署得更快、更廣。截至 2025 年底，週載客量已超過 45 萬次，2025 全年完成約 1,400 萬次行程，目標 2026 年底達到每週 100 萬次。
Q5：資料、算力、硬體成本，機器人產業化還差哪一塊？台灣廠商的機會在哪裡？
A： 我最近訪談了幾家中國和美國的機器人新創，他們一致認為最大的關鍵不是算力，也不是模型，而是資料。他們花最多力氣在收集操作資料（Teleoperation Data）——讓人操控機器人完成任務，再讓模型學習這些動作。成本非常高，但發現是目前最有效的方式。
也有人用網路影片來訓練，類似大語言模型用大量網路文字的套路，但影片品質與標注難度更高。甚至有公司刻意開發穿戴裝置，把 Sensor（感應器）裝在人身上，記錄日常操作的每個肢體動作，再轉化成機器人的 Action Head 訓練資料。
硬體成本這幾年下降很快，2023 到 2024 年單年降幅約 40%，主因是 EV 電動車產業的大量發展，電池、馬達等元件和機器人有高度重疊，等於借到了 EV 供應鏈的規模效益。目前預測，人形機器人的成本甜蜜點可能落在 1.6 萬美元左右。
延伸閱讀｜機器人硬體成本年降 40%！電動車供應鏈帶動平價化，餐飲、醫療缺工加速商用化
算力的問題也在解決中。機器人不能等雲端回應，Action 反應速度需要達每秒 120 次以上，但現在邊緣端晶片已可達到上千 TOPS（每秒兆次運算），足以運行縮小版的模型做本地推理，複雜任務再往雲端送。
對台灣廠商來說，這個訊號值得提早佈局。等到機器人有量再進來，好的位置可能早就被卡位了。就像手機從功能機到智慧型手機，EV 替換傳統車。
Q6：Agentic AI 能幫上 Embodied AI 嗎？
A： 可以。Agentic AI（代理式 AI）的核心能力就是把一個大指令拆解成多個子任務、逐步執行，並在每個環節做驗證。Embodied AI 其實也在做同樣的事，只是難度更高，實體世界的不確定性比數位世界多太多。
延伸閱讀｜AI 代理落地金融業！Robinhood 開放 Claude、Cursor 替散戶操盤買股、自主刷卡
Q7：實體世界的犯錯成本怎麼處理？
安全規範這幾年也開始受到研究社群重視。就像大語言模型有 Alignment（對齊），確保模型的行為合法合規，Physical AI 也需要類似的憲法：哪些動作可以做，哪些不能做，必須在系統層面強制約束。但 Physical AI 還有更難的問題：模型知道「不能這樣做」，但能不能在執行層面真的做到？數位世界說錯話，改正就好；在實體世界，一但機器人因動作參數設定錯誤，所造成的傷害將無法撤回。
機器人的法規目前還很不完整。過去的工廠機器人關在籠子裡，出問題按紅色暫停按鈕即可；自主性機器人未來要和人共處同一個空間，法規的制訂比技術本身更需要時間。
Q8：Physical AI 距離大規模落地還有多久？哪些場域最先成熟？
A： 我自己類比大語言模型的發展：LLM 真正引起大眾關注，是 GPT-3.5 在 2022 年下半年問世。如果說第一個 GPT 是 2018、2019 年，GPT-3.5 是 2022 年，那 Physical AI 現在大概在 GPT 1.5 到 2.0 的階段，連 3.0 都還沒到，但明顯在往那個方向移動。
大量部署我認為還不會那麼快，因為實體端還有法規、安全等障礙，會拖慢時程。我的估計是，2030 年應該可以看到比較顯著的進展。
場域方面，最先成熟的會是工廠生產線和物流倉儲這類受控場域，任務相對單純，行動可預測，適合技術從窄場域往外擴散。家用服務型機器人反而會是最後，因為家庭環境充滿不確定性，加上情感互動需求更高，技術和法規都要更完善才能進入。
缺工是推力。德國、日本、台灣都有嚴重缺工問題，醫院、廚房、物流、工廠惡劣環境，這些本來就找不到人做的工作，機器人反而是最合適的替代方案。
收聽完整 Podcast｜EP288. 大語言模型路難走遠，世界模型後勢看好？ft.台大資工系教授徐宏民
（本文初稿為 AI 編撰）
延伸閱讀
黃仁勳猛催 token，微軟、Uber AI 帳單卻炸鍋！token 愈便宜，成本怎麼反而更高？
別人還在喊數位轉型，FedEx 已讓 AI 代理直接上工！一次看懂全球物流巨頭的 AI 轉型大計
AI 代理 OpenClaw 為何引發卸載潮？從龍蝦危機到 harness 框架，企業導入前必知的三道關卡