機器人在動手之前就預測觸感，HTD 技術讓人型機器人摺衣、端茶成功率大躍進
雖然人型機器人在現實世界中執行複雜任務的能力越來越強，但面對需要高度靈巧的手部操作，或是要於動態環境中靈活移動時，多數機器人的運動能力依舊顯得捉襟見肘。
為了突破前述瓶頸，卡內基美隆大學（CMU）與博世人工智慧中心（Bosch Center for AI）攜手合作，開發出了一套全新的 AI 系統，希望透過新技術大幅提升人型機器人的全身協調能力，特別是在需要頻繁進行物理接觸的精細操作上，給予機器人更上一層樓的穩定表現。
這套名為「融合觸覺潛在預測的人型機器人 Transformer 框架（Humanoid Transformer with Touch Dreaming）」，簡稱 HTD 的全新系統，將機器人的身體動作、手部靈巧度，以及對物理互動的預測能力融為一體。
在現實世界測試中，HTD 系統讓人型機器人能夠更純熟地處理各種日常動作，像是摺疊衣物、精準插入物件、用勺子舀取物品，甚至是搬運脆弱的易碎物件。
邊做邊預測，過濾雜訊波動
傳統的機器人系統主要仰賴視覺和動態感測器，但 HTD 系統另闢蹊徑，導入了分散式觸覺感測技術，顯著提升了機器人在複雜互動中的感知敏銳度。
此外，驅動 HTD 系統的 AI 模型不只能夠預測下一步動作，還可以預判物理接觸、受力狀況以及觸覺回饋的動態變化，同時精密分析手部關節的受力情形，而該過程也被研究團隊稱為「觸覺夢境（Touch Dreaming）」。
這種類似於夢境中「邊做邊預測」的能力，正是由 HTD 系統所驅動的機器人，之所以可以流暢執行插拔物體、布料整理或端起茶水等任務的最大關鍵。
在技術實作上，HTD 並非直接是在 AI 模型中，直接處理原始的觸覺感測器數據，而是透過一個緩慢更新的目標網路，將數據轉化為精簡的「觸覺潛在表徵（tactile latent representations）」。
研究人員指出，這種做法的精妙之處，在於能夠讓 HTD 系統自動過濾掉感測器常見的雜訊波動，專注在真正有意義的接觸模式上，進而大幅提升機器人操作時的穩定度與反應速度。
上下半身分離，減少互相干擾
此外，HTD 系統還巧妙地將「下半身的平衡控制」與「上半身的操作任務」拆分，避免互相影響造成穩定性下降。
HTD 系統利用基於強化學習的控制器，在運動過程中即時穩定機器人軀幹的朝向、速度與平衡；至於上半身的定位與靈巧的手部動作，則交由逆向運動學（Inverse Kinematics）與手部動作映射技術來處理。
此外，負責掌管下半身的控制器，其實是在模擬環境中透過「師生學習法（teacher-student method）」所訓練出來，這讓機器人能夠從逼真的感測觀測中，學會極具彈性的運動規劃。
卡內基美隆大學安全人工智慧實驗室（Safe AI Lab）的研究團隊解釋，在訓練過程中，他們利用 AMASS 資料集重複播放映射後的手臂運動軌跡，讓控制器學會在現實生活中，面對上半身出現的干擾時，依然能夠維持下半身核心的穩定。
而由 HTD 系統最終訓練出來的「學生控制器」，即是正式部署在真實機器人身上的核心系統。
這種將下半身穩定性與上半身靈巧操作完全分離的架構，徹底減少了人型機器人為了維持平衡，同時操作手部動作之間的相互干擾。
COMPUTEX 2026 現在進行中！最新報導都在【TO Highlight】直擊 COMPUTEX 2026 台北國際電腦展
預測動作回饋，成功率高出九成
根據實測結果，在物件插入、整理書籍、摺疊毛巾、舀取貓砂以及端茶等 5 項真實世界任務挑戰中，擁有 HTD 系統機器人的平均成功率，比目前業界強悍的 ACT 基準模型足足高出了 90.9%。
研究團隊透過消融實驗進一步發現，如果只是單純把觸覺當作額外的輸入訊號，對於機器人的操作表現提升幫助有限，因此關鍵就落在「於潛在空間（latent space）中預測觸覺訊號」。
實驗證明，在潛在空間進行預測的方法，比直接預測原始觸覺訊號的傳統訓練模式，成功率大幅提升了 30%。
擴大應用規模，開展深度測試
研究人員認為，HTD 系統與 AI 控制器的成功應用，為人型機器人走入家庭、服務業及工業環境，開展出了無限可能。
展望未來，研究團隊計劃擴大 HTD 與 AI 控制器的應用規模，並著手引進視覺數據與人類示範畫面，在人機協作的實際情境中進行深度測試。
研究團隊表示，終極目標是提升 HTD 的跨平台適應能力，讓這套具備高度韌性的系統，不只能夠因應多元任務，還能輕鬆套用到各式各樣的機械手與觸覺感測器配置上，持續從人類與機器人的實務經驗中截長補短、不斷進化。
【推薦閱讀】
◆ 從影像像素到全身協調：Figure AI 機器人達成 24 小時零故障自主分貨，展現類「真人」直覺
◆ 人形機器人量產戰升溫！為何 Sanctuary AI 執行長預言家庭普及還要 3 到 7 年？
◆ 中國機器人再進化！從人形到四足自由切換，宇樹科技發表 GD01 可載人越野、推倒磚牆
＊本文開放合作夥伴轉載，參考資料：Interesting Engineering、TechXplore，首圖來源：YouTube
（責任編輯：鄒家彥）