機器人導盲犬結合 GPT-4 語音互動，帶路還能即時解說周遭環境
4 月 9 日，賓漢頓大學（Binghamton University）研究團隊發表了一套結合大型語言模型的機器人導盲犬系統，主打以語音互動協助視障者在室內環境中移動。這款機器人不僅能帶路，還能在出發前說明可行路線與預估所需時間，並在行進過程中即時描述周遭環境與障礙物，提升使用者對空間的掌握。
這項研究由賓漢頓大學計算學院副教授Shiqi Zhang與團隊完成。研究人員指出，系統整合了GPT-4等大型語言模型，讓機器人能透過語音指令與使用者進行更自然的雙向對話。Zhang表示，傳統導盲犬最多只能理解少量指令，而機器人導盲犬則可藉由生成式AI擴充溝通能力，提供更多路線規劃與情境回饋。
根據研究內容，系統包含兩大功能：出發前的「路線說明」與移動中的「場景描述」。在測試中，機器人會先詢問使用者目的地，並提出不同路線選項與行程時間，再依照使用者選擇進行引導。途中，機器人會以口語方式提醒周圍情況，例如長走廊、障礙物或環境變化，讓使用者在移動時獲得即時資訊。
為了評估實際效果，研究團隊邀請7名法定失明者在大型多房間辦公空間中進行測試。參與者完成問卷，評估系統的實用性、易溝通程度與幫助程度。結果顯示，多數受試者偏好「先說明路線、再即時講解環境」的混合模式；研究也支持這個做法。研究團隊接下來將進一步進行使用者研究，提升系統自主性，並把導航範圍擴展到更長距離，甚至從室內延伸到戶外。
This robotic dog talks with ChatGPT magic and guides the visually impaired
AI-powered robotic guide dog uses voice to guide visually impaired users in real time
（首圖來源：Flickr/Thomas CC BY 2.0）