NVIDIA黃仁勳日前在台北公開演唱LadyGaga夯曲，讓許多台灣民眾驚呼，原來這位科技業大老如此會唱。其實他用AI打造的虛擬分身，歌喉也不差。在聖誕將近的本週，NVIDIA 釋出執行長虛擬分身 Toy Jensen 獻上的聖誕歌曲「Jingle Bell」影音。團隊指出，背後可是用上許多全球第一流技術。
李以樂和李欣庭這兩位才華橫溢的歌手經常在網路上直播唱歌，有次在台北一處公共廣場上進行演唱時，NVIDIA 創辦人暨執行長黃仁勳恰巧遇見她們。
當兩位歌手在演唱 Lady Gaga 的《Always Remember Us This Way》時，黃仁勳忍不住與她們一同高歌，並為這段演出熱情鼓掌。
該直播影片隨即在網路上獲得廣大觀賞與迴響，而兩位歌手後續錄製的影片也是廣受歡迎，她們演唱了 Lady Gaga 的《Hold My Hand》，這首歌也是黃仁勳一開始向她們點唱的歌曲。
使用 NVIDIA Omniverse 獨家武器打造AI分身
本周末，聖誕節將至，個性風趣的黃仁勳，又藉由以人工智慧 (AI) 打造而成的虛擬分身 Toy Jensen 的幫助下，構想出以節日為主題，又富有樂趣的回應。不如唱首聖誕名曲「Jingle Bells」，影片中栩栩如生的演唱畫面不輸真人歌手。而這背後，可是用上許多一流獨門科技。
首先，NVIDIA 指出，其創意團隊迅速為 Toy Jensen 打造這項以節日為主題的演出，從中展現出 NVIDIA Omniverse Avatar Cloud Engine (ACE) 平台的部分核心技術。
Omniverse ACE 集合雲端原生 AI 微服務與工作流程，供開發人員輕鬆建立、自訂與部署迷人的互動式虛擬分身。
與當前想要開發虛擬分身，需要同時具備專業知識、特殊設備及人力密集型的工作流程不同，Omniverse ACE 建立在 NVIDIA 的 Unified Compute Framework (UCF) 之上，只需要用最簡易的程式碼，便能快速建立及設定 AI 作業管道。
NVIDIA 技術專案經理 Cyrus Hogg 表示：「這項技術非常了不起！我們能夠做到這個程度，表現實在是太出色了！」
NVIDIA 的團隊為了實現這個目標，使用最近開發的語音轉換模型，從其中的樣本中提取專業歌手的聲音，並把它變成 Toy Jensen 的聲音 – 原本是需要耗費數小時，實際錄音以進行訓練而開發出的聲音。團隊使用樣本裡的音符，並將其套用到 Toy Jensen 的數位聲音上，讓這個虛擬分身唱出跟原唱一樣的音符和節奏。
不輸OpenAI，NVIDIA 也有眾多生成式 AI 應用
該團隊接著使用 NVIDIA Omniverse ACE、Omniverse Audio2Face 和 Audio2Gesture 等技術，單純按照 Toy Jensen 的聲音，便為整段表演產生出逼真的臉部表情和肢體動作。
Omniverse ACE 這項技術背後的團隊，花了多年時間來開發和微調演出中所展示的技術，但只用了不到數小時的時間，就將他們創作的音樂曲目變成一段精美的動畫。
Toy Jensen唱歌是利用NVIDIA Omniverse Audio2Gesture產生逼真的肢體動作。取自Audio2Gesture
Toy Jensen 以《Jingle Bells》一曲來與粉絲同樂
這予以團隊有更充足的時間來確保完成一場令人驚豔的表演。
他們甚至攜手曾與 Michael Bublé 和 David Foster 合作過的作曲家兼製作人 Jochem van der Saag，為 Toy Jensen 創作完美的伴奏。
Hogg 表示：「有 Jochem van der Saag 全力幫忙的作曲和編曲，對團隊來說可是如虎添翼。非常高興能有他的加入。」
NVIDIA ACE 將會徹底改變虛擬體驗
這支動畫完美展現出 NVIDIA Omniverse ACE 的優勢及其用於各行各業的情況 – 像是虛擬活動、線上教育和客戶服務，以及為電玩遊戲、社群媒體和虛擬實境體驗建立個人專屬的數位化身。NVIDIA指出很快將開放合作夥伴搶先試用 NVIDIA Omniverse ACE。
更多精采報導，歡迎加入《遠見》 Line官方帳號！
延伸閱讀：