【娛樂透視】臉部捕捉技術獲頒奧斯卡　馬萬鈞突破虛實打造數位人

視覺特效產業不斷進步，近年與臉部動態捕捉相關的技術快速發展，廣泛應用在以特效取勝的電影和各種虛擬製作。

專長開發臉部生成工具的馬萬鈞，參與過《哈比人》三部曲、《猩球崛起》系列和《玩命關頭7》等好萊塢賣座片，2019年與團隊獲頒奧斯卡科學技術成就獎，是台灣繼李安導演之後第二人。現居美國的他，來台與業界人士分享臉部捕捉技術的演進與製作過程，也表達對本地視效產業的期許。

掃描細節　馬萬鈞

台灣大學資工系博士、南加大創意科技中心博士後研究員，專長電腦繪圖、電腦視覺。曾任威塔數位特效公司研究員、蘇黎世理工大學訪問學者、動視暴雪資深研究員及谷歌AR／VR部門資深軟體設計師，2019年獲頒奧斯卡科學技術成就獎，現為TikTok字節跳動智能創作部門研究員。

電影角色回春、複製人題材、科幻片裡的真人CG角色…這些大銀幕上維妙維肖的數位人類（digital human）或數位分身（avatar），隨著人臉電腦繪圖的技術日益精進，效果更逼真，成本也大幅降低。

軟體工程師出身的馬萬鈞對視覺圖像有興趣而與好萊塢結緣。2005年，他考上台灣大學資工系博士班，萌生出國念頭，申請國科會獎學金，赴美國南加大創新科技研究機構（Institute for Creative Technologies ，簡稱ICT）的視覺圖像實驗室擔任研究員，在指導老師保羅戴貝克（Paul Debevec）帶領下，研發高解析度臉部捕捉技術。

製作數位演員前要先拍攝真人的臉部表情，馬萬鈞加入團隊時，戴貝克已研發出Light Stage球體攝影裝置，設有LED燈和攝影機。打在人臉上的光線經過巧妙設計，可拍下細部表情變化和臉部特徵，演員陶比麥奎爾擔綱的《蜘蛛人2》和《阿凡達》等片，都用到此項技術，讓戴貝克與團隊於2010年拿下第一座奧斯卡科學技術成就獎。

為精益求精，他們不斷改良技術。由於打光的方式或亮度涉及數學推演，馬萬鈞加入後著手開發相關軟體。初期Light Stage設計較陽春，相關人員持續修改，調整軟硬體，找到最佳參數，掃描臉部時連毛細孔都可以捕捉，成為一大突破。馬萬鈞說：「拍攝畫面連唇邊細紋都不會遺漏，也可以保留皮膚顏色。」

新技術陸續應用於《鋼鐵人3》《班傑明的奇幻旅程》和《遺落邊境》等數十部電影；大型科技公司如Meta、Apple等為了製作虛擬資料，也打造自家專屬的Light Stage；美國前總統歐巴馬想以3D列印技術取代歷來白宮為卸任總統打造石膏像的傳統，也是在臉部3D掃描技術的輔助下完成。

2019年，戴貝克與馬萬鈞等4人獲頒奧斯卡科學技術成就獎，理由為研發「基於球體上偏振漸層光源的臉部捕捉特寫技術」，以及Light Stage X動態捕捉系統的設計和工程。本屆艾美獎也頒發終身成就獎給戴貝克，表彰他對視效產業的貢獻。

演員受傷、或有不宜親自上陣的動作，都可透過數位效果來解決。

馬萬鈞日前返台參加北市電影委員會舉辦的國際動畫視效講座，他分析數位人類技術的另一個優點，是萬一演員受傷、或有不宜親自上陣的動作，都可透過數位效果解決。比方他參與電影《鋼鐵人3》時，主角小勞勃道尼不慎摔斷腿，劇組不想延誤進度，就打造數位人類繼續拍攝。

另一個知名「換臉」案例，是主演《玩命關頭7》的保羅沃克在拍攝期間意外過世，劇組找了他的兩個弟弟擔任替身，且以長相相似的卡萊沃克（Caleb Walker）為主。馬萬鈞與特效團隊面臨兩大挑戰：首先必須利用弟弟的皮膚資料重現數位保羅沃克的外觀；其次在換臉程序上，也花很多時間追蹤鏡頭裡卡萊的頭部位置，再完美無縫銜接在數位保羅沃克的頭上。

拜科技進步之賜，如今換臉成本已大幅降低。馬萬鈞透露，早在20年前迪士尼便有意拍攝《雙子殺手》，並研究讓演員變得更年輕的方法。當年他們以石膏建模，再拍真人照片擷取膚色，可惜成本太高而放棄。2017年，李安導演宣布開拍該片，相關技術已發展成熟，才順利搬上大銀幕，馬萬鈞認為該片的數位人類「做得非常好，沒有破綻。」

馬萬鈞拿到博士學位後，對數位演員其他的製作面向產生興趣，於是赴紐西蘭視覺特效公司威塔數位（Weta Digital）擔任動態捕捉研究員，最得意的作品是《猩球崛起》系列。當時劇組去溫哥華的森林實景拍攝，為了拍下臉部表情，演員在頭上戴攝影機。但因天候，不僅鏡頭沾有水漬，演員走路震動也影響畫面，取得影像資料較差。為此他與團隊想辦法修正，解算出來的結果依然讓後製部門做出栩栩如生的猩猩臉孔。

好萊塢視覺特效技術日新月異，歸功緊密的產學合作，他待過的ICT視覺圖像實驗室便是一例。業界人士的努力耕耘也功不可沒，例如喬治盧卡斯創立的視效公司光影魔幻工業，以及迪士尼旗下的皮克斯動畫工作室，早期為了拍片不惜投入研發資源，「他們花3年開發一項技術，接下來十年都用得到，累積不少經驗。」長此以往，讓美國站穩視效技術開發者的角色。

馬萬鈞目前在TikTok創意部門擔任研究員，負責開發元宇宙相關技術。回顧過往的產學歷練，他體認到每個團隊或公司都有獨到技術，重點是提高能見度，讓外界知道。例如戴貝克為角逐奧斯卡獎持續申請、投稿，2019年獲獎前被美國影藝學院退件兩次，直到第三次才認可他們的成就和貢獻。

技術可遇不可求，要看天分與資源，但經營社群網絡有助打入這個行業。

此外要參與國際專業社團。馬萬鈞直言：「技術可遇不可求，要看天分與資源，但經營社群網絡有助打入這個行業。」他目前是好萊塢視覺效果協會（Visual Effects Society，簡稱VES）的成員，該協會目前亞洲僅印度有分會，馬萬鈞有意在台灣推動成立「東北亞地區首個VES分會」，帶動本地影像工作者接軌國際資源，企盼早日實現。

【娛樂透視】《我在詐騙公司上班》改編音樂劇　歌舞形式創作新世代喜劇
【娛樂透視】荻上直子編導《河畔小日子》　美食美景療癒底層悲歌