拍照不小心閉上眼？Facebook 新技術讓你修圖就能睜開眼睛

現在有著去除紅眼、斑點以及對臉部外觀化妝合成效果的軟體已經十分常見，然而因為技術上仍有許多不足之處，在臉部表情的調整上還是難以做到完美，但 Facebook 研究人員近期提出一種稱為 Exemplar GANs（ExGANs）技術，可以為照片中閉著眼睛的人張開眼睛，卻不會令人感到太過突兀。

這種使用軟體「填空」（in-painting）的技術其實並不少見，面對越來越多的人物照片，用來修飾人臉的演算法是電腦視覺與機器學習中的主要研究課題之一。以目前情況來說，深度卷積神經網路（DNNs）已經在填補缺失區域上取得良好效果，只要給予足夠的訓練內容，DNN 能會學習人臉「應該」是什麼樣子，不僅能夠維持膚色或局部亮度，還可以編碼一些語義合理性的概念，在保留臉部圖像的整體結構同時進行改變。

然而由於人類往往對臉部結構的細小誤差都非常敏感，特別是如果這些面孔是我們自己的或我們所熟知的，一旦處理不佳，很容易便會產生詭異的恐怖谷（Uncanny Valley）感受，這也讓臉部修飾技術的「真實化」程度變得格外重要。

儘管 DNN 已經可以產生具可信度、逼真的結果，但在面對填空眼睛區域的特殊情況時，由於 DNN 會選擇插入訓練時相似臉孔的對應眼睛，如果目標對象有著一些顯著的特徵時，填空情況仍是會與真實的情況有所差異。

▲由左至右直列分別為人物範例圖片、原始圖片、Adobe Photoshop Elements 眼部填空與 ExGANs 填空。

而生成式對抗神經網路（GANs）過去已成功用於從無產生臉部或填空臉部區塊的測試，對於臉部任務處理特別適合，Facebook 使用的 ExGANs 則是更為提升了其中的細節，透過與 Adobe Photoshop Elements 中最新使用的睜眼演算法比較就可以更明顯的看出其中差異。

照片中第三列的是使用 Adobe 技術的圖片效果，可以看出是採用類似姿勢、亮度下的圖片進行混合填空，然而因為沒有充分運用圖片中的結構訊息，像是整體照片光線甚至是人物視線，這些細小的變因便導致照片缺乏可信度。

而在第四列使用 Facebook 技術的圖片中，雖然 ExGANs 自動為眼部產生的填空區塊像素較低，但無論是光線、色澤與視線都不會令人產生突兀的感受，這也讓未來填空技術的使用更加推向現實。

▲第三直列起分別為原始圖片、ExGANs 填空及眼部拉近圖片。

透過對神經網路的訓練，未來不僅是眼睛，像是嘴巴的開闔、將皺眉變為舒展應該都是可行的，甚至在技術進步之下，眼鏡、鬍鬚這些臉部的額外元素，或許也都能根據需要進行轉換或修改。雖然 ExGANs 仍稱不上完美，但這確實讓我們稍微窺見填空技術未來在照片應用上的可能。

• Eye In-Painting with Exemplar Generative Adversarial Networks

（圖片來源：Facebook paper）