為什麼 Google 單鏡頭 Pixel 手機拍照功能這麼強？關鍵在軟體與機器學習！
過去 Google 所推出的 Pixel 系列手機，向來以優秀的拍照功能受到矚目，特別是不久前才在台灣相繼開賣的 Pixel 3 及 Pixel 3a 系列，所內建的夜視（night sight）模式，在極暗的場所依然能拍出明亮鮮豔的照片，其表現令人讚嘆，相關介紹可參考先前的「< href="https://3c.talk.tw/Article.aspx?Article_ID=3738">Pixel 3 拍照功能實測」文章。不過近年來，雙鏡頭、多鏡頭手機成為主要潮流，並且都在強調更高的像素、優秀的鏡頭和超大光圈，那麼仍採用單鏡頭的 Pixel 手機，為什麼還能擁有拍照手機市場的優勢呢？
為了解答大家的疑惑，Google 特別在台灣邀請到計算攝影的發明人、Google 工程師 Marc Levoy，同時也是 Pixel 智慧型手機的 HDR+ 模式、肖像模式和夜視功能開發團隊的重量級領導人，由他親自分享 Google 手機的相機技術。
在目前市場普遍以硬體導向的趨勢下，Marc Levoy 指出，未來 Google 的開發方針將走向以軟體來定義手機相機系統。Google 擁有軟體與機器學習的優勢，可以讓採用軟體定義(Software-defined)的相機，未來在圖片計算不再僅靠硬體執行計算攝影(Computational Photography)，重要的是機器學習的導入，可以取代傳統的演算法，因為 Google 可以在訓練機器學習的過程中，投入龐大數據來加強演算的準確度。
在針對 Pixel 3 的四大拍攝功能：HDR+、肖像模式、高解析變焦、夜視模式進行說明之前，Marc Levoy 首先提到，手機相機應用程式執行時，理應遵守幾大基本原則，包含快速的執行速度、預設模式不能失敗、快門延遲時間要少於 150 毫秒、照片成像時間小於 5 秒，算是替優秀的手機拍照系統下了定義。
相信使用 Pixel 手機的使用者應該都會直接預設開啟 HDR+ 模式，無論是過亮或過暗的場所都可以獲得改善。Marc Levoy 解釋，其實在這個部分最難做到的地方是校準能力的克服。「包圍曝光」(Exposure Bracketing)是一般相機的 HDR+ 模式，是以捕捉從短曝光到長曝光的每一張影像進行疊合校準，但這種作法在手持晃動且未使用腳架的情況下，HDR+ 的成像會容易失敗，因此 Google 選擇了其它方案。
而 Google 的 HDR+ 是透過連續拍攝捕捉在相同曝光程度下的影像，以這些相似的影像進行校準與合併，提高校準的準確度，減少陰影處的雜訊，並且利用色調映射(Tonemap)增強陰影，降低亮處，儘管這會犧牲一些整體色調跟對比度，卻可以保留局部對比度，大幅提升 Pixel 手機 HDR+ 模式的拍照品質。
Pixel 手機的肖像模式，其實就是所謂的景深模式。在其他廠牌的手機要做到景深效果，主要是以雙鏡頭捕捉兩個影像，再以立體匹配演算法 (Stereo Matching) 去計算深度圖 (Depth Map)，並選擇一個影像保持銳利，再模糊化其它的影像。那麼，只有單鏡頭的 Pixel 手機又是怎麼做到景深效果？重點在於軟體技術「機器學習」與硬體技術「雙像素」。
Marc Levoy 特別介紹了一則景深計算公式，並說明前鏡頭可透過機器學習執行肖像模式，但主鏡頭就比較複雜，因為要搭配「雙像素」技術，也就是「相位對焦」（PDAF），以此將鏡頭中的畫面分成左半與右半部的兩個世界，這時透過差距非常小的基線(Baseline)使影像立體化，加上 Google 擁有上千萬的影像數據庫，也可以讓機器學習輔助執行產生更好的表現。不過 Marc Levoy 坦言，這種透過運算的成像並不完全符合真實的情況，卻能讓新手輕鬆拍出近乎專業的景深照片。
Pixel 搭載的高解析變焦功能雖然沒有應用 AI 與機器學習，而是將連拍的多層影像合成為更高像素的影像，其效能與兩倍光學變焦的機種差不多。這種方式的基本原理就是「像素移位」(Pixel Shifting)。因為每張影像都擁有紅色、綠色和藍色三種顏色資訊，高解析變焦將高速拍下的影像，補足缺少的顏色資訊及合成出高解析度的影像。
因此，當 Pixel 手機同時拍攝了原始、水平、垂直，還有水平與垂直等 4 幀畫面之後，彼此相互補足原先缺少的像素；即使是在穩定的拍攝條件下，不受手震影響時，仍可藉由強制開啟光學影像穩定功能(Optical Image Stabilization)，製造手震效果達到預期的拍攝效果。
而 Google 最自豪的夜視（night sight）模式，同樣是高速拍攝的方式執行，以快門捕捉 15 幀的畫面，再按手震程度或拍攝主體的移動狀態計算拍攝時間，動態或手震強，曝光就短，反之曝光就長，照片也會更清楚。Pixel 3 還結合了高解析變焦技術，並藉由學習式的白平衡調整影像色調。
Marc Levoy 透露，夜視模式的概念起源來自於啟蒙時代的畫家技巧，讓夜晚人眼無法辨識，但其實依然存在的色彩，以提升對比度、陰影投射成黑色、以黑暗環繞場景的方式，採色調映射(Tone Mapping)讓影像保有原有色彩，這也是難度相當高的挑戰。
在最後，Marc Levoy 特別解釋了一些疑惑，例如為什麼 Pixel 3 的相機沒有「專業模式」，原因是 Google 將手機著重在一般消費者，這屬於產品定位的規劃；而夜視模式是否開放給它牌手機，他則回覆有可能但目前無法確定；至於這麼強大的拍照技術是否有會應用到拍攝影片，Marc Levoy 說明這部分的投入有必要再加強硬體規格。但是談到以軟體來定義手機相機系統未來可能遭遇的瓶頸，重點將落在計算能力與記憶的提升，屆時就需要效能更強大的處理器去突破。