Google 所打造的 Pixel 系列手機僅搭載單一鏡頭，以軟體搭配硬體創造各種拍攝的可能性。Google 官方 24 日邀請到史丹佛大學電腦科學榮譽退休教授、同時也是 Google 傑出工程師的 Marc Levoy 來台，深入講解 Pixel 手機深入運用機器學習等技術搭配硬體，開發出更高水準的功能。
觀察手機相機系統的發展趨勢，其中 Pixel 手機採用的是以軟體定義（Software-defined）為主的相機系統，在圖像計算上不再單靠硬體功能，更運用計算攝影（Computational Photography）整合連拍的幀數。此外，導入機器學習技術取代傳統演算法，並在機器學習的訓練過程中獲得更多數據，有助於提升拍照的準確度。
一般手機相機進行拍照時需遵守的基本原則，包括整體執行必須很迅速，深入來說像是即時觀景器（Live Viewfinder）大於 15fps、快門延遲時間小於 150 毫秒、照片成像時間小於 5 秒；還有相機的預設模式絕不能失敗，必須具有可靠的曝光、對焦以及白平衡，並且避免鬼影或視覺殘影等狀況發生。Pixel 手機不僅符合這些基本原則，更深入運用機器學習等技術搭配硬體，開發出更高水準的功能表現。
HDR+
手機相機應用程式的 HDR（High Dynamic Range Imaging，高動態範圍成像）功能相當常見，典型的作法是採取包圍曝光（Exposure Bracketing），將曝光時間短的影像所捕捉的亮處細節，以及曝光時間長的影像所捕捉到的暗處細節結合成為最終影像。
但手持時難免會晃動到手機，使得拍照影像的曝光程度不同，因此 Google 不使用包圍曝光的作法。Pixel 手機相機應用的 HDR+ 功能是透過捕捉相同曝光程度下的連拍影像，同時避免亮處過度曝光，再進行校準與合併；採用色調映射 (Tonemap）增強陰影並降低亮處，雖犧牲整體色調、保留局部對比度，但使照片呈現更符合人們的視覺。
▲ 左圖為沒有開啟 HDR+ 的影像，右圖為開啟 HDR+ 的影像。（Source：Google AI Blog）
肖像模式
肖像模式是將拍照重點集中在眼前的人物或物體上，使其從模糊的背景中凸顯出來。目前大多數的智慧型手機採用合成淺景深（Synthetic Shallow Depth of Field）呈現照片背景模糊的效果，作法細節是利用雙鏡頭相機在相似的焦點下捕捉 2 個影像，運用立體匹配（Stereo Matching）演算法計算深度圖（Depth Map），在照片場景中選擇一個平面保持其銳利影像，並且模糊距離該平面更近或更遠的影像，如同失焦的感覺。
然而僅搭載單一鏡頭的 Pixel 2 / Pixel 3 / Pixel 3a 系列手機，則是透過機器學習技術分割拍照影像中的人物，或在拍攝物體時運用 Dual Pixel 的硬體技術預估深度圖，以達到景深效果。
針對人物的肖像模式來說，Pixel 手機運用卷積神經網路（Convolutional Neural Network，CNN）預估影像中人物的每一個像素，背後是利用超過 100 萬張標籤過人物照片進行機器學習模型訓練，並使用數學計算中的 Edge-aware Bilateral Solver 進行細化，讓人物分割的影像邊緣更加銳利。接著根據人物與背景的距離按比例模糊化，同時將人物所在位置前後一段距離的影像也保持銳利。
而物體並非人物，故無法使用機器學習的方式，而是透過擁有 Dual Pixel 的後置鏡頭完成。Dual Pixel 作法即是已運用在部分單眼相機上的相位對焦（Phase Detection Auto-focus，PDAF）來判斷景深距離。Pixel 3 系列的肖像模式更進一步優化，Google 訓練機器學習藉由紅色、綠色、藍色 3 色的左右輸入直接計算深度圖。
（Source：Google AI Blog）
高解析變焦
自 Pixel 3 系列推出高解析變焦（Super Res Zoom）功能，雖然背後並無搭載人工智慧與機器學習的技術，但它可將多層影像合成更高像素的照片。
影像是由一個個像素所組成，每一個影像擁有紅色、綠色、藍色 3 種顏色資訊。高解析變焦以像素移位（Pixel Shifting）為基本原理，透過連續拍攝多幀照片，以彌補缺失的顏色資訊並合成出更高解析度的照片，照片中三分之二的顏色資訊是重建出來的。不僅提升照片細節的呈現，解析度與許多搭載 2x 光學變焦鏡頭的智慧型手機所拍的照片不相上下。
而當 Pixel 手機放置在三腳架上、不受手震影響時，仍可藉由強制開啟光學影像穩定（Optical Image Stabilization）製造鏡頭「搖晃」來模擬手震，如下圖所示，此畫面的搖晃幅度非常微小，並不會干擾拍攝的照片。
（Source：Google AI Blog）
夜視模式
最後，Pixel 3 / Pixel 3a 系列其一主打功能夜視模式（Night Sight），背後技術是在按下快門後，觀景器將會靜止不動幾秒鐘，同時高速捕捉最多 15 幀畫面，接著結合高解析變焦（針對 Pixel 3 系列）或 HDR+（針對 Pixel 1 / Pixel 2 / Pixel 3a 系列）功能，並透過學習式白平衡（Learning-based White Balancing）調整影像，仍可保持景物最真實的色調。
▲ 使用夜視模式。（Source：Google Blog）
Marc Levoy 表示 Google 具備軟體開發與機器學習的優勢，在發展 Pixel 手機相機技術的過程中，Google 願意公開、對外分享技術成果，不僅有助於驅動產業創新，也藉此機會吸引更多人才加入 Google AI 研究團隊。
（首圖為 Google 傑出工程師 Marc Levoy；首圖來源：科技新報）
