即便現在手機多鏡頭當道，但Google還是在Pixel手機上展現超越單鏡頭的實力，以硬體+軟體+AI帶來如HDR+、景深肖像模式、超高解析度（Super Res Zoom）及夜視等幾項要以多鏡頭才能完成的模式，相信大家也很好奇背後到底運用了哪些技術? Google先前特別邀請傑出工程師Marc Levoy來台，為大家一一解密，有的之前在Google AI Blog發表過，有的則多提到一些觀念，這裡也綜合先前的採訪，以及Google AI Blog上的文章，整理分享給大家。。
Macr Levoy是史丹佛大學電腦科學榮譽退休教授（該職由VMware創辦人所支持），以及Google傑出工程師。Macr Levoy在史丹佛大學教授電腦繪圖學、數位攝影學和藝術科學，目前他在Google帶領的團隊負責了Pixel手機的HDR+模式、肖像模式、夜視、Jump光場相機以及Halide圖像處理語言程式，對計算攝影（Computational Photography）領域相當有研究。
Macr Levoy首先跟我們分享手機相機的趨勢，硬體上畫素/感光元件、鏡頭品質越來越好，光圈也越來越大，以及已成為主流的多鏡頭趨勢，但一般人可能還沒觀察到，手機攝影的重心正從硬體往軟體轉移。
包含以計算攝影整合連拍幀數做多框合成，以及在及演算成像時導入機器學習，在訓練機器學習的過程中，又得到更多可投入訓練的資訊，一環環來提升計算攝影的品質。
Macr Levoy也提到，好的手機相機程式，要遵守幾項原則：
◾執行要迅速：
比方取景螢幕刷新率要高於15fps，快門延遲也要低於150毫秒，拍好之後照片成像時間也要少於5秒，且不能讓手機在過程中感覺到發熱。
◾預設模式絕不能失敗：
過程要是可靠的，如有可靠的曝光、對焦、自動白平衡，且要避免拍到鬼影或殘影。
◾要重視使用者在攝影時會遇到的特殊狀況：
當然有可能遇到困難場景，預設模式也拍不好或偵測錯誤。Macr Levoy舉例他們有套臉部偵測，準確率有96%，但有時遇到戴深色墨鏡的人會偵測失準，導致測光參數也失準，後來他們用機器學習和更好的繪圖數據來修正這個問題。
不過特殊模式下，若有偶發的幽默意外，結果是可以被接受的，比方拍全景時遇到狗狗走動中，可能會就拍到這種臘腸狗體…
手機因為感光元件小，又多半是手持拍，所以面臨幾個較大的問題是：低光雜訊噪點、手持易晃動、動態範圍小…等，所以可以發現很多演算法都是在解決這些問題。
Pixel手機上有四個計算攝影帶來的功能，可能有點燒腦，所以建議直接點擊轉跳，看完一個休息一下，不要連著看，比較不會累…
■ HDR+
■ 人像模式
■ 高解析變焦
■ 夜視模式
▌HDR+
現在大家對HDR的原理應該都很清楚，典型的作法是以包圍曝光拍攝多幀不同亮度的影像，短曝光的高光部位比較清楚，長曝光的則是暗部清楚，接著就取這些有細節的部分，合成出最後的影像。
但它的問題是，若是手持拍攝，可能因為晃動，或物體有移動，在合成時像素會難以對齊，
而且畫面中若有過曝到一片白的地方，會讓演算錯誤，最後畫面出現鬼影、疊影、偽像等問題。
Google的解決辦法是：連拍短曝光的多張影像，盡量讓每一張的曝光都跟第一張一樣，這些影像高光處有細節，也因為曝光相似，疊合時更容易對齊。
但你可能會想說：拍短曝光，那暗部不就偏暗嗎?
HDR+的作法是採用色調映射（Tonemap）來增強暗部，降低亮部，犧牲一點整體的色調和對比度，來保留局部的對比，讓畫面裡亮暗部可以呈現出細節。（左：單張拍攝 右：HDR+）
那增強的暗部不就會看到很多雜訊?
有個公式是訊噪比（SNR）和連拍幀數的平方根成正比，連拍幀數越多，訊噪比越高，表示雜訊越少，連拍多張後，有足夠的畫面做合成，就可以減少暗部的噪點。
也因為疊合多張畫面做降噪，所以低光畫質也會比較好。（左：單張拍攝 右：HDR+）
…繼續閱讀
延伸閱讀：
SONY Mobile開放式耳機新成員 頸掛式SBH82D上市
S710最便宜？realme 3 Pro 6/18開賣即促銷，售6,990元起
