Google相機-超分辨率技術 前言: Google相機/Google Camera(本文以下簡稱”GC”)中,在”更多設置-鏡頭設置-鏡頭(以下無特殊說明皆以主攝”Main” 為例)-色彩管理-超分辨率照片”中存在從””0~x3.8”(K50)選項,超分辨率選項在原相機中”更多-48MP”選項開啟后才可以應用超分辨率. 說明:(1)在小米原相機中超分辨率為”8000x6000px”,(2)GC中啟用最高x3.8 分辨率可達”15078x8964px”,原相機分辨率在GC中應該處于”x2.0~x2.5之間” 引言: GC中超分辨率選項開啟后,對于同照片相比較下,超分辨率效果>10x放大. 至此,對GC的超分辨率研究開始首先,根據網絡現有資料求證, 具體:GC的超分辨率是一種利用多幀圖像合成技術來提高放大拍攝時的畫面細節(jié)和質量的功能,GC使用的基于深度學習的多幀圖像合成技術.它的基本思想是，從多幅低分辨率的圖像中提取出更多的細節(jié)信息，然后將這些信息合成到一幅高分辨率的圖像中。比如說，您用手機拍攝一個物體時，由于手部抖動或者物體移動，每一幅圖像都會有一些微小的差異。這些差異其實包含了一些額外的細節(jié)信息，如果我們能夠把這些信息提取出來，并且正確地對齊和融合到一幅圖像中，就可以得到一幅比原來更清晰、更細致的圖像。這就是GC使用的超分辨率技術. 以下是理想化的多幀超分辨率算法如何工作的示例

與需要插值重建缺失色彩的去馬賽克管線（第一行）相比,理想化地,可以通過分別在水平和豎直方向偏移一像素捕捉多張圖像以“填補空缺” 這里個人理解為:在典型的消費級相機中,相機傳感器元件僅用于測量光的強度,而不是直接測量其顏色.為了捕捉場景中存在的真實顏色,相機使用放置在傳感器前面的濾色鏡陣列,以便每個像素只測量單一顏色(紅色，綠色或藍色).它們以拜耳模式排列,如上圖所示,因為每一像素僅能采取單色光,臨近像素是否同樣含有同色光即無法確認,而這時需要重建而來. 基于這些信息,相機處理管線必須重建真實色彩和所有像素的所有細節(jié).通過對缺失的色彩信息進行最佳猜測，通常通過從附近像素中的色彩進行插值來進行去馬賽克，這意味著RGB數碼照片三分之二的像素實際上是重建而來“填補空缺”,而這里所陳述的應該即是”插值”,GC超分辨率的原理是通過多幀來填補Bayert格式傳感器中缺少的圖像分量, 其余的色彩是通過插值得來為了提高圖像分辨率,GC使用了一種多幀超分辨率的方法，即從略微不同的位置捕獲多張照片并組合到更高分辨率的網格上,GC所采用的應為”自適應核插值”與”融合算法”來自”Super Res Zoom” 從上我們得到一個關鍵詞”多幀圖像超分辨率” -----多幀圖像超分辨率原理是利用相鄰圖像之間的互補信息,從而重建出比任何一幅低分辨率圖像都高的高分辨率圖像,它需要對齊和融合多個低分辨率圖像,然后通過算法推斷出高分辨率圖像.而”Super Res Zoom”中其自適應于圖像的局部結構,對稀疏采樣的數據進行擬合.基于稀疏表示的對齊和融合多個低分辨率的方法 ----------基于稀疏表示的對齊和融合多個低分辨率的方法: 基于稀疏表示的對齊和融合多個低分辨率的方法是一種利用圖像的稀疏性質,將圖像在某個字典上進行稀疏編碼,然后根據編碼系數進行融合的方法.這種方法可以保留圖像的邊緣和紋理信息,提高融合效果.這個方法是先對每個源圖像進行小波變換，得到低頻和高頻系數。然后用自適應權重來融合低頻系數，用稀疏表示來融合高頻系數。最后用逆小波變換得到融合圖像。這個方法可以有效地降低噪聲和失真，提高圖像清晰度和對比度. ----------稀疏表示: 稀疏表示是在保留圖像細節(jié)特征的基礎上，將圖像有效地分解為一組非零原子的線性組合,過完備字典和稀疏表示模型是稀疏表示的核心內容. 過完備字典為稀疏表示提供原子庫，是稀疏表示方法的基礎。一般來說，過完備字典的獲取有2種方法。一是針對某種特定類型的圖像，用已有的古定的信號模型構造原子，簡單且易于實現。二是采用學習方法，例如奇異值分解K-SVD算法和PCA等，對大量的實驗樣本進行訓練構造字典，是一和自學習的字典，冗余度更高。稀疏表示模型選擇過完備字典中的小部分原子，采用某種線性組合重構圖像. ----------變換域融合的處理對象是源圖像變換后的分解系數.其融合過程主要包括3步:首先利用變換算法將源圖像分解為高低頻率系數;然后對不同的系數采用不同的融合策略,分層次分方向地完成融合;最后通過逆變換實現圖像的融合.MST融合方法的融合過程如圖所示.其中,Lx和Ly分別為源圖像Ix和Iy分解后的低頻系數.Hx和Hy為分解后的高頻系數.LF和HF分別為融合后的低頻系數和高頻系數.

隨后,小波變換應運而生,它將圖像分解為表示輪廓的低頻近似系數和表示圖像細節(jié)的多層3個方向(水平垂直和對角)的高頻細節(jié)系數,充分反映了源圖像的局部變化特征.優(yōu)點是分解后信息無冗余,具有方向性. 而在以上的基礎之上,將這幾項技術相結合之下,具體流程如以下所述

流程: 整個算法流程如圖所示. 其主要包括:多幀圖像的獲取---圖像配準---圖像融合三個步驟.首先,獲取多幀圖像,然后選擇其中一陣作為基幀,剩下的圖像都對該幀進行局部對齊.通過核回歸估計每一幀對結果的局部貢獻,然后分顏色通道將這些貢獻疊加起來.為了是算法更有魯棒性,借助于圖像局部特征對核形狀進行調整,并利用魯棒性模型對采樣的貢獻值進行加權.最后,對每個顏色通道進行歸一化得到最后的RGB圖像. 至此,在廣面上我們已經基本了解了”GC超分辨率”的基本原理 結尾: 對于GC這一超分辨率技術來說, 我本人并不是吹捧GC的該項技術也不是貶低其它品牌的該項技術,這里更多的是以”Google Camera”為例來闡述這項技術,這項技術出現不能說其具有跨時代意義也不能說其無用,更多的是對于這項技術所受眾面來講 資料引用: https://zhuanlan.zhihu.com/p/46938106 文章作者: 雨寶貝 https://zhuanlan.zhihu.com/p/475470158 文章作者: 一點人工一點智能 https://zhuanlan.zhihu.com/p/138815311 文章作者: 吳建明wujianming https(鏈接)：//pan.baidu.com/s/1DNW5EKfb7xzsFGhf5mbJdg? pwd=visw 提取碼：visw | 文章多平臺同期發(fā)布| 未經授權禁轉載| 文章引用請文中說明 | 本文最后編輯于2023年03月04日12時13分 ——By ZKY_DW_Wait me 發(fā)布于遼寧，已編輯