查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)

用于對(duì)齊圖像的方法和系統(tǒng)

（映維網(wǎng)?2021年12月27日）為了支持不同的功能，AR/VR系統(tǒng)一般可以搭載不同類型的攝像頭。例如可以通過攝像頭提供的視頻畫面來幫助AR/VR頭顯用戶感知現(xiàn)實(shí)世界，從而避免迷失方向和/或安全危險(xiǎn)。AR/VR系統(tǒng)可以以多種方式呈現(xiàn)攝像頭捕獲的視圖。然而，通過前置攝像頭圖像來提供真實(shí)環(huán)境視圖的過程帶來了眾多挑戰(zhàn)。

由于多種原因，前置攝像頭的排列方式難以一一對(duì)應(yīng)雙眼，而這需要系統(tǒng)對(duì)齊前置攝像頭的圖像內(nèi)容。通常，為了執(zhí)行對(duì)齊過程，系統(tǒng)需要詳細(xì)的時(shí)間戳信息和姿勢(shì)信息。然而，因?yàn)椴煌臄z像頭可能在不同的時(shí)域中工作，所以它們具有時(shí)間偏移。另外，時(shí)間戳數(shù)據(jù)有時(shí)根本不可用，因?yàn)閿z像頭之間可以彼此遠(yuǎn)程操作，并且時(shí)間戳數(shù)據(jù)不被傳輸。盡管對(duì)齊圖像內(nèi)容提供了巨大的好處（特別是在全息圖的放置和生成方面），但前面所述的問題構(gòu)成了一定的障礙。

在名為“Dual system optical alignment for separated cameras”的專利申請(qǐng)中，微軟介紹了一種用于對(duì)齊圖像的方法和系統(tǒng)。

集成式攝像頭和分離式攝像頭操作

現(xiàn)在請(qǐng)注意圖3，圖3包括頭顯305和其所在的環(huán)境300。在這個(gè)場(chǎng)景中，頭顯305包括物理集成到頭顯的集成式攝像頭310。集成式攝像頭可以是各種類型的攝像頭，例如可見光攝像頭110、微光攝像頭115、熱成像攝像頭120，甚至UV攝像頭125。在一個(gè)示例中，集成攝像頭310經(jīng)由視場(chǎng)（FOV）315掃描環(huán)境300。

圖3同時(shí)顯示了分離式攝像頭320的存在或使用。分離式攝像頭是指可以從頭顯305物理卸下分離的攝像頭320。例如，在特定的場(chǎng)景中，可以將分離式攝像頭320捆綁或以其他方式放置在用戶的胸部。在一個(gè)場(chǎng)景中，分離式攝像頭320可以不放置在用戶的身體上，而是放置在用戶持有的對(duì)象上。作為一個(gè)示例，假設(shè)分離式攝像頭320安裝在自拍桿或另一種類型的延長(zhǎng)桿上。

圖3同時(shí)示出了分離式攝像頭320如何與其自身對(duì)應(yīng)的FOV 325相關(guān)聯(lián)。同時(shí)，F(xiàn)OV 315的至少一部分與FOV 325重疊，如重疊330所示。重疊330允許實(shí)施例能夠生成多個(gè)圖像，然后將圖像內(nèi)容從一個(gè)圖像覆蓋到另一個(gè)圖像上，以便生成合成圖像或具有增強(qiáng)特征的疊加圖像。

應(yīng)當(dāng)注意，盡管專利主要關(guān)注兩個(gè)圖像的使用，但實(shí)施例能夠?qū)R來自具有重疊區(qū)域的兩個(gè)以上圖像的內(nèi)容。例如，假設(shè)2、3、4、5、6、7、8、9甚至10個(gè)圖像具有重疊內(nèi)容。實(shí)施例能夠檢查每個(gè)圖像，然后將特定部分彼此對(duì)齊。然后，所得疊加圖像可以是由可用圖像的任何組合或?qū)R形成的合成圖像。因此，實(shí)施例能夠在執(zhí)行操作時(shí)能夠利用任意數(shù)量的圖像，并且不限于僅兩個(gè)圖像。

假設(shè)集成式攝像頭310為微光攝像頭，進(jìn)一步假設(shè)分離式攝像頭320為熱成像攝像頭。所述實(shí)施例能夠從熱成像攝像頭圖像中選擇性地提取圖像內(nèi)容，并將圖像內(nèi)容覆蓋到由微光攝像頭生成的圖像上。就此而言，熱成像內(nèi)容可用于增強(qiáng)或補(bǔ)充低光圖像內(nèi)容，從而向用戶提供增強(qiáng)的圖像內(nèi)容。

圖4示出了由圖3的集成式攝像頭310生成的結(jié)果圖像。圖像400的陰影是為了將圖像與任何其他圖像區(qū)分開來。陰影不應(yīng)解釋為集成式攝像頭圖像400是任何特定類型的圖像。

通過分析集成式攝像頭圖像400中包括的內(nèi)容，實(shí)施例能夠確定頭顯的姿勢(shì)405（對(duì)應(yīng)圖3中的頭顯305）。例如，通過檢測(cè)錨點(diǎn)（例如被識(shí)別為相對(duì)靜止或不移動(dòng)的點(diǎn)），實(shí)施例能夠確定頭顯相對(duì)于周圍環(huán)境的方向或姿勢(shì)405。

另外，可以為集成式攝像頭圖像400確定時(shí)間戳410。時(shí)間戳410標(biāo)識(shí)生成集成式攝像頭圖像400的時(shí)間。當(dāng)然，時(shí)間戳410可以基于任何定時(shí)計(jì)算，包括例如由原子鐘確定的絕對(duì)時(shí)間，或者，可選地，包括任何類型的相對(duì)時(shí)間，例如處理器時(shí)鐘周期等等。

來自圖3的集成式攝像頭310生成圖像400，并且集成式攝像頭310以特定刷新率415操作以生成新圖像。所述刷新率415可以設(shè)置為任何值。然而，刷新率415通常至少在30hz和90hz之間。在一些情況下，刷新率415高于90hz，例如可能為120hz或更高。通常，刷新率415約為90hz。

圖4同時(shí)示出了由分離式攝像頭320生成的圖像420。在圖4中，分離式攝像頭圖像420被示為在尺寸上小于集成相機(jī)圖像400的尺寸，但是所述尺寸差異僅用于說明目的。在一些情況下，分離式攝像頭圖像420的分辨率可能高于集成式攝像頭圖像400的分辨率。在其他情況下，分離式攝像頭圖像420的分辨率可能低于集成式攝像頭圖像400的分辨率。在某些情況下，兩幅圖像的分辨率可能相同。

集成式攝像頭圖像400（例如第一圖像）可以是可見光圖像、微光圖像或熱圖像之一。分離式攝像頭圖像420（例如第二圖像）可以是可見光圖像、微光圖像或熱圖像中的不同圖像，或者甚至可能是與第一圖像相同類型的圖像。

實(shí)施例能夠分析分離式攝像頭圖像420中的內(nèi)容，以根據(jù)圖3確定分離式攝像頭320的姿勢(shì)425。類似地，可以為分離式攝像頭圖像420確定時(shí)間戳430。在一些情況下，時(shí)間戳410相對(duì)于時(shí)間戳430不同，或者反映不同的時(shí)間，使得兩個(gè)圖像可以具有時(shí)間偏移。

分離式攝像頭320可以具有自己的刷新率435。所述刷新率435可以設(shè)置為任何值。然而，刷新率435通常至少在10hz和60hz之間。在一些情況下，刷新率435高于60hz，例如可能為90hz或120hz或甚至更高。通常，刷新率435約為30hz。在一些情況下，刷新率435與刷新率415相同，而在其他情況下，刷新率435與刷新率415不同。當(dāng)兩個(gè)刷新率不同時(shí)，兩個(gè)攝像頭在不同的時(shí)域中工作。

關(guān)于姿勢(shì)確定，圖5示出了集成式攝像頭500。圖5同時(shí)示出姿勢(shì)505，其代表來自圖4的姿勢(shì)405。根據(jù)所介紹的原理，姿勢(shì)505至少指集成式攝像頭500相對(duì)于其環(huán)境的x-y-z位置。

在某些情況下，姿勢(shì)505可能包括詳細(xì)說明六個(gè)自由度的信息。在某些情況下，姿勢(shì)505可能包括詳細(xì)說明三個(gè)自由度515的信息。

可使用內(nèi)置傳感器（如加速度計(jì)、陀螺儀和磁強(qiáng)計(jì)）確定六自由度510和三自由度515。同時(shí)可以使用位置追蹤傳感器來確定六自由度510。

圖像對(duì)應(yīng)與對(duì)齊

根據(jù)專利原理，實(shí)施例能夠?qū)D4所示的集成式攝像頭圖像400與分離式攝像頭圖像420對(duì)齊。如圖3中所述，由于兩個(gè)攝像頭視場(chǎng)的至少一部分彼此重疊，結(jié)果圖像的至少一部分將包括相應(yīng)的內(nèi)容。所以，可以識(shí)別相應(yīng)的內(nèi)容，然后基于相似的相應(yīng)內(nèi)容生成合并、融合或疊加的圖像。通過生成疊加圖像，實(shí)施例能夠向用戶提供增強(qiáng)圖像內(nèi)容，圖6示出了可用于對(duì)齊來自兩個(gè)（或可能多于兩個(gè)）不同圖像的圖像內(nèi)容的第一類型對(duì)齊600。

圖6示出了集成式攝像頭圖像605，其代表來自圖4的集成式攝像頭圖像400，以及分離式攝像頭圖像610，其代表來自圖4的分離式攝像頭圖像420。這兩個(gè)圖像通常稱為“紋理”圖像。

實(shí)施例能夠分析紋理圖像（即執(zhí)行計(jì)算機(jī)視覺特征檢測(cè)），以嘗試找到任意數(shù)量的特征點(diǎn)。

圖6顯示了集成式攝像頭圖像605中的多個(gè)示例特征點(diǎn)，如特征點(diǎn)615A、特征點(diǎn)620A和特征點(diǎn)625A。其他特征點(diǎn)使用變暗的圓進(jìn)行標(biāo)識(shí)，但未標(biāo)記。請(qǐng)注意，所述特征點(diǎn)與角、邊或其他脊線相關(guān)，例如毯子和枕頭中的褶皺?？蓪?duì)任何類型的特征檢測(cè)器進(jìn)行編程，以識(shí)別特征點(diǎn)。在一個(gè)情況下，特征檢測(cè)器可能是機(jī)器學(xué)習(xí)算法。

可以使用任何數(shù)量的訓(xùn)練數(shù)據(jù)來訓(xùn)練機(jī)器學(xué)習(xí)算法以動(dòng)態(tài)地執(zhí)行所描述的操作。

圖6同時(shí)示出了實(shí)施例如何能夠分析、檢查或?qū)彶榉蛛x式攝像頭圖像610以識(shí)別特征點(diǎn)，如暗圈所示。示例包括但不限于特征點(diǎn)615B、特征點(diǎn)620B和特征點(diǎn)625B。

例如，實(shí)施例檢測(cè)任意數(shù)量的特征點(diǎn)，然后嘗試識(shí)別在集成式攝像頭圖像605中檢測(cè)到的特征點(diǎn)，與在圖像605中識(shí)別的特征點(diǎn)之間的相關(guān)性。例如，已識(shí)別特征點(diǎn)615A與特征點(diǎn)615B鏈接或?qū)?yīng)的對(duì)應(yīng)關(guān)系615C。類似地，已經(jīng)識(shí)別了對(duì)應(yīng)620C，其中特征點(diǎn)620A確定為對(duì)應(yīng)于特征點(diǎn)620B。已識(shí)別對(duì)應(yīng)625C，其中確定特征點(diǎn)625A與特征點(diǎn)625B對(duì)齊或?qū)?yīng)。

在一個(gè)實(shí)施例中，對(duì)齊過程600包括識(shí)別任意數(shù)量的特征點(diǎn)，然后識(shí)別兩個(gè)（或更多）不同圖像中的特征點(diǎn)之間的相關(guān)性或?qū)?yīng)關(guān)系。

注意，在所述實(shí)現(xiàn)中，實(shí)施例避免確定分離式攝像頭圖像610的姿勢(shì)或時(shí)間戳。相反，實(shí)施例依賴于特征匹配以確定是否將來自一個(gè)圖像的圖像內(nèi)容疊加到另一個(gè)圖像上。

然后，實(shí)施例將特征或圖像對(duì)應(yīng)630適配到運(yùn)動(dòng)模型635，以便將一個(gè)圖像疊加到另一個(gè)圖像，從而形成增強(qiáng)的疊加圖像。運(yùn)動(dòng)模型635可以是任何類型的運(yùn)動(dòng)模型。通常，運(yùn)動(dòng)模型是一種變換矩陣，其可將模型、已知場(chǎng)景或?qū)ο笸队暗讲煌哪Ｐ?、?chǎng)景或?qū)ο笊稀?/p>

在一個(gè)情況下，運(yùn)動(dòng)模型635可能只是一個(gè)旋轉(zhuǎn)運(yùn)動(dòng)模型。通過旋轉(zhuǎn)模型，實(shí)施例能夠移動(dòng)任意數(shù)量的像素，以便將一個(gè)圖像覆蓋到另一個(gè)圖像上。例如，一旦識(shí)別了圖像對(duì)應(yīng)630，實(shí)施例就可以識(shí)別特征點(diǎn)或?qū)?yīng)的像素坐標(biāo)。一旦識(shí)別出坐標(biāo)，則實(shí)施例可以使用上述旋轉(zhuǎn)運(yùn)動(dòng)模型方法將分離式攝像頭圖像610疊加到集成式攝像頭圖像605。

在一個(gè)情況下，運(yùn)動(dòng)模型635可以更復(fù)雜，例如以相似性變換模型的形式。

圖7示出了可執(zhí)行的另一對(duì)齊操作700，對(duì)齊操作700是為了對(duì)齊來自兩個(gè)圖像的內(nèi)容，以便可以疊加內(nèi)容以形成疊加圖像。

集成式攝像頭圖像705包括紋理715。紋理715通常指關(guān)于包括在圖像中的顏色或強(qiáng)度的空間排列的信息。類似地，分離式攝像頭圖像710被示為包括紋理720。

根據(jù)對(duì)齊操作700，實(shí)施例確定集成式攝像頭圖像705中的紋理715和/或分離式攝像頭圖像710中的紋理720不足以執(zhí)行特征匹配或圖像對(duì)應(yīng)匹配。例如，可能在兩幅圖像中的任何一幅中檢測(cè)到的特征點(diǎn)數(shù)量不足?；蛘?，可能檢測(cè)到足夠數(shù)量的特征點(diǎn)，但識(shí)別出的對(duì)應(yīng)關(guān)系數(shù)量不足?；谶@一初始確定，實(shí)施例求助于或回退至對(duì)齊操作700，并利用由各種慣性測(cè)量單元（IMU）確定的預(yù)測(cè)或估計(jì)姿勢(shì)。

具體地，生成集成式攝像頭圖像705的集成式攝像頭與第一IMU 725相關(guān)聯(lián)。類似地，生成分離式攝像頭圖像710的分離式攝像頭與第二IMU 730相關(guān)聯(lián)。所述實(shí)施例利用IMU 725來確定集成式攝像頭的姿勢(shì)和利用IMU 730來確定分離式攝像頭的姿勢(shì)。

一旦估計(jì)或確定了兩個(gè)姿勢(shì)，實(shí)施例隨后使用這些姿勢(shì)將圖像的一個(gè)或多個(gè)部分彼此對(duì)齊。一旦對(duì)齊，則將一個(gè)圖像的一個(gè)或多個(gè)部分疊加到另一個(gè)圖像的相應(yīng)部分上，以便生成增強(qiáng)的疊加圖像。

相關(guān)專利：Microsoft Patent | Dual system optical alignment for separated cameras

名為“Dual system optical alignment for separated cameras”的微軟專利申請(qǐng)最初在2020年6月提交，并在日前由美國(guó)專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/92935