標題：ECCV 2022,山東大學、北大、騰訊AILab、斯坦福和三維家聯(lián)合提出，面向精確的主動相機定位算法

項目地址：https://github.com/qhFang/AccurateACL.

文章：Towards Accurate Active Camera Localization（ECCV 2022）

主要內(nèi)容：主動相機定位問題是主動控制相機運動以獲得精確的相機姿態(tài)，過去的算法大多是基于馬爾可夫的，其缺陷在于減少了定位相機的位置不確定性，在離散的姿態(tài)空間中定位相機，并且與場景屬性無關(guān)，這限制了粗略尺度中的相機姿態(tài)精度。

為此提出了一種新的主動相機定位算法來克服這些限制，該算法通過增強學習來實現(xiàn)精確的相機定位，由被動和主動定位模塊組成。前者通過建立逐點的相機-世界對應(yīng)關(guān)系來優(yōu)化連續(xù)姿態(tài)空間中的相機姿態(tài)；后者對場景和相機的不確定性分別進行建模以規(guī)劃正確的路徑，用于精確的相機姿態(tài)估計。

在具有挑戰(zhàn)性的定位場景上驗證了算法，實驗結(jié)果表明其算法在精細尺度相機姿態(tài)精度上優(yōu)于最先進的基于馬爾可夫定位的方法和其他方法。

主動相機定位與被動相機定位

被動相機定位是通常我們所理解的相機定位，即估計拍攝一副圖像時的相機的位姿，圖像是被動獲得的，而主動相機是通過控制相機的移動主動地去拍攝一些圖片進而準確估計相機的位姿。

主動相機定位通常涉及三個問題：

1. 如何定位：如何定位相機以獲得最準確的相機姿勢

2. 去哪里：相機在環(huán)境中未知位置的初始化，之后它應(yīng)該怎么移動以進行精確的主動定位。由于在連續(xù)相機姿態(tài)空間中存在許多可定位位置，主動定位問題變得高度模糊且難以解決。

3. 何時停止：代理不知道其真實的相機姿態(tài)，因此要怎么決定何時停止相機移動。

Pipeline：

在環(huán)境中的未知位置和方向初始化相機后，主動相機定位的問題是主動控制相機向更好的位置移動以獲得準確的相機姿態(tài)。

輸入：帶有位姿真值的RGB-D幀序列、主動定位期間獲得的瞬時RGB-D幀。

對于初始RGB-D幀，被動定位模塊估計當前相機姿態(tài)，主動定位模塊估計相機移動的下一個動作，然后獲得新的RGB-D幀，重復這樣的過程直到主動定位模塊決定停止移動并且在最后一步選擇最終相機姿態(tài)作為估計的相機姿態(tài)。

被動定位模塊：

被動定位模塊是回答“如何定位”問題。通過被動定位器優(yōu)化連續(xù)姿勢空間中的相機姿勢，采用了基于決策樹的方法以實現(xiàn)這一目的，具體的，

的對應(yīng)關(guān)系，它通過對對應(yīng)關(guān)系的姿勢優(yōu)化來推斷相機姿勢假設(shè)，并通過迭代丟棄最差的姿勢假設(shè)直到最后一個剩下來確定輸入幀的相機姿態(tài)。

主動定位模塊：

主動定位模塊由場景不確定性和相機不確定性組成，分別回答“去哪里”和“何時停止”問題。

場景不確定性：

從兩個角度來描述這種屬性，即相機位于場景的何處，以及觀察到的場景哪一部分對于準確定位更有效。為了對上述信息進行建模，提出了相機驅(qū)動場景地圖和世界驅(qū)動場景地圖，他們回答了“去哪里”的問題，并通過結(jié)合場景不確定性屬性和估計的相機姿態(tài)以及世界坐標，引導相機向不確定性較小的場景區(qū)域移動。場景不確定性屬性完全由場景模型和被動定位模塊決定，因此預(yù)先計算并對主動定位過程保持不變，而估計的相機姿態(tài)和世界坐標是在相機移動期間從捕獲的RGB-D幀立即計算得出的。

相機驅(qū)動的場景圖：

為了過濾掉無效的相機位置，將所有地圖通道初始化為二進制可穿越地圖，其中可穿越位置和障礙位置分別用0和?1填充，并且只更新可穿越位置的值。

世界驅(qū)動的場景圖：

當前世界坐標估計指示使用所估計的相機姿態(tài)從當前RGB-D幀反向投影的世界坐標位于場景點云上的何處，因此被計算為描述每個場景點是否被至少一個反向投影世界坐標占據(jù)的逐點二進制值。

相機不確定性分量：

相機不確定性是相機固有的特性，它表示相機運動期間當前相機姿態(tài)估計的質(zhì)量。相機不確定性模塊回答“何時停止”問題，從而確定主動相機運動的自適應(yīng)停止條件。

理想情況下，相機不確定度值應(yīng)通過直接將估計的相機姿態(tài)與真實相機姿態(tài)進行比較來計算，然而在相機主動運動期間，真實相機姿態(tài)是不存在的。

為了緩解上述困難，通過將表示真實相機姿態(tài)的捕獲深度觀測和從3D場景模型Dscene投影的深度圖像（其表示估計的相機姿態(tài)）進行比較來計算相機不確定性值。

給定觀察到的深度和投影的深度圖像，首先使用已知的相機固有參數(shù)將兩個圖像反向投影到相機空間中的點云中。然后利用ICP來配準兩個點云，并估計它們之間的相對相機姿態(tài)，當兩個點云大致對齊時，采用的ICP方法能夠?qū)崿F(xiàn)非常緊密的點云對齊，因此估計的相對姿態(tài)指示當前相機姿態(tài)估計距離真實姿態(tài)有多遠，并被視為相機不確定性分量

為了簡化策略學習，許多以前的工作都固定了相機移動的插值長度，這在實施中效率很低。在本論文中提出了基于所提出的相機不確定性分量自適應(yīng)地停止相機運動。具體而言，認為當相機不確定度分量在

范圍內(nèi)時，可以成功定位以停止相機移動為了證明相機不確定性分量的有效性，評估了估計的相對姿態(tài)與真實姿態(tài)的接近程度，圖3包含了一個室內(nèi)場景中隨機采集的4500個樣本?？梢杂^察到大多數(shù)樣本位于對角線上，這意味著相對姿態(tài)估計通常是準確的

實驗：

在合成和掃描的真實室內(nèi)場景上評估了算法。

為了緩解在合成數(shù)據(jù)中創(chuàng)建常見定位挑戰(zhàn)的困難，收集了35個平均面積為40.9平方米的高質(zhì)量室內(nèi)場景，這些場景具有無紋理的墻壁、重復的枕頭/圖紙等，并提供了場景的訓練/測試分割（訓練/測試：15/20個場景）。

對于掃描的真實世界數(shù)據(jù)，從公共Matterpt3D數(shù)據(jù)集中收集了5個平均面積為64.8m2的室內(nèi)場景，僅供評估。

在ACL-synthetic中無移動基線的準確率14.90%，表明被動定位在具有挑戰(zhàn)性的定位場景中是不夠的，論文算法在相機姿態(tài)精度（83.05%）方面優(yōu)于所有方法

定性結(jié)果：

總結(jié)：

提出了一種新的主動相機定位算法，由被動和主動定位模塊組成。

前者在連續(xù)姿態(tài)空間中估計精確的相機姿態(tài)。

后者從顯式建模的相機和場景不確定性中學習強化學習策略以實現(xiàn)準確的相機定位。

本文僅做學術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。

3D視覺工坊精品課程官網(wǎng)：3dcver.com

1.面向自動駕駛領(lǐng)域的3D點云目標檢測全棧學習路線！(單模態(tài)+多模態(tài)/數(shù)據(jù)+代碼)

2.徹底搞透視覺三維重建：原理剖析、代碼講解、及優(yōu)化改進

3.國內(nèi)首個面向工業(yè)級實戰(zhàn)的點云處理課程

4.激光-視覺-IMU-GPS融合SLAM算法梳理和代碼講解

5.徹底搞懂視覺-慣性SLAM：基于VINS-Fusion正式開課啦

6.徹底搞懂基于LOAM框架的3D激光SLAM: 源碼剖析到算法優(yōu)化

7.徹底剖析室內(nèi)、室外激光SLAM關(guān)鍵算法原理、代碼和實戰(zhàn)(cartographer+LOAM +LIO-SAM)

8.從零搭建一套結(jié)構(gòu)光3D重建系統(tǒng)[理論+源碼+實踐]

9.單目深度估計方法：算法梳理與代碼實現(xiàn)

10.自動駕駛中的深度學習模型部署實戰(zhàn)

11.相機模型與標定(單目+雙目+魚眼）

12.重磅！四旋翼飛行器：算法與實戰(zhàn)

13.ROS2從入門到精通：理論與實戰(zhàn)

14.國內(nèi)首個3D缺陷檢測教程：理論、源碼與實戰(zhàn)

15.基于Open3D的點云處理入門與實戰(zhàn)教程

16.透徹理解視覺ORB-SLAM3：理論基礎(chǔ)+代碼解析+算法改進

17.不斷更新中......

重磅！粉絲學習交流群已成立

交流群主要有3D視覺、CV&深度學習、SLAM、三維重建、點云后處理、自動駕駛、多傳感器融合、CV入門、三維測量、VR/AR、3D人臉識別、醫(yī)療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產(chǎn)品落地、視覺競賽、車牌識別、硬件選型、ORB-SLAM系列源碼交流、深度估計、TOF、求職交流等方向。

添加小助理微信（dddvisiona）,一定要備注：研究方向+學校/公司+昵稱，例如：”3D視覺 + 上海交大 + 靜靜“。請按照格式備注，可快速通過且邀請進群。?