論文閱讀《Visual PlaceRecognition using LiDAR Intensity Information》

這個文章主要是一個實驗分析的工作，文章沒有提出新的方法，但是提出了一個假設(shè)：激光雷達強度圖像可以用于VPR，然后通過目前現(xiàn)有方法的融合證明了這個假設(shè)的可行性。在該假設(shè)成立的前提下，激光視覺融合或許可以有新的思路.

作者：晃晃悠悠的虛無周 ?文章來源：微信公眾號「3D視覺工坊」

Motivation

VPR(Visual placerecognition)是一個常見的任務(wù)，但是從來沒有方法將點云強度構(gòu)成的圖像應(yīng)用到VPR方法上，考慮到圓柱投影后的點云強度圖的密集性，作者認為這個思路是可行的。所以在這個工作中作者分析了VPR如何與 LiDAR 數(shù)據(jù)結(jié)合使用，并對不同的數(shù)據(jù)集進行了評估。結(jié)果表明，這種方法的確是可以確定閉環(huán)的有效方法。

Contribution

1、分析評估現(xiàn)有視覺位置識別技術(shù)在應(yīng)用于 3D LiDAR 掃描儀的強度提示時的性能。

2、使用 3D LiDAR 在多個機器人數(shù)據(jù)集上測試了 VPR 方法的幾種變體。實驗表明，對現(xiàn)有 VPR 技術(shù)的直接調(diào)整可以產(chǎn)生可靠的回環(huán)，從而實現(xiàn)大規(guī)模的僅激光 LiDAR SLAM

Content

1、激光雷達

某種程度上，激光雷達強度是一個關(guān)于反射范圍以及波長的函數(shù)：

A表示以固定角測量的光束孔徑,β是物體的反射率,θ是介質(zhì)的吸收，反射率β受成分、粗糙度和水分含量以及光束撞擊表面的入射角的影響,具體示意圖如下

測量信號第一次返回的時鐘精度限制了距離測量的精度。但是可以通過確定發(fā)射和接收信號之間的相位差可以獲得額外的精度增益。以更高準確度為目標(biāo)的掃描儀會發(fā)送多個脈沖，這反過來又限制了距離測量的頻率?，F(xiàn)在單個傳感器的測量頻率 fm 可能達到 50 kHz。通過選擇光束的旋轉(zhuǎn)頻率fr，角分辨率直接為2πfm fr。機械方面的考慮限制了傳感器的旋轉(zhuǎn)速度。在 2D 情況下，光束可以通過相對較小的旋轉(zhuǎn)鏡偏轉(zhuǎn)，在 3D 情況下，傳感器可以攜帶多達128個測量單元。

掃描儀還測量強度信息。該強度信息被歸一化并離散化為 8 或 16 位值。強度取決于表面特性，還有幾個其他因素會影響測量。上述強度公式是連續(xù)的，所以當(dāng)測量相同的 3D 點時，視點的輕微變化會產(chǎn)生強度的輕微變化。

之前針對 SLAM 和位置識別的 3D-LiDAR 的大部分工作都集中在使用距離測量上，忽略其他可能有價值的信息。這也可能是因為機器人技術(shù)中使用的舊激光雷達的強度信息沒有那么精確。最近的 3D-LiDAR 性能很好。當(dāng)激光雷達強度投影成全景圖像時，激光雷達強度會讓人想起使用灰度相機獲得的強度。毫無疑問，LiDAR 強度圖像的質(zhì)量與相機等無源傳感器獲取的圖像相比仍然較低。但是，在機器人技術(shù)中，特別是在 VPR 任務(wù)中，3D-LiDAR 掃描生成的強度圖像有諸如不受外部光照條件和陰影影響等優(yōu)點。

自動駕駛和自動駕駛汽車的普及推動了 3D-LiDAR 的改進。在這個應(yīng)用領(lǐng)域，它們的主要用途是提供局部 3D 重建和障礙物信息。傳統(tǒng)上，使用 LiDAR 進行全局 3D 重建是閉環(huán)的重大挑戰(zhàn)。并且目前基于激光雷達進行回環(huán)的工作也相對較少。相比之下，CV社區(qū)在地點識別和回環(huán)任務(wù)上投入了大量精力，取得了令人印象深刻的成果。因此，本文的目的是分析常見 VPR 方法與 LiDAR 強度信息結(jié)合使用的可行性

2.應(yīng)用于圓柱形激光雷達強度圖像的視覺位置識別(VPR)這一部分主要介紹的是作者如何處理來自激光掃描的圖像形成，然后回顧VPR的大致結(jié)構(gòu)。A.圖像形成執(zhí)行圓柱投影，將激光雷達點從笛卡爾坐標(biāo)系轉(zhuǎn)換成球坐標(biāo)系：

假設(shè)光束均勻分布，可以計算 (u,v) 如下

如果多個點落在同一個圖像像素中，則僅保留具有最近距離的值。在創(chuàng)建圖像的每個像素中，存儲強度值而不是距離。垂直光束的不均勻分布可能會導(dǎo)致生成的圖像中出現(xiàn)空白，通常是整個水平行。這個問題可以通過縮小垂直分辨率或執(zhí)行插值來后驗解決。在本文的實驗中，作者采用了第二種方法。為了從全景圖像中刪除空行，首先使用二進制閾值和與圖像一樣寬的水平內(nèi)核來檢測它們。然后通過雙線性插值計算空行中每個像素的插值。下圖顯示了這個過程的結(jié)果

B.特征提取

分別實驗測試了ORB,BRISK,SURF,Superpoints等方法，具體結(jié)果見實驗部分。C.VPR作者在實驗中測試的方法是基于樹的HBST和基于詞袋的DBoW2，具體結(jié)果見實驗部分。3.實驗實驗主要有5個組合配置:FAST - ORB – HBST 、FAST - BRISK – HBST、FAST - ORB - DBoW2、Superpoint - DBoW2、FAST - SURF - DBoW2實驗數(shù)據(jù)集配置如下:

使用 FAST 作為關(guān)鍵點檢測器，Superpoint 直接為所有實驗輸出成對的關(guān)鍵點和描述符。對于每個數(shù)據(jù)集，提取了以下描述符：ORB、BRISK 作為BIN，Superpoint 和 SURF 作為浮點。針對檢索方法，使用 HBST 參數(shù) δmax = 0.1 和 Nmax = 50 來獲取BIN特征，詳細參數(shù)如下:

針對上述的五個配置，測試了F1指標(biāo)，整體方法精度均可行：

PR曲線指標(biāo)測試如下：

時間消耗如下:總體來講，在測試的方法之中，ORB與 HBST 和 DBoW2 相結(jié)合的結(jié)果最佳。Superpoint-DBoW2 組合的性能也不錯。但是浮點描述符的計算成本也相對更高。在 The Newer College 數(shù)據(jù)集上的準確度不如在 IPB Car 的自記錄數(shù)據(jù)集上獲得的準確度。因為這些數(shù)據(jù)是在校園中行走時記錄的，所以視點變化比較明顯。

Conclusion

這篇文章的話，主要是一個實驗分析的工作。首先作者提出了激光雷達強度圖像可以用于VPR的假設(shè)，然后通過目前現(xiàn)有的方法分析了將激光雷達強度圖像用于閉環(huán)的VPR的性能，實驗在四個不同的數(shù)據(jù)集上進行了測試，實驗結(jié)果表明了將激光雷達強度圖像應(yīng)用于VPR是非?？尚械摹ｋm然這篇文章沒有提出新的方法，但是這份工作對于激光雷達和視覺的融合有比較大的啟發(fā)意義，比如說激光視覺融合回環(huán)。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。

3D視覺精品課程推薦：

1.面向自動駕駛領(lǐng)域的多傳感器數(shù)據(jù)融合技術(shù)

2.面向自動駕駛領(lǐng)域的3D點云目標(biāo)檢測全棧學(xué)習(xí)路線！(單模態(tài)+多模態(tài)/數(shù)據(jù)+代碼)

3.徹底搞透視覺三維重建：原理剖析、代碼講解、及優(yōu)化改進

4.國內(nèi)首個面向工業(yè)級實戰(zhàn)的點云處理課程

5.激光-視覺-IMU-GPS融合SLAM算法梳理和代碼講解

6.徹底搞懂視覺-慣性SLAM：基于VINS-Fusion正式開課啦

7.徹底搞懂基于LOAM框架的3D激光SLAM: 源碼剖析到算法優(yōu)化

8.徹底剖析室內(nèi)、室外激光SLAM關(guān)鍵算法原理、代碼和實戰(zhàn)(cartographer+LOAM +LIO-SAM)

9.從零搭建一套結(jié)構(gòu)光3D重建系統(tǒng)[理論+源碼+實踐]

10.單目深度估計方法：算法梳理與代碼實現(xiàn)

11.自動駕駛中的深度學(xué)習(xí)模型部署實戰(zhàn)

12.相機模型與標(biāo)定(單目+雙目+魚眼）

13.重磅！四旋翼飛行器：算法與實戰(zhàn)

14.ROS2從入門到精通：理論與實戰(zhàn)

更多干貨

歡迎加入【3D視覺工坊】交流群，方向涉及3D視覺、計算機視覺、深度學(xué)習(xí)、vSLAM、激光SLAM、立體視覺、自動駕駛、點云處理、三維重建、多視圖幾何、結(jié)構(gòu)光、多傳感器融合、VR/AR、學(xué)術(shù)交流、求職交流等。工坊致力于干貨輸出，為3D領(lǐng)域貢獻自己的力量！歡迎大家一起交流成長~

添加小助手微信：dddvision，備注學(xué)校/公司+姓名+研究方向即可加入工坊一起學(xué)習(xí)進步。