散文網(wǎng) » 科技 »學(xué)習(xí) » 無人機(jī)檢測(cè)：數(shù)據(jù)集篇

無人機(jī)檢測(cè)：數(shù)據(jù)集篇

2022-05-24 09:08 作者:西湖大學(xué)空中機(jī)器人 0人讀過 | 我要投稿

基于視覺的無人機(jī)檢測(cè)方法可以分為兩種：基于深度學(xué)習(xí)和基于運(yùn)動(dòng)信息的無人機(jī)檢測(cè)方法。其中，基于深度學(xué)習(xí)的檢測(cè)方法利用了無人機(jī)的外觀信息，基于運(yùn)動(dòng)信息的檢測(cè)方法利用了幀間的差異性來檢測(cè)運(yùn)動(dòng)的無人機(jī)目標(biāo)。如何對(duì)比不同的檢測(cè)方法在精度和速度上的差異呢？由于目前在無人機(jī)檢測(cè)領(lǐng)域還沒有出現(xiàn)一個(gè)公認(rèn)的數(shù)據(jù)集便于研究者們進(jìn)行對(duì)比實(shí)驗(yàn)，因此本文將著重介紹與無人機(jī)檢測(cè)與跟蹤相關(guān)的數(shù)據(jù)集。

構(gòu)建無人機(jī)數(shù)據(jù)集存在以下幾個(gè)難點(diǎn)。1）隨著深度學(xué)習(xí)的發(fā)展，越來越多的人關(guān)注在算法的創(chuàng)新上，但是由于無人機(jī)同日常生活中隨處可見的物體不同，想要獲取其數(shù)據(jù)需要專門準(zhǔn)備不同外形的無人機(jī)進(jìn)行采集，對(duì)拍攝地點(diǎn)也有要求，這造成了無人機(jī)數(shù)據(jù)獲得的難度；2）無人機(jī)檢測(cè)以其獨(dú)特的問題逐漸成為一個(gè)研究領(lǐng)域。相較于其他目標(biāo)來說，無人機(jī)目標(biāo)存在豐富的尺度變化。遠(yuǎn)近距離的探測(cè)都十分必要，因此需要采集不同尺度下的無人機(jī)數(shù)據(jù)；3）無人機(jī)檢測(cè)可以分為地對(duì)空檢測(cè)和空對(duì)空檢測(cè)兩種，視角的轉(zhuǎn)換帶來不同的檢測(cè)難度。數(shù)據(jù)集內(nèi)是否包含各種姿態(tài)下的無人機(jī)，是影響無人機(jī)檢測(cè)的因素之一；4）背景的多樣性對(duì)于提高無人機(jī)檢測(cè)的泛化能力顯得至關(guān)重要，因此需要在不同的環(huán)境下收集數(shù)據(jù)。單一環(huán)境下采集的無人機(jī)數(shù)據(jù)會(huì)使檢測(cè)算法無法直接應(yīng)用到復(fù)雜多變的現(xiàn)實(shí)環(huán)境中去。

隨著無人機(jī)檢測(cè)與跟蹤研究的深入，出現(xiàn)了越來越多的無人機(jī)數(shù)據(jù)集。本文將根據(jù)不同無人機(jī)數(shù)據(jù)集的特點(diǎn)進(jìn)行對(duì)比和介紹。按照數(shù)據(jù)的類型可以將無人機(jī)數(shù)據(jù)集分為圖片和視頻兩種類型，分別適用于無人機(jī)檢測(cè)和跟蹤兩個(gè)任務(wù)。

基于圖片的無人機(jī)數(shù)據(jù)集主要有Real World數(shù)據(jù)集[1]、Det-Fly數(shù)據(jù)集[2]、MIDGARD數(shù)據(jù)集[3]、USC-Drone數(shù)據(jù)集[4]等，如圖1所示。這四個(gè)數(shù)據(jù)集分別包含56821、13271、8775和18778張圖片，各自的分辨率分別為640*480、3840*2160、752*480、1920*1080個(gè)像素。

相較于其他無人機(jī)數(shù)據(jù)集而言，Real World數(shù)據(jù)集包含最多類型的無人機(jī)和環(huán)境，圖片分辨率較低，因?yàn)槠渌袛?shù)據(jù)均是從Youtube視頻上獲得，而其他的數(shù)據(jù)集則是通過研究者自行采集得到。由于拍攝視角的限制，Real World數(shù)據(jù)集中大部分?jǐn)?shù)據(jù)處于平視和仰視情況下，這意識(shí)著對(duì)于俯視視角下無人機(jī)檢測(cè)的局限性。Det-Fly數(shù)據(jù)集克服了單一視角下無人機(jī)數(shù)據(jù)的缺點(diǎn)，相機(jī)直接在空中對(duì)于目標(biāo)無人機(jī)進(jìn)行采集，包含了仰視、俯視和平視下多種無人機(jī)姿態(tài)。但是數(shù)據(jù)集內(nèi)僅包含一種類型的無人機(jī)，使其模型無法用于其他類型無人機(jī)的檢測(cè)。MIDGARD數(shù)據(jù)集和USC-Drone數(shù)據(jù)集同樣也僅包含一種類型的無人機(jī)和較為豐富的環(huán)境，同樣存在拍攝視角單一的缺點(diǎn)。

基于視頻的無人機(jī)數(shù)據(jù)集主要包含Purdue數(shù)據(jù)集[5]、Flying Objects數(shù)據(jù)集[6]、Anti-UAV數(shù)據(jù)集[7]、Drone-vs-Bird數(shù)據(jù)集[8]和DroneDetection數(shù)據(jù)集[9]等，如圖2所示。

其中Purdue數(shù)據(jù)集中包含50個(gè)視頻，為固定在空中無人機(jī)上的相機(jī)在較高的飛行速度下對(duì)三架目標(biāo)無人機(jī)拍攝獲得。該數(shù)據(jù)集中無人機(jī)和環(huán)境單一，不太適合用于無人機(jī)檢測(cè)任務(wù)，更適合對(duì)于小目標(biāo)無人機(jī)跟蹤問題的研究。Flying objects數(shù)據(jù)集中包含14個(gè)視頻，其數(shù)據(jù)集內(nèi)全部為灰度圖，適合于研究如何跟蹤快速移動(dòng)的目標(biāo)。Anti-UAV數(shù)據(jù)集包含RGB數(shù)據(jù)和紅外數(shù)據(jù)，便于多模態(tài)融合跟蹤的研究。但是存在的問題是拍攝環(huán)境單一，且紅外相機(jī)和RGB相機(jī)在時(shí)間和空間上沒有對(duì)準(zhǔn)。Drone-vs-Bird數(shù)據(jù)集內(nèi)除了囊括了豐富的無人機(jī)和環(huán)境數(shù)據(jù)外，還包含了部分鳥類數(shù)據(jù)。當(dāng)無人機(jī)距離較遠(yuǎn)時(shí)，從外觀上和鳥類較為相似。因此，該數(shù)據(jù)集的出現(xiàn)可以幫助研究者進(jìn)行遠(yuǎn)距離無人機(jī)和鳥類辨別問題的研究。DroneDetection數(shù)據(jù)集包含了114個(gè)無人機(jī)視頻，但是其環(huán)境拍攝較為單一，因此更適合跟蹤問題的研究。

綜上，以上無人機(jī)數(shù)據(jù)集有著各自的優(yōu)勢(shì)和缺點(diǎn)，往往只克服了構(gòu)造無人機(jī)數(shù)據(jù)集的一到兩個(gè)難點(diǎn)，無法覆蓋到影響無人機(jī)檢測(cè)的四個(gè)關(guān)鍵因素。為了能夠便于研究者對(duì)于無人機(jī)檢測(cè)與跟蹤的問題開展更深入的研究，迫切地需要一個(gè)業(yè)界公認(rèn)的無人機(jī)數(shù)據(jù)集的出現(xiàn)，克服上述無人機(jī)數(shù)據(jù)集的缺點(diǎn)，進(jìn)而引領(lǐng)無人機(jī)檢測(cè)領(lǐng)域的發(fā)展。同時(shí)也歡迎大家繼續(xù)關(guān)注我們關(guān)于無人機(jī)數(shù)據(jù)集的工作。

參考文獻(xiàn)

[1] Pawe?czyk Maciej, et al. "Real world object detection dataset for quadcopter unmanned aerial vehicle detection."?IEEE Access?8 (2020): 174394-174409.

[2] Zheng Ye, et al. "Air-to-air visual detection of micro-uavs: An experimental evaluation of deep learning." IEEE Robotics and Automation Letters 6.2 (2021): 1020-1027.

[3] Walter Viktor, et al. "On training datasets for machine learning-based visual relative localization of micro-scale UAVs." 2020 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2020.

[4] Chen Yueru, et al. "A deep learning approach to drone monitoring." 2017 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC). IEEE, 2017.

[5] Li Jing, et al. "Multi-target detection and tracking from a single camera in Unmanned Aerial Vehicles (UAVs)." 2016 IEEE/RSJ international conference on intelligent robots and systems (IROS). IEEE, 2016.

[6] Rozantsev Artem, et al. "Detecting flying objects using a single moving camera." IEEE transactions on pattern analysis and machine intelligence 39.5 (2016): 879-892.

[7] Jiang Nan, et al. "Anti-UAV: A large multi-modal benchmark for UAV tracking." arXiv preprint arXiv:2101.08466 (2021).

[8] Coluccia Angelo, et al. "Drone vs. bird detection: Deep learning algorithms and results from a grand challenge." Sensors 21.8 (2021): 2824.

[9] Svanstr?m Fredrik, et al. "Real-time drone detection and tracking with visible, thermal and acoustic sensors." 2020 25th International Conference on Pattern Recognition (ICPR). IEEE, 2021.