相信關注我們的小伙伴們對無人機探測已經(jīng)不陌生了，前面幾期的文章介紹了一些常用的無人機探測方法和基于深度學習的無人機檢測算法。我們的研究結果表明，基于視覺外觀信息，即便是目前性能最好的一些深度學習算法也很難解決極端情況下的無人機檢測這個難題。那么我們有沒有其他方法來改善這個問題呢？

基于視覺外觀信息的無人機檢測面臨的問題

基于視覺外觀信息的無人機檢測主要不足在于以下幾個方面。1）極端天氣情況下的檢測能力不足。光學相機能夠很準確的識別無人機的外觀特征，但是在雨、雪、霧、夜等天氣情況下就無能為力了。2）對于小目標無人機的探測能力不足。無人機通常重量輕體積小，遠距離時無人機在圖像中的成像尺寸很小?，F(xiàn)有的圖像目標檢測網(wǎng)絡很難處理這種極小尺寸的目標，尤其是在背景比較復雜的時候。3）對于快速運動無人機的探測能力不足。當無人機快速運動時，目標在圖像中會產(chǎn)生運動模糊，導致基于目標外觀特征的深度學習方法很難識別目標。4）復雜背景下的無人機探測能力不足。當無人機位于樹林、城市建筑等復雜背景時，無人機與背景的對比度下降，僅依靠外觀信息很難發(fā)現(xiàn)目標。

綜上，我們知道只依靠外觀特征檢測無人機在現(xiàn)實場景中依然會面臨很多困難。不過，除了外觀特征外，無人機區(qū)別于其他物體的另一個重要特征是運動模式。大多數(shù)情況下，無人機會在三維空間中運動，這種特殊的運動模式是無人機區(qū)別于其他物體的重要線索。

基于運動信息的無人機探測

當無人機距離較遠或者背景太復雜時，僅僅依靠單張圖片人眼都很難識別出無人機。但是通過對比連續(xù)多幀圖片，無人機的突然運動就很容易被識別出來。現(xiàn)有的基于運動信息的無人機檢測可以分為基于靜止相機的無人機檢測和基于運動相機的無人機檢測。

基于靜止相機的無人機檢測一般包括運動區(qū)域檢測和目標分類兩個步驟。[1, 2]通過靜止相機對空中進行觀測，先使用背景消減和形態(tài)學操作得到運動目標區(qū)域，然后使用 CNN網(wǎng)絡對目標進行分類的方法來檢測無人機。

與靜止相機相比，更具挑戰(zhàn)的是在運動相機中檢測無人機，因為相機可能面臨大幅度和突然的運動，目標無人機的形狀和視角也會有更多變化。Jing[3, 4]等人提出了一個空對空無人機檢測數(shù)據(jù)集，先使用光流和透視變換對相機運動進行估計，然后利用背景消減得到運動目標，接下來使用深度神經(jīng)網(wǎng)絡訓練混合運動特征和外觀特征的分類器，得到候選無人機目標。最后為了剔除候選無人機中的假陽性目標和減少漏檢情況，作者使用了候選目標的時序運動特征和卡爾曼濾波跟蹤。

類似的，Rozantsev[5]引入了一個更具挑戰(zhàn)性的無人機和固定翼飛機數(shù)據(jù)集，作者先使用多尺度滑窗方法獲得時空圖片序列, 然后利用CNN回歸器獲得以目標為中心的穩(wěn)像時空圖片序列，最后使用CNN網(wǎng)絡在每個時空序列上進行分類來檢測無人機。更進一步，Ashraf[6]提出使用一種兩階段基于分割的方法來提取無人機的時空注意力信息。第一階段，基于相互重疊的圖片序列，作者使用金字塔池化在卷積特征圖上獲得詳細的上下文信息，并引入注意力機制來優(yōu)化目標位置。第二階段，作者使用運動邊界、目標跟蹤、時空特征提取等方法確認檢測結果和消除誤檢測。

上述方法在“空對空”無人機檢測上取得了不錯的效果，但存在計算量過大，難以實時運行等問題。此外，除了通過對圖片序列或視頻流進行復雜的處理來識別運動無人機，基于事件相機等新型傳感器的運動目標檢測也越來越流行[7]。這些新型傳感器能夠直接識別運動目標，也為我們的研究帶來了很多新的思路。我們團隊會在這些研究的基礎上，繼續(xù)推進相關領域的研究，以期未來能夠在機載移動端實現(xiàn)更加魯棒的無人機檢測。

參考文獻

[1] A. Schumann, L. Sommer, J. Klatte, T. Schuchert, and J. Beyerer, “Deepcross-domain flying object classification for robust uav detection,” in 2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS), 2017.

[2] U. Seidaliyeva, D. Akhmetov, L. Ilipbayeva, and E. T. Matson, “Real-time and accurate drone detection in a video with a static background,” Sensors, vol. 20, no. 14, p. 3856, 2020.

[3] Jing Li, Dong Hye Ye, Timothy Chung, Mathias Kolsch, Juan Wachs, and Charles A. Bouman, “Fast and Robust UAV to UAV Detection and Tracking from Video,” to appear in IEEE Transactions on Emerging Topics in Computing.

[4] Jing Li, Dong Hye Ye, Timothy Chung, Mathias Kolsch, Juan Wachs, Charles Bouman, “Multi-target detection and tracking from a single camera in Unmanned Aerial Vehicles (UAVs).” Intelligent Robots and Systems (IROS), 2016.

[5] A. Rozantsev, V. Lepetit, and P. V. Fua, “Detecting flying objects using a single moving camera,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, pp. 879–892, 2017.

[6] M.W.Ashraf, W.Sultani, and M.Shah, “Dogfight: Detecting drones from drones videos,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 7067–7076, 2021.

[7] Sanket, N.J., Singh, C.D., Parameshwara, C., Fermuller, C., Croon, G.D., & Aloimonos, Y. (2021). “EVPropNet: Detecting Drones By Finding Propellers For Mid-Air Landing And Following.” ArXiv, abs/2106.15045.

本文由西湖大學智能無人系統(tǒng)實驗室博士生郭漢青原創(chuàng)，

申請文章授權請聯(lián)系后臺相關運營人員。

▌微信公眾號：空中機器人前沿

▌知乎：空中機器人前沿（本文鏈接：https://zhuanlan.zhihu.com/p/469212045）

▌Youtube：Aerial robotics @ Westlake University

▌實驗室網(wǎng)站：https://shiyuzhao.westlake.edu.cn/? ??