神經(jīng)輻射場（Neural Radiance Fields）自2020年被提出以來，相關論文數(shù)量呈指數(shù)增長，不但成為了三維重建的重要分支方向，也逐漸作為自動駕駛重要工具活躍在研究前沿。

三維重建是一個古老的課題，發(fā)展至今已經(jīng)形成了較為成熟的管線。輸入若干2D圖像，用運動結(jié)構恢復（SfM，Structure from Motion）估計它們的相機位姿；已知相機位姿，可以用多視角幾何（MVS，Multi-View Stereo）從二維恢復三維結(jié)構；如果需要實時且同步的相機追蹤和地圖建模，那就可以使用同步定位與建圖（SLAM，Simultaneous Localization And Mapping）。這些傳統(tǒng)pipeline用嚴格的幾何約束和精確的方程運算構建起點云模型，從中生成mesh，貼上紋理，加入光追，力圖使得模型的渲染貼近真實的輸入。

• COLMAP重建效果：

而NeRF之所以能夠異軍突起，正是因為它跳過了傳統(tǒng)CV重建pipeline的特征點提取和匹配、對極幾何與三角化、PnP加Bundle Adjustment等步驟，甚至跳過mesh的重建、貼圖和光追，直接從2D輸入圖像學習一個輻射場，然后從輻射場輸出逼近真實照片的渲染圖像。也就是說，讓一個基于神經(jīng)網(wǎng)絡的隱式三維模型，去擬合指定視角下的2D圖像，并使其兼具新視角合成和能力。NeRF的照片級渲染能力為CV、CG，乃至影像界帶來了重大變革，并且隨著研究前沿的不斷推進，NeRF已經(jīng)開始展現(xiàn)其商業(yè)價值，其落地應用也如雨后春筍般涌現(xiàn)，例如基于NeRF的移動端重建應用Luma AI，能夠從用戶上傳的一段視頻中重建完整的真實的模型或者場景。

• NeRF渲染效果（來自Mip NeRF 360）：

  
  

NeRF的發(fā)展也和自動駕駛息息相關，具體體現(xiàn)在真實的場景重建和自動駕駛仿真器的應用中。NeRF擅長呈現(xiàn)照片級別的圖像渲染，因此用NeRF建模的街景能夠為自動駕駛提供高真實感的訓練數(shù)據(jù)；NeRF的地圖可以編輯，將建筑、車輛、行人組合成各種現(xiàn)實中難以捕捉的corner case，能夠用于檢驗感知、規(guī)劃、避障等算法的性能。因此，NeRF作為一個三維重建的分支方向和建模工具，掌握NeRF已經(jīng)成為了研究者們做重建或者自動駕駛方向必不可少的技能。

• Unisim中的自動駕駛場景模擬：

• 
  

如何學習？

NeRF是一個計算機視覺（CV）和計算機圖形學（CG）相交叉的研究方向，因此學習NeRF需要同時從CV和CG入手。在CV這邊，NeRF作為三維重建的一個分支方向，要求同學們熟悉三維視覺的基本概念（如相機模型、剛體位姿變換），以及必不可少的深度學習知識；在CG這邊，NeRF的體密度、渲染、輻射場等基本概念都來源于傳統(tǒng)CG渲染pipeline，也要求同學們有所涉獵。但是不必焦慮，NeRF在這些基本概念之上自成體系，無需深入研究CV和CG。因此有了基本知識儲備之后，只需研讀NeRF重要論文及其代碼，并嘗試復現(xiàn)一二，就能夠具備NeRF研究的能力了。這是一個非常重要但是又比較年輕的學科，許多小伙伴都想踏足這個領域，但是受限于入門較難，很難有效開展。為此，自動駕駛之心推出了首個Nerf論文帶讀課程，為大家梳理了11篇Nerf經(jīng)典論文，從0到1為大家闡述nerf的來龍去脈，以及在自動駕駛方向上有哪些應用！

學后收獲

1. 能夠獨立閱讀NeRF領域相關論文；

2. 對NeRF的基本原理、前沿進展、落地應用等內(nèi)容有全面的了解；

3. 理解當前NeRF各方向的缺陷以及突破點，對待解決的問題有自己的見解；

4. 對Nerf和自動駕駛的結(jié)合應用有著深刻了解；

掃碼學習

掃碼學習課程

咨詢小助理微信咨詢：AIDriver004