徹底搞透視覺(jué)三維重建:原理剖析、代碼講解、及優(yōu)化改進(jìn)
視覺(jué)三維重建 = 定位定姿 + 稠密重建 + surface reconstruction +紋理貼圖。三維重建技術(shù)是計(jì)算機(jī)視覺(jué)的重要技術(shù)之一,基于視覺(jué)的三維重建技術(shù)通過(guò)深度數(shù)據(jù)獲取、預(yù)處理、點(diǎn)云配準(zhǔn)與融合、生成物體表面等過(guò)程,把真實(shí)場(chǎng)景刻畫成符合計(jì)算機(jī)邏輯表達(dá)的數(shù)學(xué)模型。



然而,由于視覺(jué)三維重建對(duì)圖像、光學(xué)、成像理論、以及重要數(shù)學(xué)公式的的推導(dǎo)要求較高,其次,三維重建也有其應(yīng)用上的痛點(diǎn)、難點(diǎn),比如成本預(yù)算、大場(chǎng)景、物體運(yùn)動(dòng)、紋理缺失、暗環(huán)境等,因而其涉及的算法也多種多樣。鑒于視覺(jué)三維重建學(xué)習(xí)相關(guān)教材寥寥無(wú)幾,網(wǎng)上資料也比較零散,國(guó)內(nèi)外幾乎沒(méi)有系統(tǒng)講解三維重建相關(guān)的課程。
為此,3D視覺(jué)工坊推出了國(guó)內(nèi)首個(gè)《徹底搞透基于colmap的視覺(jué)三維重建:原理剖析、代碼講解、及優(yōu)化改進(jìn)》,本課程是國(guó)內(nèi)首個(gè)深入剖析colmap原理、代碼講解、并對(duì)開源代碼進(jìn)行優(yōu)化改進(jìn)的課程,由資深三維重建算法工程師主講及指導(dǎo)。
開課時(shí)間:6月5號(hào)20點(diǎn)開課,課程歷時(shí)4個(gè)月,一年內(nèi)有效。
1
課程講師
李城,資深三維重建算法工程師,擔(dān)任過(guò)知名企業(yè)的圖形圖像算法工程師,高精度地圖算法工程師。
2
課程大綱
3
適合人群
1、理工科相關(guān)專業(yè),熟悉三維重建、線性代數(shù)、概率論等相關(guān)理論知識(shí)、有一定c++、python編程基礎(chǔ);
2、已經(jīng)入門三維重建研究領(lǐng)域的本科、碩士及博士研究生;
3、希望通過(guò)此課程能夠快速實(shí)現(xiàn)三維重建算法,并能在項(xiàng)目中應(yīng)用的研究人員;
4
學(xué)后收獲
1、掌握視覺(jué)三維重建整個(gè)流程,對(duì)colmap框架能夠有較深的理解,其它開源視覺(jué)框架也能快速著手。
2、掌握colmap中的多視圖幾何算法、光束法平差算法以及內(nèi)在的實(shí)現(xiàn)技巧,為后續(xù)思考colmap框架的優(yōu)化方法鋪墊了夯實(shí)的基礎(chǔ)。
3、鍛煉舉一反三能力,將colmap中的優(yōu)秀算法融合到實(shí)際問(wèn)題中,如恢復(fù)尺度、雷達(dá)和相機(jī)的標(biāo)定等。
4、學(xué)會(huì)借鑒其它開源框架的優(yōu)點(diǎn),如openmvg、opensfm 等,將其原理融合到colmap 中。
5
還能收獲什么
1. 優(yōu)質(zhì)的學(xué)習(xí)圈子
但凡購(gòu)買本課程的學(xué)員,同時(shí)將會(huì)被贈(zèng)予高額的《3D視覺(jué)從入門到精通》知識(shí)星球優(yōu)惠券一張(100~180元優(yōu)惠券)。星球匯集了國(guó)內(nèi)外各個(gè)高校的研究生、博士生,包括但不限于清華大學(xué)、上海交通大學(xué)、華中科技大學(xué)、武漢大學(xué)、南京大學(xué)、北京理工大學(xué)、北京航空航天大學(xué);以及國(guó)外留學(xué)的小伙伴,主要就讀于南加州大學(xué)、墨爾本大學(xué)、慕尼黑工業(yè)大學(xué)、亞琛工業(yè)大學(xué)等。除此之外,還有很多一線工作的算法工程師、開發(fā)人員,包括但不限于百度、曠視、華為、奧比中光、云從、阿丘科技等。3D視覺(jué)從入門到精通知識(shí)星球是一個(gè)技術(shù)社區(qū),在這里你可以討論任何3D視覺(jué)相關(guān)的難題、前沿技術(shù)。星球邀請(qǐng)了國(guó)內(nèi)外高校博士(北航、慕尼黑工業(yè)大學(xué)等)、CV獨(dú)角獸公司CTO/CEO、以及各大廠的算法工程師解惑。在這里,你可以一對(duì)一和大佬交流,提出自己在工作學(xué)習(xí)上的疑問(wèn)。
6
課程服務(wù)
1.主講及助理全程答疑
可以在專屬微信群或者知識(shí)星球內(nèi),每天晚上8~10點(diǎn)為集中答疑時(shí)間。以下為微信群及星球內(nèi)部主講日常答疑帖子截圖。

圖1 日常分享

7
課程亮點(diǎn)
亮點(diǎn)一:算法原理結(jié)合代碼詳解,線下設(shè)置答疑群,可以面對(duì)面和講師溝通難題,更能和國(guó)內(nèi)外各大高校學(xué)員一起交流,創(chuàng)造一個(gè)優(yōu)異的學(xué)習(xí)環(huán)境。
亮點(diǎn)二:作者不僅僅只停留在講解原算法本身,會(huì)對(duì)算法處理數(shù)據(jù)存在的問(wèn)題進(jìn)行改進(jìn)。
作者改進(jìn)colmap部分成果示意:
colmap融合gps(攝影測(cè)量領(lǐng)域即是gps輔助空中三角測(cè)量)(1)無(wú)人機(jī)數(shù)據(jù) a.原生colmap跑數(shù)據(jù)結(jié)果,出現(xiàn)bending map
b.融合GPS跑數(shù)據(jù)結(jié)果

(2)車載數(shù)據(jù)
a.原生colmap跑數(shù)據(jù),發(fā)生嚴(yán)重drift
b.colmap融合gps-rtk后的效果
c.ground truth

無(wú)任何傳感器,無(wú)gps、無(wú)imu,特征點(diǎn)尺度約束的incremental sfm效果(a)原生colmap跑數(shù)據(jù)(b)特征點(diǎn)尺度約束的sfm跑數(shù)據(jù)
亮點(diǎn)三:舉一反三,會(huì)與目前主流的應(yīng)用(如自動(dòng)駕駛、VR)進(jìn)行結(jié)合
1) vslam或lslam的 prior pose 加上colmap 進(jìn)行重定位地圖的建立
2) 利用colmap 進(jìn)行激光雷達(dá)和相機(jī)的標(biāo)定
3) 利用colmap 進(jìn)行相機(jī)和GPS 的時(shí)間同步(或者說(shuō)顧忌曝光延遲的gps約束)
4) 恢復(fù)單目的絕對(duì)尺度,應(yīng)用到實(shí)際場(chǎng)景中(也可隸屬課程亮點(diǎn)2中)
i、利用先驗(yàn)的gps 恢復(fù)絕對(duì)尺度
ii、利用GCP 或者M(jìn)arker 來(lái)恢復(fù)絕對(duì)尺度
iii、利用已知的模型比例(scale)來(lái)恢復(fù)絕對(duì)尺度
亮點(diǎn)四:采用問(wèn)答方式來(lái)解析重點(diǎn)部分的代碼和算法原理

課程鏈接:
https://app0s6nfqrg6303.h5.xiaoeknow.com/v1/course/column/p_609161a1e4b071a81eb781a8?type=3