01 前言

雙目相機(jī)標(biāo)定，從廣義上講，其實(shí)它包含兩個(gè)部分內(nèi)容：

• 兩臺(tái)相機(jī)各自誤差的標(biāo)定（單目標(biāo)定）

• 兩臺(tái)相機(jī)之間相互位置的標(biāo)定（狹義，雙目標(biāo)定）

在這里我們所說的雙目標(biāo)定是狹義的，講解理論的時(shí)候僅指兩臺(tái)相機(jī)之間相互位置的標(biāo)定，在代碼實(shí)踐的時(shí)候，我們才說完整的雙目標(biāo)定。

注1：文末附【相機(jī)標(biāo)定】交流群

注2：整理不易，請點(diǎn)贊支持！

作者：曹博 | 來源：3D視覺工坊微信公眾號(hào)

首先來思考一個(gè)問題：為什么要進(jìn)行雙目標(biāo)定？

這是因?yàn)樵谠S多三維重建算法中，我們都要知道兩臺(tái)相機(jī)之間的相對位置關(guān)系，這樣才能進(jìn)行距離計(jì)算。

雙目標(biāo)定前后，雙目模型對比如下圖所示：

圖1 標(biāo)定模型 [1]

其中：

• 基線：兩個(gè)光心的連線稱為基線；

• 極平面：物點(diǎn)（空間點(diǎn)M）與兩個(gè)光心的連線構(gòu)成的平面稱為極平面；

• 極線：極平面與成像平面的交線

• 極點(diǎn)：極線的一端，基線與像平面的交點(diǎn)

• 像點(diǎn)：極線的一端，光心與物點(diǎn)連線與像平面的交點(diǎn)；

可以看出：

• 校正前，相機(jī)的光心不是相互平行的

• 校正后，極點(diǎn)在無窮遠(yuǎn)處，兩個(gè)相機(jī)的光軸平行，像點(diǎn)在左右圖像上的高度一致

標(biāo)定+校正后圖片：

圖1 立體校正后左右相機(jī)圖像發(fā)生一定扭曲 [2]

這樣的好處是：比如后續(xù)的立體匹配時(shí)，只需在同一行上搜索左右像平面的匹配點(diǎn)即可，能使效率大大提高。

注：可以看出來，最重要的，我們要知道右相機(jī)相對于左相機(jī)的位姿關(guān)系，那我們才可以做校正！

02 單目理論回顧

先來回顧下單目標(biāo)定理論，理想的單目相機(jī)模型可以簡化為（圖片來自于[1]）：

而四大坐標(biāo)系，包括世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系、像素坐標(biāo)系，它們之間的轉(zhuǎn)換關(guān)系如下：

最終，從理想的相機(jī)模型，從世界坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換關(guān)系：

但由于制造原因，使得成像過程（從相機(jī)坐標(biāo)系到圖像坐標(biāo)系轉(zhuǎn)換過程中）存在著畸變，主要有兩類，徑向畸變和切向畸變，它們可以通過以下公式進(jìn)行修正：

03 雙目標(biāo)定公式推導(dǎo)

圖3 標(biāo)定模型 [2]

記：

另外，右相機(jī)主點(diǎn)相對于左相機(jī)主點(diǎn)，顯然還有：

代入上式，因?yàn)榕臄z了多張圖片，利用最小二乘法，也可以是奇異值分解（數(shù)學(xué)的部分比較復(fù)雜，在這里忽略），總而言之，最小化誤差，即可得到我們最佳估計(jì)的 矩陣，有了這兩個(gè)矩陣，我們做個(gè)旋轉(zhuǎn)、平移就可以了。

注：雖然得到了旋轉(zhuǎn)、平移矩陣，也但是極線校正的方法有很多，這個(gè)我們之后講。

04 極線校正理論推導(dǎo)

雙目標(biāo)定后，我們得到了右相機(jī)相對于左相機(jī)的位姿關(guān)系，也就是R、T矩陣，下面一步即做極線校正。校正好處是之后做立體匹配搜索的時(shí)候，只需要在同高度附近進(jìn)行搜索，大幅提升效率。根據(jù)前文的推導(dǎo)，在獲取了R、T矩陣后，我們就要進(jìn)行極線校正（立體校正），使兩部相機(jī)光軸平行，如下所示：

但是平行的方法有很多，可以：

• 左相機(jī)不動(dòng)，右相機(jī)動(dòng)。

• 也可以兩部相機(jī)旋轉(zhuǎn)到中間等等。

最常見的校正方法就是Bouguet極線校正方法。

Bouguet極線校正方法：左右相機(jī)成像平面各旋轉(zhuǎn)一半，使得左右圖像重投影造成的誤差最小，左右視圖的共同面積最大。

具體步驟（這塊理論推導(dǎo)可以去看論文，這里只給出結(jié)論，看不懂沒關(guān)系，不妨礙我們使用它）：

得到這兩個(gè)變換矩陣，左、右相機(jī)分別乘以這兩個(gè)矩陣即可完成變換，其中已經(jīng)包含了平移信息！

再計(jì)算重投影矩陣，其實(shí)現(xiàn)了像素坐標(biāo)系（左相機(jī)）到世界坐標(biāo)系之間的轉(zhuǎn)換：

校正后，可以根據(jù)需要對圖像進(jìn)行裁剪，需重新選擇一個(gè)圖像中心，和圖像邊緣從而讓左、右疊加部分最大。

05 參考文獻(xiàn)

1.opencv雙目視覺標(biāo)定，激光結(jié)構(gòu)光提取，指定特征點(diǎn)獲取世界坐標(biāo)：https://blog.csdn.net/slzx5511/article/details/103844719

2.[立體視覺] 雙目立體標(biāo)定與立體校正：https://blog.csdn.net/u011574296/article/details/73826420

3.工業(yè)相機(jī)雙目標(biāo)定：https://zhuanlan.zhihu.com/p/63618986

4.本質(zhì)矩陣和基礎(chǔ)矩陣區(qū)別是什么?:https://www.zhihu.com/question/27581884

備注：作者也是我們「3D視覺從入門到精通」特邀嘉賓：一個(gè)超干貨的3D視覺學(xué)習(xí)社區(qū)

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。

3D視覺工坊-相機(jī)標(biāo)定交流群

已建立3D視覺工坊-相機(jī)標(biāo)定微信交流群！想要進(jìn)相機(jī)標(biāo)定學(xué)習(xí)交流群的同學(xué)，可以直接加微信號(hào)：CV_LAB。加的時(shí)候備注一下：相機(jī)標(biāo)定+學(xué)校+昵稱，即可。然后就可以拉你進(jìn)群了。