光流法理論背景

1.什么是光流

光流（optical flow）是空間運(yùn)動(dòng)物體在觀察成像平面上的像素運(yùn)動(dòng)的瞬時(shí)速度。

光流法是利用圖像序列中像素在時(shí)間域上的變化以及相鄰幀之間的相關(guān)性來找到上一幀跟當(dāng)前幀之間存在的對(duì)應(yīng)關(guān)系，從而計(jì)算出相鄰幀之間物體的運(yùn)動(dòng)信息的一種方法。

通常將二維圖像平面特定坐標(biāo)點(diǎn)上的灰度瞬時(shí)變化率定義為光流矢量。

一言以概之：所謂光流就是瞬時(shí)速率，在時(shí)間間隔很?。ū热缫曨l的連續(xù)前后兩幀之間）時(shí)，也等同于目標(biāo)點(diǎn)的位移

2.光流的物理意義

一般而言，光流是由于場(chǎng)景中前景目標(biāo)本身的移動(dòng)、相機(jī)的運(yùn)動(dòng)，或者兩者的共同運(yùn)動(dòng)所產(chǎn)生的。

當(dāng)人的眼睛觀察運(yùn)動(dòng)物體時(shí)，物體的景象在人眼的視網(wǎng)膜上形成一系列連續(xù)變化的圖像，這一系列連續(xù)變化的信息不斷“流過”視網(wǎng)膜（即圖像平面），好像一種光的“流”，故稱之為光流。光流表達(dá)了圖像的變化，由于它包含了目標(biāo)運(yùn)動(dòng)的信息，因此可被觀察者用來確定目標(biāo)的運(yùn)動(dòng)情況。

圖（1）展示的便是三維空間內(nèi)物體的運(yùn)動(dòng)在二維成像平面上的投影。得到的是一個(gè)描述位置變化的二維矢量，但在運(yùn)動(dòng)間隔極小的情況下，我們通常將其視為一個(gè)描述該點(diǎn)瞬時(shí)速度的二維矢量u=(u,v)，稱為光流矢量。

???????????????????圖（1） 三維運(yùn)動(dòng)在二維平面內(nèi)的投影

3.光流場(chǎng)

在空間中，運(yùn)動(dòng)可以用運(yùn)動(dòng)場(chǎng)描述，而在一個(gè)圖像平面上，物體的運(yùn)動(dòng)往往是通過圖像序列中不同圖像灰度分布的不同體現(xiàn)的，從而，空間中的運(yùn)動(dòng)場(chǎng)轉(zhuǎn)移到圖像上就表示為光流場(chǎng)（optical flow field）。

光流場(chǎng)是一個(gè)二維矢量場(chǎng)，它反映了圖像上每一點(diǎn)灰度的變化趨勢(shì)，可看成是帶有灰度的像素點(diǎn)在圖像平面上運(yùn)動(dòng)而產(chǎn)生的瞬時(shí)速度場(chǎng)。它包含的信息即是各像點(diǎn)的瞬時(shí)運(yùn)動(dòng)速度矢量信息。

研究光流場(chǎng)的目的就是為了從序列圖像中近似計(jì)算不能直接得到的運(yùn)動(dòng)場(chǎng)。光流場(chǎng)在理想情況下，光流場(chǎng)對(duì)應(yīng)于運(yùn)動(dòng)場(chǎng)。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖（2）三維空間的矢量場(chǎng)及其在二維平面內(nèi)的投影

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖（3）現(xiàn)實(shí)場(chǎng)景的可視化光流場(chǎng)

三言以概之：所謂光流場(chǎng)就是很多光流的集合。

? ? ? ? ? ? ? ? ? ? ?當(dāng)我們計(jì)算出了一幅圖片中每個(gè)圖像的光流，就能形成光流場(chǎng)。

? ? ? ? ? ? ? ? ? ? ?構(gòu)建光流場(chǎng)是試圖重現(xiàn)現(xiàn)實(shí)世界中的運(yùn)動(dòng)場(chǎng)，用以運(yùn)動(dòng)分析。

光流法基本原理

1.基本假設(shè)條件

（1）亮度恒定不變。即同一目標(biāo)在不同幀間運(yùn)動(dòng)時(shí)，其亮度不會(huì)發(fā)生改變。這是基本光流法的假定（所有光流法變種都必須滿足），用于得到光流法基本方程；

（2）時(shí)間連續(xù)或運(yùn)動(dòng)是“小運(yùn)動(dòng)”。即時(shí)間的變化不會(huì)引起目標(biāo)位置的劇烈變化，相鄰幀之間位移要比較小。同樣也是光流法不可或缺的假定。

2.基本約束方程

考慮一個(gè)像素I(x,y,t)在第一幀的光強(qiáng)度（其中t代表其所在的時(shí)間維度）。它移動(dòng)了?(dx,dy)的距離到下一幀，用了dt時(shí)間。因?yàn)槭峭粋€(gè)像素點(diǎn)，依據(jù)上文提到的第一個(gè)假設(shè)我們認(rèn)為該像素在運(yùn)動(dòng)前后的光強(qiáng)度是不變的，即：

將(1)式右端進(jìn)行泰勒展開，得：

其中ε代表二階無窮小項(xiàng)，可忽略不計(jì)。再將(2)代人(1)后同除dt，可得：

?????? 設(shè)u,v分別為光流分別為沿X軸與Y軸的速度矢量，得：

?????? 令

分別表示圖像中像素點(diǎn)的灰度沿X,Y,T方向的偏導(dǎo)數(shù)。

??? 綜上，式(3)可以寫為：

?????? 其中，Ix,Iy,It均可由圖像數(shù)據(jù)求得，而(u,v)即為所求光流矢量。

?????? 約束方程只有一個(gè)，而方程的未知量有兩個(gè)，這種情況下無法求得u和v的確切值。此時(shí)需要引入另外的約束條件，從不同的角度引入約束條件，導(dǎo)致了不同光流場(chǎng)計(jì)算方法。按照理論基礎(chǔ)與數(shù)學(xué)方法的區(qū)別把它們分成四種：基于梯度（微分）的方法、基于匹配的方法、基于能量（頻率）的方法、基于相位的方法和神經(jīng)動(dòng)力學(xué)方法。

3.幾種光流估計(jì)算法的簡(jiǎn)介

1）?基于梯度的方法

基于梯度的方法又稱為微分法，它是利用時(shí)變圖像灰度（或其濾波形式）的時(shí)空微分（即時(shí)空梯度函數(shù)）來計(jì)算像素的速度矢量。

由于計(jì)算簡(jiǎn)單和較好的結(jié)果，該方法得到了廣泛應(yīng)用和研究。典型的代表是Horn-Schunck算法與Lucas-Kanade(LK)算法。

Horn-Schunck算法在光流基本約束方程的基礎(chǔ)上附加了全局平滑假設(shè)，假設(shè)在整個(gè)圖像上光流的變化是光滑的，即物體運(yùn)動(dòng)矢量是平滑的或只是緩慢變化的。

基于此思想，大量的改進(jìn)算法不斷提出。Nagel采用有條件的平滑約束，即通過加權(quán)矩陣的控制對(duì)梯度進(jìn)行不同平滑處理；Black和Anandan針對(duì)多運(yùn)動(dòng)的估計(jì)問題，提出了分段平滑的方法。

2)?基于匹配的方法

基于匹配的光流計(jì)算方法包括基于特征和區(qū)域的兩種。

基于特征的方法不斷地對(duì)目標(biāo)主要特征進(jìn)行定位和跟蹤，對(duì)目標(biāo)大的運(yùn)動(dòng)和亮度變化具有魯棒性。存在的問題是光流通常很稀疏，而且特征提取和精確匹配也十分困難。

基于區(qū)域的方法先對(duì)類似的區(qū)域進(jìn)行定位，然后通過相似區(qū)域的位移計(jì)算光流。這種方法在視頻編碼中得到了廣泛的應(yīng)用。然而，它計(jì)算的光流仍不稠密。另外，這兩種方法估計(jì)亞像素精度的光流也有困難，計(jì)算量很大。

3)基于能量的方法

基于能量的方法又稱為基于頻率的方法，在使用該類方法的過程中，要獲得均勻流場(chǎng)的準(zhǔn)確的速度估計(jì)，就必須對(duì)輸入的圖像進(jìn)行時(shí)空濾波處理，即對(duì)時(shí)間和空間的整合，但是這樣會(huì)降低光流的時(shí)間和空間分辨率?；陬l率的方法往往會(huì)涉及大量的計(jì)算，另外，要進(jìn)行可靠性評(píng)價(jià)也比較困難。

4)基于相位的方法

基于相位的方法是由Fleet和Jepson提出的，F(xiàn)leet和Jepson最先提出將相位信息用于光流計(jì)算的思想。當(dāng)我們計(jì)算光流的時(shí)候，相比亮度信息，圖像的相位信息更加可靠，所以利用相位信息獲得的光流場(chǎng)具有更好的魯棒性?；谙辔坏墓饬魉惴ǖ膬?yōu)點(diǎn)是：對(duì)圖像序列的適用范圍較寬，而且速度估計(jì)比較精確，但也存在著一些問題：第一，基于相位的模型有一定的合理性，但是有較高的時(shí)間復(fù)雜性；第二，基于相位的方法通過兩幀圖像就可以計(jì)算出光流，但如果要提高估計(jì)精度，就需要花費(fèi)一定的時(shí)間；第三，基于相位的光流計(jì)算法對(duì)圖像序列的時(shí)間混疊是比較敏感的。

5）神經(jīng)動(dòng)力學(xué)方法

神經(jīng)動(dòng)力學(xué)方法是利用神經(jīng)網(wǎng)絡(luò)建立的視覺運(yùn)動(dòng)感知的神經(jīng)動(dòng)力學(xué)模型，它是對(duì)生物視覺系統(tǒng)功能與結(jié)構(gòu)比較直接的模擬。

盡管光流計(jì)算的神經(jīng)動(dòng)力學(xué)方法還很不成熟，然而對(duì)它的研究卻具有極其深遠(yuǎn)的意義。隨著生物視覺研究的不斷深入，神經(jīng)方法無疑會(huì)不斷完善，也許光流計(jì)算乃至計(jì)算機(jī)視覺的根本出路就在于神經(jīng)機(jī)制的引入。神經(jīng)網(wǎng)絡(luò)方法是光流技術(shù)的一個(gè)發(fā)展方向。

3.稠密光流與稀疏光流

除了根據(jù)原理的不同來區(qū)分光流法外，還可以根據(jù)所形成的光流場(chǎng)中二維矢量的疏密程度將光流法分為稠密光流與稀疏光流兩種。

1. 
   

2. 稠密光流

稠密光流是一種針對(duì)圖像或指定的某一片區(qū)域進(jìn)行逐點(diǎn)匹配的圖像配準(zhǔn)方法，它計(jì)算圖像上所有的點(diǎn)的偏移量，從而形成一個(gè)稠密的光流場(chǎng)。通過這個(gè)稠密的光流場(chǎng)，可以進(jìn)行像素級(jí)別的圖像配準(zhǔn)。

Horn-Schunck算法以及基于區(qū)域匹配的大多數(shù)光流法都屬于稠密光流的范疇。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖(4) 基于區(qū)域匹配方法生成稠密光流場(chǎng)圖例

???? 由于光流矢量稠密，所以其配準(zhǔn)后的效果也明顯優(yōu)于稀疏光流配準(zhǔn)的效果。但是其副作用也是明顯的，由于要計(jì)算每個(gè)點(diǎn)的偏移量，其計(jì)算量也明顯較大，時(shí)效性較差。

1. 
   

2. 稀疏光流

與稠密光流相反，稀疏光流并不對(duì)圖像的每個(gè)像素點(diǎn)進(jìn)行逐點(diǎn)計(jì)算。它通常需要指定一組點(diǎn)進(jìn)行跟蹤，這組點(diǎn)最好具有某種明顯的特性，例如Harris角點(diǎn)等，那么跟蹤就會(huì)相對(duì)穩(wěn)定和可靠。稀疏跟蹤的計(jì)算開銷比稠密跟蹤小得多。

上文提到的基于特征的匹配方法是典型的屬于稀疏光流的算法。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖(5) 基于特征匹配方法生成稀疏光流場(chǎng)圖例

Lucas-Kanade(LK)光流法

LK光流法于1981年提出，最初是用于求稠密光流的，由于算法易于應(yīng)用在輸入圖像的一組點(diǎn)上，而成為求稀疏光流的一種重要方法。

LK光流法在原先的光流法兩個(gè)基本假設(shè)的基礎(chǔ)上，增加了一個(gè)“空間一致”的假設(shè)，即所有的相鄰像素有相似的行動(dòng)。也即在目標(biāo)像素周圍m×m的區(qū)域內(nèi)，每個(gè)像素均擁有相同的光流矢量。以此假設(shè)解決式?

?無法求解的問題。

1. 
   

2. LK光流法約束方程

在一個(gè)小鄰域內(nèi)，LK光流法通過對(duì)下式的加權(quán)平方和最小化來估計(jì)光流矢量

上式中

是一個(gè)窗口權(quán)重函數(shù)，該函數(shù)使得鄰域中心的加權(quán)比周圍的大。對(duì)于Ω內(nèi)的n個(gè)點(diǎn)X1?Xn，設(shè)

????????????? ?

????

故上面方程的解可由最小二乘法得到：

最后得：

通過結(jié)合幾個(gè)鄰近像素點(diǎn)的信息，LK光流法通常能夠消除光流方程里的多義性。而且，與逐點(diǎn)計(jì)算的方法相比，LK方法對(duì)圖像噪聲不敏感。

1. 
   

2. 金字塔LK光流法

LK算法的約束條件即：小速度，亮度不變以及區(qū)域一致性都是較強(qiáng)的假設(shè)，并不很容易得到滿足。如當(dāng)物體運(yùn)動(dòng)速度較快時(shí)，假設(shè)不成立，那么后續(xù)的假設(shè)就會(huì)有較大的偏差，使得最終求出的光流值有較大的誤差。圖像金字塔可以解決這個(gè)問題。

考慮物體的運(yùn)動(dòng)速度較大時(shí)，算法會(huì)出現(xiàn)較大的誤差。那么就希望能減少圖像中物體的運(yùn)動(dòng)速度。一個(gè)直觀的方法就是，縮小圖像的尺寸。假設(shè)當(dāng)圖像為400×400時(shí)，物體速度為[16 16],那么圖像縮小為200×200時(shí)，速度變?yōu)閇8,8]。縮小為100*100時(shí)，速度減少到[4,4]。所以在源圖像縮放了很多以后，原算法又變得適用了。所以光流可以通過生成 原圖像的金字塔圖像，逐層求解，不斷精確來求得。簡(jiǎn)單來說上層金字塔（低分辨率）中的一個(gè)像素可以代表下層的四個(gè)。

一段以補(bǔ)充：我靈魂畫手在畫下圖時(shí)表達(dá)稍微不恰當(dāng)Σ(っ°Д°;)っ，黑色方塊實(shí)際上應(yīng)該為方框。表示的是所選區(qū)域的大小在金字塔各層中的不變，而并不代表該區(qū)域內(nèi)像素點(diǎn)保持怎樣的狀態(tài)或是有什么聯(lián)系。沒有！在圖像縮放過程中每個(gè)區(qū)域的像素灰度值情況都會(huì)在變化。只是說我們基于LK算法假設(shè)的“空間一致”讓“一片區(qū)域具有相同的運(yùn)動(dòng)狀態(tài)”。這個(gè)所謂的區(qū)域并不是指某一個(gè)有相同特征的像素集合，僅僅只是一個(gè)框，一個(gè)范圍的概念，一個(gè)大小的概念而已。

?

一段以解釋：黑色方塊代表兩個(gè)連續(xù)的幀內(nèi)同一目標(biāo)的不同位置。為了觀察方便我才將其放在一張圖里。

面對(duì)“大運(yùn)動(dòng)”時(shí)我光流法的局限是什么？顯然是運(yùn)動(dòng)距離大原算法不適用。（hhh）那么其實(shí)只要通過圖片尺寸的不斷縮小，而且目標(biāo)選框大小保持不變，讓運(yùn)動(dòng)前后兩個(gè)物體的位置看上去“不斷靠近”，直到變成小運(yùn)動(dòng)就可以使用光流法了。讀者可能會(huì)存在很多疑問：1.為什么圖片整體尺寸縮減時(shí)假定的目標(biāo)其“尺寸”可以保持不變？2.只在分辨率很小的尺度內(nèi)計(jì)算光流，有什么用？能替代真實(shí)的光流矢量的值嗎？

我先粗略解釋一下，然后下文會(huì)展示詳細(xì)的算法過程，讓讀者能有更深刻的認(rèn)識(shí)。

1.不論是在什么尺寸（尺度，縮小圖片其實(shí)是模擬觀察者的遠(yuǎn)近）的情況下，我們都堅(jiān)持LK光流法的假設(shè)，即“空間一致”，不管我們看到圖像是1000X1000還是10X10，我們都認(rèn)為一個(gè)像素和它周圍的一片區(qū)域內(nèi)的若干個(gè)像素具有相同的速度。這是你使用LK光流法就必須承認(rèn)的一個(gè)假設(shè)。這一片區(qū)域大小不一定是50x50，但始終是存在且不隨客觀情況改變只由你自己的判斷而確定。

2.在低尺度下只計(jì)算一次當(dāng)然不準(zhǔn)，為什么？你把圖片弄得很模糊又很小，丟失了很多信息，還想檢測(cè)準(zhǔn)確？但是在低尺度下的光流矢量的測(cè)量能給我們一個(gè)指示，就像是低尺度下它綜觀全局，告訴你“運(yùn)動(dòng)大概是5點(diǎn)鐘方向，大小大概是【32,57】”之類的信息。這條信息夠粗糙，但是大體上是有用的。它使得你在進(jìn)入金字塔的下一層時(shí)有一個(gè)大概的頭緒，你由此指示可以在下一層金字塔再一次順利“靠近”真實(shí)目標(biāo)，強(qiáng)行符合“小運(yùn)動(dòng)”。這里可能說得很抽象，大家細(xì)細(xì)看下面的具體算法再回來看這一段或許會(huì)有所啟示。

（下面這一部分具體參照CSDN博客：https://blog.csdn.net/sgfmby1994/article/details/68489944?，寫得非常棒，受益匪淺）

1)算法步驟簡(jiǎn)介

a.首先，對(duì)每一幀建立一個(gè)高斯金字塔，最低分辨率圖像在最頂層,原始圖片在底層。

b.計(jì)算光流。從頂層(Lm層)開始，通過最小化每個(gè)點(diǎn)的鄰域范圍內(nèi)的匹配誤差和，得到頂層圖像中每個(gè)點(diǎn)的光流。

假設(shè)圖像的尺寸每次縮放為原來的一半，共縮放了Lm層，則第0層為原圖像。設(shè)已知原圖的位移為d，則每層的位移為:

c.頂層的光流計(jì)算結(jié)果(位移情況)反饋到第Lm-1層，作為該層初始時(shí)的光流值的估計(jì)g。

d.這樣沿著金字塔向下反饋，重復(fù)估計(jì)動(dòng)作，直到到達(dá)金字塔的底層(即原圖像)。

?(準(zhǔn)確值=估計(jì)值+殘差) “殘差”即本算法的關(guān)鍵對(duì)于每一層L，每個(gè)點(diǎn)的光流的計(jì)算都是基于鄰域內(nèi)所有點(diǎn)的匹配誤差和最小化。

為了更好地理解金字塔LK光流法，下圖簡(jiǎn)單展示了算法的實(shí)現(xiàn)過程：

一段以解釋：低尺度下找到光流矢量d0，將其扔到下一層去指引我們前行。扔下去后首先要放大兩倍，此時(shí)你開始抱怨：“上一層找到的d0根本不靠譜，差距好大”（圖2中藍(lán)方塊與右下角黑色方塊的差距）但是你也要慶幸，正是“不靠譜”的d0讓你到達(dá)了藍(lán)色方塊的位置，讓你離真實(shí)區(qū)域前進(jìn)了很多，否則你還在左上角苦于“小運(yùn)動(dòng)”寸步難行呢。在藍(lán)色位置你就滿足“小運(yùn)動(dòng)”了，繼續(xù)計(jì)算光流，得到d1，然后把（2d0+d1）扔到下一層指導(dǎo)我們繼續(xù)前行，如此往復(fù)。

2)一些實(shí)現(xiàn)細(xì)節(jié)

????金字塔的構(gòu)建

1. 
   

2. 利用低通濾波器平滑圖像

1. 
   

2. 對(duì)平滑圖像進(jìn)行間隔采樣，生成金字塔圖像，每一層圖像的高度與寬度均是下一層的二分之一。

金字塔跟蹤

首先，從頂層開始計(jì)算金字塔最頂層圖像上的光流。然后，根據(jù)最頂層(Lm-1) 光流的計(jì)算結(jié)果估計(jì)次頂層光流的初始值，再計(jì)算次頂層圖像上光流的精確值。最后，根據(jù)次上層光流的計(jì)算結(jié)果估計(jì)下一層(Lm-2) 光流的初始值，計(jì)算其精確值后再反饋到下一 層，直至計(jì)算出最底層 的原始圖像的光流。

1. 
   

2. 初始化頂層圖像光流矢量估計(jì)值為0.

1. 
   

2. 鄰域內(nèi)所有像素點(diǎn)的匹配誤差和記為：

1. 
   

2. 對(duì)其進(jìn)行求導(dǎo)，得：

1. 
   

2. 對(duì)B(x+vx,y+vy)進(jìn)行泰勒展開：

1. 
   

2. 導(dǎo)數(shù)公式可轉(zhuǎn)化為：?

1. 
   

2. 帶入

1. 得：

定義：

有

1. 
   

2. 最終得光流矢量最優(yōu)解為：

觀察G與b的組成，可知δI其實(shí)是兩幀同層圖像灰度之間的差值。而Ix,Iy分別是圖像在該點(diǎn)處梯度的x方向分量與y方向分量。

根據(jù)δI與Ix,Iy求得空間梯度 矩陣G和b。以此得到Lm層圖像的最佳光流dLm。

解釋一下：前面說得好像很輕松，什么“然后就計(jì)算一下光流矢量”。但是具體要怎么做呢？我這里只粗略講講思路，具體結(jié)合上面的公式再來看或許才能有所感悟。

很簡(jiǎn)單，我不是知道前一幀目標(biāo)的具體位置(x,y)嗎？我還給它畫了個(gè)假定范圍內(nèi)速度一致對(duì)吧？好，現(xiàn)在我來個(gè)遍歷，我讓光流矢量（速度）取[-100,100]到[100,100]一個(gè)一個(gè)代（比如取[10,10]），然后到后一幀里讓原來的目標(biāo)x,y加上[10,10]，看看得到的這一個(gè)點(diǎn)（x+10,y+10）和上一幀的(x,y)點(diǎn)的灰度值差多少（別忘了我們最基礎(chǔ)的假設(shè)一：同一目標(biāo)運(yùn)動(dòng)過程中灰度值（光強(qiáng)）大小保持恒定，灰度值差當(dāng)然越小我們就越認(rèn)為找的沒錯(cuò)啦），范圍w內(nèi)的其他像素點(diǎn)小伙伴們也一樣加上[10,10]進(jìn)行比較，看看誤差有多大。如果覺得[10,10]誤差太大了接受不了，就取[11,10]看看。直到取到一個(gè)（例如[73,29]）使得誤差最小，那么我們就說[73,29]是（x,y）點(diǎn)的光流矢量了。

這種遍歷看上去是不是好low？的確如此。所以我們用的并不是這個(gè)方法。Σ(っ°Д°;)っΣ(っ°Д°;)っΣ(っ°Д°;)っ

上文中 的

其實(shí)就像是這樣的一個(gè)函數(shù)：自變量是速度矢量，函數(shù)值是誤差的大小。我們要求在什么速度矢量的輸入下得到的誤差最小，直接求導(dǎo)嘛?。。。。【筒挥靡粋€(gè)一個(gè)v傻傻代入了呀。求導(dǎo)讓導(dǎo)函數(shù)等于零，此時(shí)的v正是所求的光流矢量。此方法與上一段的“傻方法”效果一樣，但是計(jì)算十分簡(jiǎn)便了。思路就是這么個(gè)思路，具體一些細(xì)節(jié)還是看上面。

迭代過程

將上層圖像得到的光流矢量累加值傳遞到下一層做為初始值，即：

??? 可以看出，最終光流值就是所有層光流矢量的疊加。

最后我們可以總結(jié)一下使用金字塔圖像計(jì)算光流的好處，它對(duì)于每一次光流的都會(huì)保持很小，但是最終計(jì)算出來的光流可以進(jìn)行放大然后累計(jì)。所以利用相對(duì)較小的鄰域窗口就可以處理較大的像素運(yùn)動(dòng)。

?