RCNN發(fā)展過(guò)程

RCNN->Fast RCNN->Faster RCNN

RCNN算法流程

1、候選區(qū)域生成

2、對(duì)每個(gè)候選框提特征

這里CNN是圖像分類(lèi)網(wǎng)絡(luò)

3、特征向量分別輸入到每一類(lèi)SVM分類(lèi)器，判定類(lèi)別

2000個(gè)先驗(yàn)框，4096個(gè)特征，20個(gè)SVM分類(lèi)器相當(dāng)于對(duì)20個(gè)類(lèi)別進(jìn)行判斷

下圖方便理解

IOU的概念

2000x20的每一列對(duì)應(yīng)的是同一個(gè)類(lèi)別的概率，對(duì)每一列分別進(jìn)行非極大值抑制，剔除很多重疊建議框，保留一些gaoz

4、回歸器修正候選框位置

SS算法得到的候選框位置不準(zhǔn)確，需要回歸器修正候選框的位置

RCNN算法四個(gè)步驟

過(guò)于繁瑣，F(xiàn)ast RCNN和Faster RCNN會(huì)對(duì)模塊一步步融合，生成一個(gè)端對(duì)端的完整網(wǎng)絡(luò)

Fast RCNN三個(gè)步驟

第二步

RCNN：對(duì)每個(gè)候選區(qū)域分別送入網(wǎng)絡(luò)得到特征向量

Fast RCNN：將整幅圖像輸入到CNN網(wǎng)絡(luò)得到特征圖，再通過(guò)SS算法在原圖生成的候選區(qū)域直接映射到特征圖

RCNN和Fast RCNN中得到特征的方式區(qū)別

數(shù)據(jù)采樣問(wèn)題：訓(xùn)練過(guò)程中，F(xiàn)ast RCNN并不是使用SS算法提供的所有2000個(gè)候選區(qū)域，只要使用其中一小部分即可。采樣數(shù)據(jù)分為正樣本和負(fù)樣本，正樣本是候選框中確實(shí)存在所需檢測(cè)目標(biāo)的樣本，負(fù)樣本簡(jiǎn)單理解為背景

為嘛要分正樣本、負(fù)樣本？

貓狗分類(lèi)器

原論文中從2000個(gè)候選框中采集64個(gè)候選區(qū)域，64個(gè)候選區(qū)域一部分是正樣本，一部分是負(fù)樣本

如何定義正樣本？iou>0.5

用ROI pooling將候選框縮放到統(tǒng)一的尺寸

ROI pooling操作：將特征矩陣劃分為7x7=49等分，對(duì)每一個(gè)區(qū)域執(zhí)行最大池化下采樣

Fast RCNN的網(wǎng)絡(luò)框架

在ROI feature vector的基礎(chǔ)上并聯(lián)兩個(gè)FC

其中一個(gè)FC用于目標(biāo)概率預(yù)測(cè)，另一個(gè)FC用來(lái)目標(biāo)框回歸參數(shù)的預(yù)測(cè)

目標(biāo)概率預(yù)測(cè)（分類(lèi)器）：輸出N+1類(lèi)別的概率

邊界框回歸器：

dx，dy，dw，dh從哪來(lái)？

Fast RCNN損失如何計(jì)算？

分類(lèi)損失如何計(jì)算

交叉熵?fù)p失

邊界框回歸損失

smooth l1 損失計(jì)算鏈接

https://www.cnblogs.com/wangguchangqing/p/12021638.html

Fast RCNN 對(duì)比 RCNN

Fast RCNN比RCNN推理速度快200倍，但是仔細(xì)算下來(lái)推理一張圖片還是需要很長(zhǎng)時(shí)間的，SS算法在CPU上需要2s左右

Faster RCNN同樣選用vgg16作為主干網(wǎng)絡(luò)

Faster RCNN的3個(gè)步驟：1、得到特征圖 2、RPN生成候選框，投影到特征圖上得到特征矩陣 3、將特征矩陣通過(guò)ROI pooling層縮放在統(tǒng)一的大小，然后進(jìn)行展平處理，再通過(guò)一系列全連接層得到預(yù)測(cè)結(jié)果

RPN網(wǎng)絡(luò)結(jié)構(gòu)

2k 個(gè)scores和4k個(gè)coordinates如何影響我們的anchor的

Faster RCNN給了哪些尺度和比例

9個(gè)類(lèi)別的anchor，k=9

3x3滑動(dòng)窗口在原圖上感受野的問(wèn)題

通過(guò)一個(gè)比較小的感受野預(yù)測(cè)一個(gè)比它大的邊界框是有可能的

我們看到物體一部分，也能猜出目標(biāo)的一個(gè)完整的區(qū)域

如何計(jì)算ZF網(wǎng)絡(luò)的感受野

定義正樣本的方式

RPN損失計(jì)算

分類(lèi)損失計(jì)算

一、多分類(lèi)交叉熵?fù)p失

二、二分類(lèi)的交叉熵?fù)p失

邊界回歸損失

Faster R-CNN訓(xùn)練

原論文（分步訓(xùn)練）

Faster R-CNN算法流程

框架越來(lái)越簡(jiǎn)潔，效果越來(lái)越好