二、圖像預(yù)處理

RGB加法混色（疊加白）

CMYK減法混色（疊加黑）

HSV色調(diào)飽和度

CIE-XYZ

圖像預(yù)處理實(shí)際就是圖像增強(qiáng)

圖像預(yù)處理方法

點(diǎn)運(yùn)算就是對(duì)直方圖進(jìn)行運(yùn)算

分段（解決亮暗問(wèn)題）

CLAHE 自適應(yīng)直方圖均衡

空間域卷積就是頻域上×

卷積填充

最好的是補(bǔ)零的方式，盡量避免用大的卷積核去卷積，可以把大的卷積核變成若干個(gè)小的卷積核

高斯核越大圖像越模糊，越小關(guān)注區(qū)域越集中

用在高斯金字塔

計(jì)算量減小，變成兩個(gè)一維的

拉普拉斯濾波器整個(gè)元素相加為0

凸顯細(xì)節(jié)（銳化）

三 圖像特征提取

基于關(guān)鍵點(diǎn)

一階導(dǎo)數(shù)取到極值是圖像的邊緣

四 神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)

只能變權(quán)重

期望的輸出和實(shí)際的輸出越接近越好

目標(biāo)函數(shù)降到最小

局部最小值

前面?zhèn)鬟^(guò)來(lái)的殘差是一個(gè)加權(quán)和

目標(biāo)函數(shù)：交叉熵

先特征選擇，再特征提取（先要有，再選能用的）

隱藏層的作用就是特征提取

前向傳播是為了計(jì)算損失，反向傳播為了更新權(quán)重。

五 深度學(xué)習(xí)基礎(chǔ)

1.選擇合適的目標(biāo)函數(shù)

第一個(gè)y是實(shí)際的，第二個(gè)是計(jì)算機(jī)跑出來(lái)的

2.softmax層（全連接層）

3.梯度消失

若干層疊加沒(méi)梯度了

4.激活函數(shù)

不會(huì)使梯度越來(lái)越小

5.學(xué)習(xí)步長(zhǎng)的設(shè)置（優(yōu)化器）

通過(guò)輪次來(lái)調(diào)整學(xué)習(xí)步長(zhǎng)，越來(lái)越小

解決辦法：（優(yōu)化器）

① 設(shè)置動(dòng)量

②改進(jìn)（現(xiàn)在常用的）

避免被當(dāng)前梯度帶偏

③Adagrad

小了可以變大，但是變大了就不能變小了

④RMSprop

整個(gè)趨勢(shì)學(xué)習(xí)步長(zhǎng)一點(diǎn)點(diǎn)減小

⑤Adam（效果最好）

總結(jié)：上面幾種優(yōu)化器的比較

自適應(yīng)方式

SGD隨機(jī)梯度下降

算法選擇：

6.如何避免過(guò)適應(yīng)

權(quán)重變?。?！

①早期停止訓(xùn)練

②權(quán)重衰減

讓無(wú)用的權(quán)重盡可能為0

③Droput

大的網(wǎng)絡(luò)中隨機(jī)構(gòu)造小的網(wǎng)絡(luò)，測(cè)試時(shí)都起作用

六 CNN

1.卷積層

權(quán)重的參數(shù)是機(jī)器自己學(xué)習(xí)得到的

通道數(shù)取決與卷積核的數(shù)量

卷積核的通道要與前面圖片的通道數(shù)相同

卷積核的數(shù)量與卷積后的通道數(shù)相同

明顯的改善梯度消失

②池化層

通道數(shù)不變，尺度大小變小

最大池化的效果高于平均池化

③全連接層（softmax）

關(guān)于殘差網(wǎng)絡(luò)回顧

誤差反向傳播

圖片分類(lèi)

兩個(gè)并行的通路

最大池化的位置要注意

卷積的表達(dá)形式

VGG層數(shù)變深了