卷積神經(jīng)網(wǎng)絡基礎(chǔ)補充

誤差的計算

例子

經(jīng)過softmax處理后所有輸出節(jié)點概率和為1

交叉熵損失

實例

默認log以e為底

損失公式

誤差反向傳播

權(quán)重的更新

在實際應用中往往不可能一次性將所有數(shù)據(jù)載入內(nèi)存（算力也不夠），所以只能分批次（batch）訓練。

ImageNet項目是一個用于視覺對象識別軟件研究的大型可視化數(shù)據(jù)庫。超過1400萬的圖像被ImageNet手動注釋，以指示圖片中的對象

若使用整個樣本集進行求解損失梯度指向全局最優(yōu)方向

若使用分批次樣本進行求解，損失梯度指向當前批次最優(yōu)方向，訓練過程更不平穩(wěn)

優(yōu)化器（optimazer）

使網(wǎng)絡得到更快的收斂

SDG優(yōu)化器（Stochastic Gradient Descent）

缺點：易受樣本噪聲影響，可能陷入局部最優(yōu)解

2.SGD+Momentum優(yōu)化器

Adagrad優(yōu)化器（自適應學習率）

RMSProp優(yōu)化器（自適應學習率）

Adam優(yōu)化器（自適應學習率）

幾個優(yōu)化器的比較