反向傳播：按照從輸出層到輸入層的順序，計算神經(jīng)網(wǎng)絡各參數(shù)的梯度，從而優(yōu)化參數(shù)。

通過鏈式法則來計算梯度：對損失函數(shù)求參數(shù)的偏導，探究一個參數(shù)w的變化如何影響最終的損失。通過C--A(i)--Z(I)--A(i-1）鏈式法則計算，包括了三個項的乘積

• 損失函數(shù)的導數(shù)

• 激活函數(shù)（z）的導數(shù)

• 線性函數(shù)的導數(shù)

將所有樣本相加求平均，就是這個參數(shù)的梯度。

如果是一層含有不止一個神經(jīng)元，其實就是有不同的路徑影響最后的一個輸出，對各路徑計算最后求和即可。