神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

在構(gòu)建了這個模型之后，就可以基于損失函數(shù)對參數(shù)進(jìn)行優(yōu)化了，采用的方法就是梯度下降法。但是我們注意到當(dāng)神經(jīng)網(wǎng)絡(luò)疊的層次比較多的時候，參數(shù)的數(shù)目是爆炸性增長的，比如現(xiàn)在的語音識別網(wǎng)絡(luò)簡單一點(diǎn)的也有七八層，每一層有上千個神經(jīng)元，參數(shù)量就達(dá)到上百萬個。如果直接采用梯度下降法，每迭代一步都對所有參數(shù)進(jìn)行微分計(jì)算，計(jì)算量將時巨大的！為了使梯度下降法更有效率，一種叫做后向傳播(backpropagation)的算法被提出。后向傳播本質(zhì)上也是一