CNN的問題：深度深--訓(xùn)練慢 反向傳播--訓(xùn)練難

視頻目錄：00:54

alexnet：引用ReLu激活函數(shù)代替sigmod，解決了梯度消失和梯度爆炸的問題；局部歸一化、dropout解決過擬合

VGG net：提出了使用3x3卷積核代替大卷積核的效果更好，提出16-19層深度比較好

谷歌net：稀疏矩陣疊加、使用1x1卷積核

res net：網(wǎng)絡(luò)越深，反向傳播的困難越大，整體性能反而可能變低。此時res net利用殘差傳遞，Y=X等方法，認(rèn)為加入恒等映射層不會損失反向傳播的精度導(dǎo)致整體性能變差

densenet：特征復(fù)用，減少了參數(shù)。避免了重復(fù)特征

最后有一個性能表格 12:15