調(diào)參方法

1.樣本要隨機化，防止大數(shù)據(jù)淹沒小數(shù)據(jù)

2.樣本要做歸一化。關(guān)于歸一化的好處請參考：為何需要歸一化處理

3.激活函數(shù)要視樣本輸入選擇(多層神經(jīng)網(wǎng)絡(luò)一般使用relu)

4.mini batch很重要，幾百是比較合適的(很大數(shù)據(jù)量的情況下)

5.學(xué)習(xí)速率(learning rate)很重要，比如一開始可以lr設(shè)置為0.01，然后運行到loss不怎么降的時候，學(xué)習(xí)速率除以10，接著訓(xùn)練

6.權(quán)重初始化，可用高斯分布乘上一個很小的數(shù)，這個可以看：權(quán)值初始化

7.Adam收斂速度的確要快一些，可結(jié)果往往沒有sgd + momentum的解好（如果模型比較復(fù)雜的話，sgd是比較難訓(xùn)練的，這時候adam的威力就體現(xiàn)出來了）

8.Dropout的放置位置以及大小非常重要

9.early stop，發(fā)現(xiàn)val_loss沒更新，就盡早停止