4.13 當(dāng)神經(jīng)網(wǎng)絡(luò)的調(diào)參效果不佳時，從哪些角度思考? 1） 是否找到合適的損失函數(shù)？??（不同問題適合不同的損失函數(shù)）（理解不同損失函數(shù)的適用場景） 2） batch size是否合適？?? batch size太大 -> loss很快平穩(wěn)，batch size太小 -> loss會震蕩（理解mini-batch） 3） 是否選擇了合適的激活函數(shù)？??（各個激活函數(shù)的來源和差異） 4） 學(xué)習(xí)率，學(xué)習(xí)率小收斂慢，學(xué)習(xí)率大loss震蕩（如何選取合適的學(xué)習(xí)率） 5） 是否選擇了合適的優(yōu)化算法？??（比如adam）（理解不同優(yōu)化算法的適用場景） 6） 是否過擬合？(深度學(xué)習(xí)擬合能力強，容易過擬合)（理解過擬合的各個解決方案） a. Early Stopping ?? b. Regularization（正則化）?? c. Weight Decay（收縮權(quán)重）?? d. Dropout（隨機失活）? e. 調(diào)整?絡(luò)結(jié)構(gòu)???