(強(qiáng)推)李宏毅2021春機(jī)器學(xué)習(xí)課程
1.local minima and sddle point, critical point
?
類神經(jīng)網(wǎng)絡(luò)訓(xùn)練不起來(lái)怎么辦(一) 局部最小值 (local mi... P11 - 02:01
?2.
?
類神經(jīng)網(wǎng)絡(luò)訓(xùn)練不起來(lái)怎么辦(二) 批次 (batch... P12 - 00:07
?batch and momentum (批次和動(dòng)量）
3.不同的batch的比較
?
類神經(jīng)網(wǎng)絡(luò)訓(xùn)練不起來(lái)怎么辦(二) 批次 (batch... P12 - 14:53
?
4.momentum結(jié)合物理
5.vanilla Gradient Descent
6.Gradient Descent + Momentum
?
類神經(jīng)網(wǎng)絡(luò)訓(xùn)練不起來(lái)怎么辦(二) 批次 (batch... P12 - 26:23
?
Learning Rate
?
類神經(jīng)網(wǎng)絡(luò)訓(xùn)練不起來(lái)怎么辦(三) 自動(dòng)調(diào)整學(xué)習(xí)率... P13 - 00:06
?
1.
?
類神經(jīng)網(wǎng)絡(luò)訓(xùn)練不起來(lái)怎么辦(三) 自動(dòng)調(diào)整學(xué)習(xí)率... P13 - 09:55
?
2.計(jì)算方式，根方均
?
類神經(jīng)網(wǎng)絡(luò)訓(xùn)練不起來(lái)怎么辦(三) 自動(dòng)調(diào)整學(xué)習(xí)率... P13 - 12:40
?
3.RMSProp 自適應(yīng)調(diào)整
?
類神經(jīng)網(wǎng)絡(luò)訓(xùn)練不起來(lái)怎么辦(三) 自動(dòng)調(diào)整學(xué)習(xí)率... P13 - 19:49
?
4.Adam
?
類神經(jīng)網(wǎng)絡(luò)訓(xùn)練不起來(lái)怎么辦(三) 自動(dòng)調(diào)整學(xué)習(xí)率... P13 - 23:53
?
5.Learning Rate Scheduling
?
類神經(jīng)網(wǎng)絡(luò)訓(xùn)練不起來(lái)怎么辦(三) 自動(dòng)調(diào)整學(xué)習(xí)率... P13 - 28:26
?
6.總結(jié)
?
類神經(jīng)網(wǎng)絡(luò)訓(xùn)練不起來(lái)怎么辦(三) 自動(dòng)調(diào)整學(xué)習(xí)率... P13 - 34:59
?
P14 classification
?
類神經(jīng)網(wǎng)絡(luò)訓(xùn)練不起來(lái)怎么辦(四) 損失函... P14 - 00:17
?TO Learn More
?
(選修)To Learn More - Optimization for Deep Learning (1_2) P16 - 03:08
?
1.SGD
?
(選修)To Learn More - Optimization for Deep Learning (1_2) P16 - 09:47
?
2.SGDM
?
(選修)To Learn More - Optimization for Deep Learning (1_2) P16 - 10:34
?
3.Adagrad
?
(選修)To Learn More - Optimization for Deep Learning (1_2) P16 - 15:57
?
4.RMSProp
?
(選修)To Learn More - Optimization for Deep Learning (1_2) P16 - 16:48
?
5.Adam
?
(選修)To Learn More - Optimization for Deep Learning (1_2) P16 - 18:38
?
CNN
?
第三節(jié) 卷積神經(jīng)網(wǎng)絡(luò)(CNN) P22 - 00:08
?
1.CNN
?
第三節(jié) 卷積神經(jīng)網(wǎng)絡(luò)(CNN) P22 - 11:27
?
2.經(jīng)典的filed
?
第三節(jié) 卷積神經(jīng)網(wǎng)絡(luò)(CNN) P22 - 16:42
?
3.共享參數(shù)
?
第三節(jié) 卷積神經(jīng)網(wǎng)絡(luò)(CNN) P22 - 25:04
?
3.1. 共享的方式
?
第三節(jié) 卷積神經(jīng)網(wǎng)絡(luò)(CNN) P22 - 25:54
?
4.CNN的優(yōu)點(diǎn)
5.Pooling
?
第三節(jié) 卷積神經(jīng)網(wǎng)絡(luò)(CNN) P22 - 41:23
?
6.整個(gè)CNN架構(gòu)
?
第三節(jié) 卷積神經(jīng)網(wǎng)絡(luò)(CNN) P22 - 44:35
?
P23
?
自注意力機(jī)制(Self-attention)(上) P23 - 00:08
?
1.解決的問(wèn)題
每個(gè)輸入的長(zhǎng)度不一樣
2.輸出
?
自注意力機(jī)制(Self-attention)(上) P23 - 11:30
?
3.Sequence Labeling
?
自注意力機(jī)制(Self-attention)(上) P23 - 12:30
?
6.self-attention
?
自注意力機(jī)制(Self-attention)(上) P23 - 16:28
?
6.1 產(chǎn)生b1
?
自注意力機(jī)制(Self-attention)(上) P23 - 21:16
?
GAN
1.Algorithm
?
第六節(jié) 生成式對(duì)抗網(wǎng)絡(luò)(GAN) (一)... P40 - 24:34
?step1
step2
step3
標(biāo)簽：
