? ? ? ? ? 強(qiáng)化學(xué)習(xí)是一種機(jī)器學(xué)習(xí)的學(xué)習(xí)方式，其基于環(huán)境的反饋而行動，通過不斷與環(huán)境的交互（機(jī)器在環(huán)境的一個狀態(tài)下做一個動作決策，把這個動作作用在環(huán)境當(dāng)中，環(huán)境發(fā)生相應(yīng)的改變并且將相應(yīng)的反饋和下一輪狀態(tài)傳回機(jī)器）、試錯，最終完成特定目的或者使得整體行動收益最大化。

? ? ? ?強(qiáng)化學(xué)習(xí)不需要訓(xùn)練數(shù)據(jù)的label，但是它需要每一步行動環(huán)境給予的反饋，是獎勵還是懲罰。總之，強(qiáng)化學(xué)習(xí)是智能體與環(huán)境不斷交互的試錯學(xué)習(xí)，屬于無監(jiān)督學(xué)習(xí)；通過從交互中學(xué)習(xí)來實(shí)現(xiàn)目標(biāo)；強(qiáng)化學(xué)習(xí)的目標(biāo)是最大化累計獎勵。

? ? ? 強(qiáng)化學(xué)習(xí)有5部分組成：?

? ?（1）Agent（智能體、機(jī)器人、代理）：強(qiáng)化學(xué)習(xí)訓(xùn)練的主體就是Agent，有時候翻譯為“代理”，這里統(tǒng)稱為“智能體”。Pacman中就是這個張開大嘴的黃色扇形移動體。

? （2）Environment（環(huán)境）：整個游戲的大背景就是環(huán)境；Pacman中Agent、Ghost、豆子以及里面各個隔離板塊組成了整個環(huán)境。

? ?（3）State（狀態(tài)）：當(dāng)前 Environment和Agent所處的狀態(tài)，因為Ghost一直在移動，豆子數(shù)目也在不停變化，Agent的位置也在不停變化，所以整個State處于變化中；這里特別強(qiáng)調(diào)一點(diǎn)，State包含了Agent和Environment的狀態(tài)。

? ?（4）Action（行動）：基于當(dāng)前的State，Agent可以采取哪些action，比如向左or右，向上or下；Action是和State強(qiáng)掛鉤的，比如上圖中很多位置都是有隔板的，很明顯Agent在此State下是不能往左或者往右的，只能上下；

? （5）Reward（獎勵）：Agent在當(dāng)前State下，采取了某個特定的action后，會獲得環(huán)境的一定反饋就是Reward。這里面用Reward進(jìn)行統(tǒng)稱，雖然Reward翻譯成中文是“獎勵”的意思，但其實(shí)強(qiáng)化學(xué)習(xí)中Reward只是代表環(huán)境給予的“反饋”，可能是獎勵也可能是懲罰。比如Pacman游戲中，Agent碰見了Ghost那環(huán)境給予的就是懲罰。

參考：https://blog.csdn.net/weixin_39910711/article/details/124428444