關(guān)于計(jì)算softmax時(shí)可能發(fā)生的上溢和下溢問(wèn)題

這里看到一條彈幕說(shuō)softmax函數(shù)中應(yīng)該加一行X -= X.max()避免上/下溢出，而且是面試tx時(shí)提到的，受此啟發(fā)我查詢了下相關(guān)資料，筆記如下：

首先是softmax的形式

參考花書(shū)《Deep Learning》第四章的解釋，考慮當(dāng)所有x都等于某個(gè)常數(shù)c時(shí)，有以下兩種由于舍入誤差導(dǎo)致算法失效的情況：

1. c是負(fù)數(shù)，且|c|很大，那么exp(c)就會(huì)接近于零且被四舍五入為零(俗稱下溢)，導(dǎo)致函數(shù)分母為0，最后結(jié)果報(bào)錯(cuò)為NaN占位符。
2. c是很大的正數(shù)，exp(c)被近似為∞(俗稱上溢)，結(jié)果發(fā)生錯(cuò)誤。

上面兩種情況都可以通過(guò)計(jì)算softmax(x-max(x))來(lái)替換原softmax(x)解決，數(shù)學(xué)證明表面softmax不會(huì)因?yàn)檩斎胫导訙p標(biāo)量而改變。這樣做后使得exp(c)最大值為0，避免了上溢，而分母中exp(c)至少有一個(gè)值為1的數(shù)，同樣避免了下溢

還有一個(gè)小問(wèn)題，以上方式解決了計(jì)算softmax過(guò)程中出現(xiàn)的溢出問(wèn)題，但如果softmax被正常計(jì)算的結(jié)果，下一步需要代入log計(jì)算，即計(jì)算log(softmax(x))，如果softmax的分子下溢，結(jié)果傳給log會(huì)錯(cuò)誤得到-∞，因此若要計(jì)算log(softmax(x))，會(huì)做如下變換：

即計(jì)算softmax時(shí)，分子分母同除以exp(max(x))，直接看最后一項(xiàng)會(huì)發(fā)現(xiàn)log里面的求和項(xiàng)至少有一個(gè)1，這樣計(jì)算log里面求和項(xiàng)會(huì)大于1就不會(huì)發(fā)生原來(lái)的錯(cuò)誤。

在直接調(diào)用庫(kù)時(shí)，底層庫(kù)的開(kāi)發(fā)者已經(jīng)做好了數(shù)值穩(wěn)定，所以這種問(wèn)題只有在手動(dòng)設(shè)計(jì)實(shí)現(xiàn)時(shí)需要考慮。