概率密度函數(shù)映射變換推導(PRML-1.27式)
本文節(jié)選自淡藍小點PRML Page-by-page項目notes第一章1-020說明點(對應PRML page18)。第一章視頻還未在B站上傳(還有部分剪輯校對工作未完成),需要notes的朋友請加微信(微信名:淡藍小點Bluedotdot,微信號:bluedotdot_cn)索取。淡藍小點網(wǎng)站(https://bluedotdot.cn, https://bluedotdot.com.cn)還在建設中,暫時不能訪問!
設是一個關于
的概率密度函數(shù),現(xiàn)有函數(shù)變換
使得
且
為雙射,要求關于
的概率密度函數(shù)
,應該怎么求?一種最想當然的想法就是將
代入
替換掉里面的
變成
。但這是不是就是
的概率密度函數(shù)
了?答案是否定的。用
替換
后
的正確結果如下式所示(也就是PRML的1.27式)
它比直接替換多了一個求導的絕對值項。試舉一列,設在
范圍內均勻分布,所以
。令
也就是
。如果直接替換的話有
注意,是個常函數(shù),跟變量的變化無關,所以變換后仍有
。因為
所以自然有
。所以上式積分則有
可見,積分并不等于1,所以一定不是合法的概率密度。而根據(jù)1.27式得到的結果為
所以積分為
那么書上的1.27式是如何得到的了(可參考MLAPP的2.6.2)?前面給出的變化式是,現(xiàn)在假設
,也就是
。設
是
的累積分布函數(shù),也就是
所以有
注意,這里的就是我們要求的
的概率密度。而用
替換
得到
當是遞增函數(shù)時
可以表示為
,因為此時有
。當
是遞減函數(shù)時
可表示為
,因為此時有
,所以上式可寫為
因此有
最后一步是因為若是遞增函數(shù),則必有
(導數(shù)大于零函數(shù)值遞增),所以也有
(可把后者看作前者的倒數(shù));若
是遞減函數(shù),則必有
,所以也有
。所以有
至此我們就得到了書上的1.27式。當然,我們也可以從另一種角度來看1.27式的推導過程。設的取值范圍為
,
的取值范圍為
。根據(jù)
是遞增還是遞減,我們有
所以有
我們已經(jīng)推導了隨機變量概率密度,現(xiàn)在討論極值的問題。假設
為
的眾數(shù)(即
為
的最大值,相當于
)。
是否能得出結論也為
的眾數(shù)了?答案也是否定的,即通常情況下
不一定是最大值,也就是通常都有
。再通俗一點就是說,不能通過求
的極大似然估計得到
,再將
代入
得到
當作
的極大似然估計結果。
但是要注意,這里說的是常用。也就是說在特殊情況,即為線性變換時,上述結論是成立的。也就是當
為線性變換時,
也是
的極大似然估計。下面來證明這一點。
根據(jù)1.27式我們有,其中
對應去絕對值后的符號?;谶@個公式有:
假設是
的極值點,則根據(jù)
得到的
(滿足
)是否一定是
的極值點了?即是否一定有
了?將
代入上式后有
上式右邊第一項必為0因為有,但第二項就不一定為0了......
【本問題未完結,但至此已達到B站插入公式數(shù)量上限量,無法繼續(xù)刊載,請需要的朋友聯(lián)系我拿notes...】