国产精品天干天干,亚洲毛片在线,日韩gay小鲜肉啪啪18禁,女同Gay自慰喷水

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

概率密度函數(shù)映射變換推導(PRML-1.27式)

2022-11-23 16:00 作者:淡藍小點Bluedotdot  | 我要投稿

本文節(jié)選自淡藍小點PRML Page-by-page項目notes第一章1-020說明點(對應PRML page18)。第一章視頻還未在B站上傳(還有部分剪輯校對工作未完成),需要notes的朋友請加微信(微信名:淡藍小點Bluedotdot,微信號:bluedotdot_cn)索取。淡藍小點網(wǎng)站(https://bluedotdot.cn, https://bluedotdot.com.cn)還在建設中,暫時不能訪問!

p_x(x)是一個關于x的概率密度函數(shù),現(xiàn)有函數(shù)變換g使得x%3Dg(y)g為雙射,要求關于y的概率密度函數(shù)p_y(y),應該怎么求?一種最想當然的想法就是將g(y)代入p_x(x)替換掉里面的x變成p_x(g(y))。但這是不是就是y的概率密度函數(shù)p_y(y)了?答案是否定的。用g(y)替換xp_y(y)的正確結果如下式所示(也就是PRML的1.27式)

p_y(y)%20%3D%20p_x(x)%7C%5Cfrac%7B%5Cmathrm%7Bd%7Dx%7D%7B%5Cmathrm%7Bd%7Dy%7D%7C%0A%3Dp_x(g(y))%7Cg'(y)%7C

它比直接替換多了一個求導的絕對值項。試舉一列,設x(0%2C1)范圍內均勻分布,所以p_x(x)%3D1。令x%3D2y也就是g(y)%3D2y。如果直接替換的話有

p_y(y)%20%3D%20p_x(g(y))%20%3D%20p_x(2y)%3D1

注意,p_x(x)%3D1是個常函數(shù),跟變量的變化無關,所以變換后仍有p_x(2y)%20%3D%201。因為x%5Cin(0%2C1)所以自然有y%5Cin(0%2C%5Cfrac%7B1%7D%7B2%7D)。所以上式積分則有

%5Cint%20p_y(y)%5Cmathrm%7Bd%7Dy%20%3D%20%5Cint_0%5E%7B%5Cfrac%7B1%7D%7B2%7D%7D%201%5Cmathrm%7Bd%7Dy%20%3D%20y%7C_0%5E%7B%5Cfrac%7B1%7D%7B2%7D%7D%20%3D%20%5Cfrac%7B1%7D%7B2%7D

可見,積分并不等于1,所以p_Y(y)一定不是合法的概率密度。而根據(jù)1.27式得到的結果為

p_y(y)%20%3D%20p_x(g(y))%7C%5Cfrac%7B%5Cmathrm%7Bd%7Dx%7D%7B%5Cmathrm%7Bd%7Dy%7D%7C%20%3D%201*2%20%3D%202

所以積分為

%5Cint%20p_y(y)%5Cmathrm%7Bd%7Dy%20%3D%20%5Cint_0%5E%7B%5Cfrac%7B1%7D%7B2%7D%7D%202%5Cmathrm%7Bd%7Dy%20%3D%202y%7C_0%5E%7B%5Cfrac%7B1%7D%7B2%7D%7D%20%3D%201

那么書上的1.27式是如何得到的了(可參考MLAPP的2.6.2)?前面給出的變化式是x%20%3D%20g(y),現(xiàn)在假設y%20%3D%20f(x),也就是f%20%3D%20g%5E%7B-1%7D。設F_Y(y)y的累積分布函數(shù),也就是

F_y(Y)%20%3D%20P_y(y%5Cle%20Y)%20%3D%20%20%5Cint_%7B-%5Cinfty%7D%5EY%20p_y(y)%5Cmathrm%7Bd%7Dy

所以有

%5Cfrac%7B%5Cpartial%20F_y(Y)%7D%7B%5Cpartial%20y%7D%20%3D%20p_y(y)

注意,這里的p_y(y)就是我們要求的y的概率密度。而用f(x)替換y得到

F_y(Y)%20%3D%20P_y(y%20%5Cle%20Y)%20%3D%20P_y(f(x)%20%5Cle%20Y)

y%20%3D%20f(x)是遞增函數(shù)時f(x)%5Cle%20Y可以表示為x%20%5Cle%20f%5E%7B-1%7D(Y),因為此時有f(x)%20%5Cle%20f(f%5E%7B-1%7D(Y))%20%3D%20Y。當y%20%3D%20f(x)是遞減函數(shù)時f(x)%20%5Cle%20Y可表示為x%20%5Cge%20f%5E%7B-1%7D(Y),因為此時有f(x)%5Cle%20f(f%5E%7B-1%7D(Y))%3DY,所以上式可寫為

F_y(Y)%20%3D%0A%5Cleft%5C%7B%0A%5Cbegin%7Baligned%7D%0AP_x(x%20%5Cle%20f%5E%7B-1%7D(Y))%20%20%5Cquad%20f%5Cmbox%7B%E9%80%92%E5%A2%9E%7D%20%5C%5C%0AP_x(x%20%5Cge%20f%5E%7B-1%7D(Y))%20%20%5Cquad%20f%5Cmbox%7B%E9%80%92%E5%87%8F%7D%5C%5C%0A%5Cend%7Baligned%7D%0A%5Cright.%0A%3D%0A%5Cleft%5C%7B%0A%5Cbegin%7Baligned%7D%0AP_x(x%20%5Cle%20f%5E%7B-1%7D(Y))%20%20%5Cquad%20f%5Cmbox%7B%E9%80%92%E5%A2%9E%7D%20%5C%5C%0A1%20-%20P_x(x%20%5Cle%20f%5E%7B-1%7D(Y))%20%20%5Cquad%20f%5Cmbox%7B%E9%80%92%E5%87%8F%7D%5C%5C%0A%5Cend%7Baligned%7D%0A%5Cright.

因此有

%5Cbegin%7Balign*%7D%0Ap_y(y)%20%3D%20%5Cfrac%7B%5Cmathrm%7Bd%7D%20F_y(Y)%7D%7B%5Cmathrm%7Bd%7D%20y%7D%0A%26%3D%0A%5Cleft%5C%7B%0A%5Cbegin%7Baligned%7D%0A%5Cfrac%7B%5Cmathrm%7Bd%7DP_x(x%20%5Cle%20f%5E%7B-1%7D(Y))%7D%7B%5Cmathrm%7Bd%7Dx%7D%5Cfrac%7B%5Cmathrm%7Bd%7Dx%7D%7B%5Cmathrm%7Bd%7Dy%7D%20%20%5Cquad%20f%5Cmbox%7B%E9%80%92%E5%A2%9E%7D%20%5C%5C%0A%5Cfrac%7B%5Cmathrm%7Bd%7D%5C%7B1%20-%20P_x(x%20%5Cle%20f%5E%7B-1%7D(Y))%5C%7D%7D%7B%5Cmathrm%7Bd%7Dx%7D%5Cfrac%7B%5Cmathrm%7Bd%7Dx%7D%7B%5Cmathrm%7Bd%7Dy%7D%20%20%5Cquad%20f%5Cmbox%7B%E9%80%92%E5%87%8F%7D%5C%5C%0A%5Cend%7Baligned%7D%0A%5Cright.%20%5C%5C%0A%26%3D%0A%5Cleft%5C%7B%0A%5Cbegin%7Baligned%7D%0Ap_x(x)%5Cfrac%7B%5Cmathrm%7Bd%7Dx%7D%7B%5Cmathrm%7Bd%7Dy%7D%20%20%5Cquad%20f%5Cmbox%7B%E9%80%92%E5%A2%9E%7D%20%5C%5C%0A-p_x(x)%5Cfrac%7B%5Cmathrm%7Bd%7Dx%7D%7B%5Cmathrm%7Bd%7Dy%7D%20%20%5Cquad%20f%5Cmbox%7B%E9%80%92%E5%87%8F%7D%5C%5C%0A%5Cend%7Baligned%7D%0A%5Cright.%20%5C%5C%0A%26%3D%20p_x(x)%7C%5Cfrac%7B%5Cmathrm%7Bd%7Dx%7D%7B%5Cmathrm%7Bd%7Dy%7D%7C%0A%5Cend%7Balign*%7D

最后一步是因為若f(x)是遞增函數(shù),則必有%5Cfrac%7B%5Cmathrm%7Bd%7Dy%7D%7B%5Cmathrm%7Bd%7Dx%7D%20%3E%200(導數(shù)大于零函數(shù)值遞增),所以也有%5Cfrac%7B%5Cmathrm%7Bd%7Dx%7D%7B%5Cmathrm%7Bd%7Dy%7D%3E0(可把后者看作前者的倒數(shù));若f(x)是遞減函數(shù),則必有%5Cfrac%7B%5Cmathrm%7Bd%7Dx%7D%7B%5Cmathrm%7Bd%7Dy%7D%20%3C%200,所以也有%5Cfrac%7B%5Cmathrm%7Bd%7Dy%7D%7B%5Cmathrm%7Bd%7Dx%7D%20%3C%200。所以有

%7C%5Cfrac%7B%5Cmathrm%7Bd%7Dx%7D%7B%5Cmathrm%7Bd%7Dy%7D%7C%3D%0A%5Cleft%5C%7B%0A%5Cbegin%7Baligned%7D%0A%5Cfrac%7B%5Cmathrm%7Bd%7Dx%7D%7B%5Cmathrm%7Bd%7Dy%7D%20%20%5Cquad%20f%5Cmbox%7B%E9%80%92%E5%A2%9E%7D%20%5C%5C%0A-%5Cfrac%7B%5Cmathrm%7Bd%7Dx%7D%7B%5Cmathrm%7Bd%7Dy%7D%20%20%5Cquad%20f%5Cmbox%7B%E9%80%92%E5%87%8F%7D%5C%5C%0A%5Cend%7Baligned%7D%0A%5Cright.

至此我們就得到了書上的1.27式。當然,我們也可以從另一種角度來看1.27式的推導過程。設x的取值范圍為(a%2C%20b),y的取值范圍為(%5Calpha%2C%20%5Cbeta)。根據(jù)g(y)是遞增還是遞減,我們有

%5Cbegin%7Balign*%7D%0A%5Cint_%7B%5Calpha%7D%5E%7B%5Cbeta%7DP_y(y)%5Cmathrm%7Bd%7Dy%20%26%3D%20%5Cint_%7Ba%7D%5E%7Bb%7DP_x(x)%5Cmathrm%7Bd%7Dx%20%5C%5C%0A%26%3D%5Cint_%7B%5Calpha%7D%5E%7B%5Cbeta%7DP_x(g(y))%5Cmathrm%7Bd%7Dg(y)%20%5C%5C%0A%26%3D%0A%5Cleft%5C%7B%0A%5Cbegin%7Baligned%7D%0A%5Cint_%7B%5Calpha%7D%5E%7B%5Cbeta%7DP_x(g(y))g'(y)%5Cmathrm%7Bd%7Dy%20%20%5Cquad%20f%5Cmbox%7B%E9%80%92%E5%A2%9E%7D%20%5C%5C%0A%5Cint_%7B%5Cbeta%7D%5E%7B%5Calpha%7DP_x(g(y))g'(y)%5Cmathrm%7Bd%7Dy%20%20%5Cquad%20f%5Cmbox%7B%E9%80%92%E5%87%8F%7D%5C%5C%0A%5Cend%7Baligned%7D%0A%5Cright.%20%5C%5C%0A%26%3D%0A%5Cleft%5C%7B%0A%5Cbegin%7Baligned%7D%0A%5Cint_%7B%5Calpha%7D%5E%7B%5Cbeta%7DP_x(g(y))g'(y)%5Cmathrm%7Bd%7Dy%20%20%5Cquad%20f%5Cmbox%7B%E9%80%92%E5%A2%9E%7D%20%5C%5C%0A-%5Cint_%7B%5Calpha%7D%5E%7B%5Cbeta%7DP_x(g(y))g'(y)%5Cmathrm%7Bd%7Dy%20%20%5Cquad%20f%5Cmbox%7B%E9%80%92%E5%87%8F%7D%5C%5C%0A%5Cend%7Baligned%7D%0A%5Cright.%20%5C%5C%0A%26%3D%5Cint_%7B%5Calpha%7D%5E%7B%5Cbeta%7DP_x(g(y))%7Cg'(y)%7C%5Cmathrm%7Bd%7Dy%0A%5Cend%7Balign*%7D

所以有

p_y(y)%20%3D%20%5Cfrac%7B%5Cmathrm%7Bd%7D%5Cint_%7B%5Calpha%7D%5E%7B%5Cbeta%7DP_y(y)%5Cmathrm%7Bd%7Dy%7D%7B%5Cmathrm%7Bd%7Dy%7D%20%3D%20%5Cfrac%7B%5Cmathrm%7Bd%7D%5Cint_%7B%5Calpha%7D%5E%7B%5Cbeta%7DP_x(g(y))%7Cg'(y)%7C%5Cmathrm%7Bd%7Dy%20%7D%7B%5Cmathrm%7Bd%7Dy%7D%20%3D%20p_x(g(y))%7Cg'(y)%7C

我們已經(jīng)推導了隨機變量y概率密度,現(xiàn)在討論極值的問題。假設y%5E%7B%5Cast%7Dp_y(y)的眾數(shù)(即p_y(y%5E%5Cast)p_y(y)的最大值,相當于p_y%5E%7B'%7D(y%5E%7B%5Cast%7D)%3D0)。

是否能得出結論x%5E%5Cast%3Dg(y%5E%5Cast)也為p_x(x)的眾數(shù)了?答案也是否定的,即通常情況下p_x(x%5E%5Cast)不一定是最大值,也就是通常都有p_x%5E%7B'%7D(x%5E%5Cast)%5Cnot%3D0。再通俗一點就是說,不能通過求p_y(y)的極大似然估計得到y%5E%5Cast,再將y%5E%5Cast代入g得到x%5E%5Cast%3Dg(y%5E%5Cast)當作p_x(x)的極大似然估計結果。

但是要注意,這里說的是常用。也就是說在特殊情況,即g為線性變換時,上述結論是成立的。也就是當g為線性變換時,x%5E%5Cast%3Dg(y%5E%5Cast)也是p_x(x)的極大似然估計。下面來證明這一點。

根據(jù)1.27式我們有p_y(y)%3Dp_x(g(y))sg'(y),其中s%5Cin%5C%7B-1%2C%2B1%5C%7D對應去絕對值后的符號?;谶@個公式有:

p_y'(y)%3Dsp_x'(g(y))%5C%7Bg'(y)%5C%7D%5E2%2Bsp_x(g(y))g''(y)

假設x%5E%5Castp_x(x)的極值點,則根據(jù)x%3Dg(y)得到的y%5E%5Cast(滿足x%5E%5Cast%20%3D%20g(y%5E%5Cast))是否一定是p_y(y)的極值點了?即是否一定有p_y'(y%5E%5Cast)%20%3D%200了?將x%5E%5Cast%2C%20y%5E%5Cast代入上式后有

p_y'(y%5E%5Cast)%3Dsp_x'(g(y%5E%5Cast))%5C%7Bg'(y%5E%5Cast)%5C%7D%5E2%2Bsp_x(g(y%5E%5Cast))g''(y%5E%5Cast)

上式右邊第一項必為0因為有p_x'(g(y%5E%5Cast))%3D0,但第二項就不一定為0了......

【本問題未完結,但至此已達到B站插入公式數(shù)量上限量,無法繼續(xù)刊載,請需要的朋友聯(lián)系我拿notes...】

概率密度函數(shù)映射變換推導(PRML-1.27式)的評論 (共 條)

分享到微博請遵守國家法律
田林县| 闽侯县| 三都| 普陀区| 安顺市| 临安市| 麟游县| 瑞金市| 上林县| 天峻县| 南通市| 英山县| 江津市| 垫江县| 三门县| 彭州市| 翼城县| 富阳市| 中超| 万全县| 志丹县| 石嘴山市| 嵊泗县| 句容市| 清远市| 襄城县| 岳西县| 巴南区| 临江市| 安仁县| 佳木斯市| 黄石市| 克山县| 武乡县| 大荔县| 磐安县| 那坡县| 深水埗区| 乐至县| 高台县| 方正县|