国产精品天干天干,亚洲毛片在线,日韩gay小鲜肉啪啪18禁,女同Gay自慰喷水

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

關(guān)于信息熵(香農(nóng)熵)

2021-06-27 11:32 作者:子燁紫冶籽  | 我要投稿

這一部分有點頭疼,做好心理準(zhǔn)備吧。

測量信息熵的公式,需要滿足這三個條件:

第一,它必須是連續(xù)性的

第二,如果每個事件的概率一樣,那么事件的數(shù)目越大,這個公式結(jié)果也要越高。(可能性越高,信息熵的值也越高,意味著不可預(yù)測性更高)

第三,允許“疊buff”,也就是說

H(p_%7B1%7D%2Cp_%7B2%7D%2C...%2Cp_%7Bn%7D)%3DH(p_%7B1%7D%2Cq)%2BqH(%5Cfrac%7Bp_%7B2%7D%7D%7Bq%7D%2C%5Cfrac%7Bp_%7B3%7D%7D%7Bq%7D%2C...%2C%5Cfrac%7Bp_%7Bn%7D%7D%7Bq%7D)%2C%20p_%7B1%7D%2Bq%3D1

而滿足這三個條件的,只有這個情況:

H%3D-K%5Csum_%7Bi%3D1%7D%5En%20p_%7Bi%7D%5Clog%20p_%7Bi%7D%2C%20k%3E0

具體這玩意怎樣搞出來的,就是:

我們先應(yīng)用第二個條件:

H(%5Cfrac%7B1%7D%7Bn%7D%2C%5Cfrac%7B1%7D%7Bn%7D%2C...%2C%5Cfrac%7B1%7D%7Bn%7D)

然后我們拆解一下,從s%5Em挑選一個,換成從s挑選m次。

打個比方,一個128位元的值,等于(0,1)之間選擇了128次。

所以,A(s%5Em)%3Dm%5Ccdot%20A(s)

同樣的,把s換成t,把m換成n也成立,隨便選一個n,然后假設(shè)這個m可以滿足:

s%5Em%5Cleq%20t%5En%20%3Cs%5E%7Bm%2B1%7D

加入對數(shù),并除以n%5Clog%20s,就有兩種可能:

%5Cfrac%7Bm%7D%7Bn%7D%20%5Cleq%20%5Cfrac%7B%5Clog%7Bt%7D%7D%7B%5Clog%7Bs%7D%7D%5Cleq%5Cfrac%7Bm%7D%7Bn%7D%2B%5Cfrac%7B1%7D%7Bn%7D,或者%5Cvert%20%5Cfrac%7Bm%7D%7Bn%7D%20-%20%5Cfrac%7B%5Clog%7Bt%7D%7D%7B%5Clog%7Bs%7D%7D%20%5Cvert%20%3C%5Cepsilon%20

考慮到第二個條件,

A(s%5Em)%5Cleq%20A(t%5En)%5Cleq%20A(s%5E%7Bm%2B1%7D)%2C%20m%20A(s)%5Cleq%20nA(t)%5Cleq%20(m%2B1)%20A(s)

后面那個再進行一次對數(shù)處理,除以nA(s)之后:

%5Cfrac%7Bm%7D%7Bn%7D%20%5Cleq%20%5Cfrac%7BA(t)%7D%7BA(s)%7D%20%5Cleq%20%5Cfrac%7Bm%2B1%7D%7Bn%7D

%5Cvert%20%5Cfrac%7BA(t)%7D%7BA(s)%7D%20-%20%5Cfrac%7B%5Clog%20%7Bt%7D%7D%7B%5Clog%20%7Bs%7D%7D%20%5Cvert%20%5Cleq%202%5Cepsilon%2CA(t)%20%3D%20-K%20%5Clog%7Bt%7D

這個K必須為正以滿足第二個條件。

我們假設(shè)在n可能性中有個選項i,而其概率為p_i%3D%5Cfrac%7Bn_i%7D%7B%5CSigma%20n_%7Bi%7D%7D,使用第三個條件,可以這么組合:

K%5Clog%7B%5CSigma%20n_%7Bi%7D%7D%3DH(p_%7Bi%7D%2C...%2Cp_%7Bn%7D)%20%2B%20K%5CSigma%20p_%7Bi%7D%20%5Clog%7Bn_i%7D

所以

H%3DK%5B%5CSigma%20p_%7Bi%7D%5Clog%5CSigma%20n_%7Bi%7D-%5CSigma%20p_%7Bi%7D%20%5Clog%20%7Bn_%7Bi%7D%7D%5D%20%3D%20-%20K%5CSigma%20p_%7Bi%7D%5Clog%7B%5Cfrac%7Bn_%7Bi%7D%7D%7B%5CSigma%20n_%7Bi%7D%7D%7D%20%3D%20-K%20%5CSigma%20p_%7Bi%7D%20%5Clog%7Bp_%7Bi%7D%7D


關(guān)于信息熵(香農(nóng)熵)的評論 (共 條)

分享到微博請遵守國家法律
南澳县| 科技| 新巴尔虎右旗| 普洱| 永新县| 大庆市| 新兴县| 罗江县| 沅陵县| 洪江市| 禹城市| 大丰市| 曲松县| 黄山市| 泗洪县| 大同市| 兴城市| 平定县| 奎屯市| 赤峰市| 漳州市| 瑞昌市| 太康县| 峨眉山市| 祁阳县| 塔河县| 达尔| 进贤县| 梅河口市| 大竹县| 潮州市| 民县| 诏安县| 唐海县| 霍山县| 丰顺县| 婺源县| 南乐县| 即墨市| 新宁县| 南通市|