從概念上講。概率編程語(yǔ)言(PPL)是領(lǐng)域特定的語(yǔ)言，描述了概率模型以及在這些模型中進(jìn)行推理的機(jī)制。PPL的魔力在于將概率方法的推理能力與編程語(yǔ)言的表示能力相結(jié)合。

簡(jiǎn)單來(lái)說(shuō)概率編程是一種系統(tǒng)創(chuàng)建方法;它所創(chuàng)建的系統(tǒng)能夠幫助我們?cè)诿鎸?duì)不確定性時(shí)做出決策。許多日常決策涉及在確定無(wú)法直接觀測(cè)的相關(guān)因素時(shí)的判斷能力。

在PPL程序中，假設(shè)使用模型變量的先驗(yàn)分布進(jìn)行編碼。在執(zhí)行期間，PPL程序?qū)?dòng)一個(gè)推理過(guò)程， 以根據(jù)觀察到的數(shù)據(jù)自動(dòng)計(jì)算模型參數(shù)的后驗(yàn)分布。

換句話說(shuō)，推論使用觀察到的數(shù)據(jù)來(lái)調(diào)整先驗(yàn)分布以給出更精確的模式。PPL程序的輸出是概率分布,它使程序員可以顯式可視化和操縱與結(jié)果相關(guān)的不確定性。

為了說(shuō)明PPL的簡(jiǎn)單性。讓我們使用現(xiàn)代統(tǒng)計(jì)中最著名的問(wèn)題之一偏向拋硬幣。這個(gè)問(wèn)題的想法是計(jì)算硬幣的偏差。假設(shè)第次拋硬幣的結(jié)果為正面時(shí)xi=1,如果為尾部則ix=0。

我們的上下文假設(shè)單個(gè)拋硬幣是獨(dú)立且均勻分布的(IID),并且每個(gè)拋硬幣都遵循具有參數(shù)θ的伯努利分布:p(xi=1.|θ)=θ和p(xi=0|θ)=1-θ。潛變量(即未觀察到的變量)是硬幣的偏差。任務(wù)是根據(jù)先前觀察到的拋硬幣的結(jié)果推論θ,即p(θ|x1，x2，…，xN）。

從概念上講,深度PPL可以表達(dá)具有概率權(quán)重和偏差的貝葉斯神經(jīng)網(wǎng)絡(luò)。實(shí)際上，深度PPL已實(shí)現(xiàn)為與流行的深度學(xué)習(xí)框架無(wú)縫集成的新概率語(yǔ)言和庫(kù)。

最近，統(tǒng)計(jì)和神經(jīng)網(wǎng)絡(luò)聚集在一起， 將深度學(xué)習(xí)和貝葉斯建模結(jié)合到單個(gè)程序中。這種努力的最終表達(dá)是深度概率編程語(yǔ)言。微軟最近開放了Infer.Net的源代碼，該框架簡(jiǎn)化了.Net開發(fā)人員的概率編程