使用CRP表示法擬合伽馬混合分布

不限于在DPM模型中使用高斯核。就Old Faithful數(shù)據(jù)而言，除了我們?cè)谏弦还?jié)中介紹的對(duì)數(shù)尺度上的高斯核的混合分布外，還有一種選擇是數(shù)據(jù)原始尺度上的伽馬混合分布。

模型

在這種情況下，模型的形式為

其中

對(duì)應(yīng)于兩個(gè)獨(dú)立Gamma分布的乘積。下面的代碼提供了該模型。

1. y[i] ~ dgamma(shape = beta[i], scale = lambda[i])

2. beta[i] <- betaTilde[xi[i]]

3. lambda[i] <- lambdaTilde[xi[i]]

請(qǐng)注意，在這種情況下，向量beta和lambda的長(zhǎng)度為?

。這樣做是為了減少與采樣算法有關(guān)的計(jì)算和存儲(chǔ)負(fù)擔(dān)。你可以把這種方法看作是對(duì)過(guò)程的截?cái)?，只不過(guò)它可以被認(rèn)為是*精確的截?cái)唷Ｊ聦?shí)上，在CRP表示法下，只要采樣器的成分?jǐn)?shù)嚴(yán)格低于采樣器每次迭代的參數(shù)向量的長(zhǎng)度，使用長(zhǎng)度短于樣本中觀察值的參數(shù)向量就會(huì)生成一個(gè)合適的算法。

運(yùn)行MCMC算法

下面的代碼設(shè)置了模型數(shù)據(jù)和常數(shù)，初始化了參數(shù)，定義了模型對(duì)象，并建立和運(yùn)行了Gamma混合分布的MCMC算法。請(qǐng)注意，在構(gòu)建MCMC時(shí)，會(huì)產(chǎn)生一個(gè)關(guān)于聚類(lèi)參數(shù)數(shù)量的警告信息。這是因?yàn)閎etaTilde和lambdaTilde的長(zhǎng)度小于

。另外，請(qǐng)注意，在執(zhí)行過(guò)程中沒(méi)有產(chǎn)生錯(cuò)誤信息，這表明所需的集群數(shù)量未超過(guò)50個(gè)的上限。

1. data <- list(y = waiting)

2. Model(code, data = data)

在這種情況下，我們使用參數(shù)的后驗(yàn)樣本來(lái)構(gòu)建一個(gè)軌跡圖，并估計(jì)

的后驗(yàn)分布。
?

1. # 參數(shù)的后驗(yàn)樣本的跟蹤圖

2. ts.plot(samples[ , 'alpha'], xlab = "iteration", ylab = expression(alpha))

1. 


2. # 參數(shù)的后驗(yàn)樣本的直方圖

3. hist(samples[, 'alpha'])

4. 


從混合分布中生成樣本

和以前一樣，我們從后驗(yàn)分布

中獲得樣本。
?

outputG <- getSamplesDPmeasure(cmcmc)

我們使用這些樣本來(lái)創(chuàng)建一個(gè)數(shù)據(jù)密度的估計(jì)值，以及一個(gè)95%置信帶。?

1. 


2. for(iter in seq_len)) {

3. density[iter, ] <- sapply(grid, function(x)

4. sum( weightSamples[iter, ] * dgamma)))

5. }

8. hist(waiting, freq = FALSE

我們?cè)俅慰吹?，?shù)據(jù)的密度是雙峰的，看起來(lái)與我們之前得到的數(shù)據(jù)非常相似。

使用stick-breaking?表示法擬合伽馬DP混合分布

模型

Dirichlet過(guò)程混合物的另一種表示方法是使用隨機(jī)分布

的stick-breaking表示（Sethuraman, 1994）。

引入輔助變量，

表明哪個(gè)成分產(chǎn)生了每個(gè)觀測(cè)值，上一節(jié)討論的Gamma密度的混合物的相應(yīng)模型的形式為

其中

?是兩個(gè)獨(dú)立Gamma分布的乘積。

與

. 下面的代碼提供了該模型說(shuō)明。?

1. 


2. y[i] ~ dgamma(shape = beta[i], scale = lambda[i])

3. beta[i] <- betaStar[z[i]]

4. lambda[i] <- lambdaStar[z[i]]

5. z[i] ~ dcat(w[1:Trunc])

6. # stick-breaking

7. v[i] ~ dbeta(1, alpha)

8. w[1:Trunc] <- stick_breaking(v[1:(Trunc-1)]) # stick-breaking 權(quán)重

9. betaStar[i] ~ dgamma(shape = 71, scale = 2)

注意，截?cái)嗨?/p>

已被設(shè)置為T(mén)runc值，該值將在函數(shù)的常數(shù)參數(shù)中定義。

運(yùn)行MCMC算法

下面的代碼設(shè)置了模型數(shù)據(jù)和常量，初始化了參數(shù)，定義了模型對(duì)象，并建立和運(yùn)行了Gamma混合分布的MCMC算法。當(dāng)使用stick-breaking表示時(shí)，會(huì)指定一個(gè)分塊Gibbs抽樣器（Ishwaran, 2001; Ishwaran and James, 2002）。

1. data <- list(y = waiting)

2. consts <-length(waiting)

3. betaStar = rgamma

4. lambdaStar = rgamma

5. v = rbeta

6. z = sample

7. alpha = 1

8. 


compile(Model)

1. MCMC(rModel, c("w", "betaStar", "lambdaStar", 'z', 'alpha'))

2. comp(mcmc )

使用stick-breaking近似法會(huì)自動(dòng)提供隨機(jī)分布的近似值

，即?

。下面的代碼使用來(lái)自

樣本對(duì)象的后驗(yàn)樣本計(jì)算后驗(yàn)樣本，并從中計(jì)算出數(shù)據(jù)的密度估計(jì)。

1. 


2. densitySamples[i, ] <- sapply(grid, function(x) sum(weightSamples ?* dgamma(x, shape ,

3. scale )))

4. 


5. hist( waiting ylim=c(0,0.05),

6. 


正如預(yù)期的那樣，這個(gè)估計(jì)值看起來(lái)與我們通過(guò)CRP表示的過(guò)程獲得的估計(jì)值相同。

貝葉斯非參數(shù)化：非參數(shù)化隨機(jī)效應(yīng)

我們將采用一個(gè)參數(shù)化的廣義線(xiàn)性混合模型，并展示如何切換到非參數(shù)化的隨機(jī)效應(yīng)表示，避免了正態(tài)分布的隨機(jī)效應(yīng)假設(shè)。

心肌梗死（MIs）的參數(shù)化meta分析

我們將在對(duì)以前非常流行的糖尿病藥物 "Avandia "的副作用進(jìn)行meta分析的背景下，說(shuō)明使用非參數(shù)混合模型對(duì)隨機(jī)效應(yīng)分布進(jìn)行建模。我們分析的數(shù)據(jù)在引起對(duì)這種藥物的安全性的嚴(yán)重質(zhì)疑方面發(fā)揮了作用。問(wèn)題是使用"Avandia "是否會(huì)增加心肌梗死（心臟病發(fā)作）的風(fēng)險(xiǎn)。，每項(xiàng)研究都有治療和對(duì)照組。

模型的制定

我們首先進(jìn)行基于標(biāo)準(zhǔn)的廣義線(xiàn)性混合模型（GLMM）的meta分析。向量n和x分別包含對(duì)照組的患者總數(shù)和每項(xiàng)研究中對(duì)照組的心肌梗死患者人數(shù)。同樣，向量m和y包含接受藥物的病人的類(lèi)似信息。該模型的形式為

其中，隨機(jī)效應(yīng)

、遵循共同的正態(tài)分布

、

和

被合理地賦予非信息性先驗(yàn)。參數(shù)

量化了對(duì)照組和治療組之間的風(fēng)險(xiǎn)差異，而參數(shù)

則量化了研究的具體變化。

這個(gè)模型可以用以下代碼指定。

1. 


2. y[i] ~ dbin(size = m[i], prob = q[i]) # 藥物MIs

3. x[i] ~ dbin(size = n[i], prob = p[i]) # 控制MIs

4. q[i] <- expit(theta + gamma[i]) # 藥物的對(duì)數(shù)指數(shù)

5. p[i] <- expit(gamma[i]) #對(duì)照組對(duì)數(shù)

6. gamma[i] ~ dnorm(mu, var = tau2) # 研究效果

7. theta ~ dflat() # 藥物的影響

8. # 隨機(jī)效應(yīng)超參數(shù)

9. mu ~ dnorm(0, 10)

10. tau2 ~ dinvgamma(2, 1)

11. 


運(yùn)行MCMC

讓我們來(lái)運(yùn)行一個(gè)基本的MCMC。

1. MCMC(codeParam, ?data, inits,

2. constants, monitors = c("mu", "tau2", "theta", "gamma")

結(jié)果表明，對(duì)照組和治療組之間存在著整體的風(fēng)險(xiǎn)差異。但是正態(tài)性假設(shè)呢？我們的結(jié)論對(duì)該假設(shè)是否穩(wěn)??？也許隨機(jī)效應(yīng)的分布是偏斜的。

用于meta分析的基于DP的隨機(jī)效應(yīng)模型

模型

現(xiàn)在，我們對(duì)

使用非參數(shù)分布。更具體地說(shuō)，我們假設(shè)每個(gè)

都是由位置尺度的正態(tài)混合分布產(chǎn)生的。

這種模型引起了隨機(jī)效應(yīng)之間的聚類(lèi)。與密度估計(jì)問(wèn)題的情況一樣，DP先驗(yàn)允許數(shù)據(jù)決定分量的數(shù)量，從最少的一個(gè)分量（即簡(jiǎn)化為參數(shù)模型）到最多的分量，即每個(gè)觀測(cè)值有一個(gè)分量。如果數(shù)據(jù)支持這種行為，這允許隨機(jī)效應(yīng)的分布是多模態(tài)的，大大增加了其靈活性。這個(gè)模型可以用以下代碼指定。

1. 


2. y[i] ~ dbin(size = m[i], prob = q[i]) # 藥物MIs

3. x[i] ~ dbin(size = n[i], prob = p[i]) # MIs

4. q[i] <- expit(theta + gamma[i]) # 藥物的對(duì)數(shù)指數(shù)

5. p[i] <- expit(gamma[i]) # 對(duì)照組對(duì)數(shù)值

6. gamma[i] ~ dnorm(mu[i], var = tau2[i]) # 來(lái)自混合物的隨機(jī)效應(yīng)。

7. mu[i]<- muTilde[xi[i]] ? ? ? ? ? ? ? ? # 來(lái)自聚類(lèi)的隨機(jī)效應(yīng)的平均值 xi[i]

8. tau2[i] <- tau2Tilde[xi[i]] ? ? ? ? ? # 來(lái)自群組xi[i]的隨機(jī)效應(yīng)變量

9. # 從基礎(chǔ)測(cè)量中提取混合成分參數(shù)

10. muTilde[i] ~ dnorm(mu0, var = var0)

11. tau2Tilde[i] ~ dinvgamma(a0, b0)

12. # 用于將研究報(bào)告聚類(lèi)為混合成分的CRP

13. xi[1:nStudies] ~ dCRP(alpha, size = nStudies)

14. # 超參數(shù)

15. 


16. theta ~ dflat() # 藥物的影響

17. 


運(yùn)行MCMC

以下代碼對(duì)模型進(jìn)行了編譯，并對(duì)模型運(yùn)行了一個(gè)壓縮Gibbs抽樣

1. inits <- list(gamma = rnorm(nStudies))

2. 


3. MCMC(code = BNP, data = data)

主要推論似乎對(duì)原始的參數(shù)化假設(shè)很穩(wěn)健。這可能是由于沒(méi)有太多證據(jù)表明隨機(jī)效應(yīng)分布中缺乏正態(tài)性。

參考文獻(xiàn)

Blackwell, D. and MacQueen, J. 1973. Ferguson distributions via Polya urn schemes. The Annals of Statistics 1:353-355.

Ferguson, T.S. 1974. Prior distribution on the spaces of probability measures. Annals of Statistics 2:615-629.

Lo, A.Y. 1984. On a class of Bayesian nonparametric estimates I: Density estimates. The Annals of Statistics 12:351-357.

最受歡迎的見(jiàn)解

1.matlab使用貝葉斯優(yōu)化的深度學(xué)習(xí)

2.matlab貝葉斯隱馬爾可夫hmm模型實(shí)現(xiàn)

3.R語(yǔ)言Gibbs抽樣的貝葉斯簡(jiǎn)單線(xiàn)性回歸仿真

4.R語(yǔ)言中的block Gibbs吉布斯采樣貝葉斯多元線(xiàn)性回歸

5.R語(yǔ)言中的Stan概率編程MCMC采樣的貝葉斯模型

6.Python用PyMC3實(shí)現(xiàn)貝葉斯線(xiàn)性回歸模型

7.R語(yǔ)言使用貝葉斯 層次模型進(jìn)行空間數(shù)據(jù)分析

8.R語(yǔ)言隨機(jī)搜索變量選擇SSVS估計(jì)貝葉斯向量自回歸（BVAR）模型

9.matlab貝葉斯隱馬爾可夫hmm模型實(shí)現(xiàn)