拓端tecdat：R語言集成模型：提升樹boosting、隨機(jī)森林、約束最小二乘法加權(quán)平均模型
原文鏈接：http://tecdat.cn/?p=24148
原文出處：拓端數(shù)據(jù)部落公眾號
特別是在經(jīng)濟(jì)學(xué)/計量經(jīng)濟(jì)學(xué)中，建模者不相信他們的模型能反映現(xiàn)實。比如：收益率曲線并不遵循三因素的Nelson-Siegel模型，股票與其相關(guān)因素之間的關(guān)系并不是線性的，波動率也不遵循Garch(1,1)過程，或者Garch(?,?)。我們只是試圖為我們看到的現(xiàn)象找到一個合適的描述。
模型的發(fā)展往往不是由我們的理解決定的，而是由新的數(shù)據(jù)的到來決定的，這些數(shù)據(jù)并不適合現(xiàn)有的看法。有些人甚至可以說，現(xiàn)實沒有基本的模型（或數(shù)據(jù)生成過程）。正如漢森在《計量經(jīng)濟(jì)學(xué)模型選擇的挑戰(zhàn)》中寫道。
“模型應(yīng)該被視為近似值，計量經(jīng)濟(jì)學(xué)理論應(yīng)該認(rèn)真對待這一點”
所有的理論都自然而然地遵循 "如果這是一個過程，那么我們就顯示出對真實參數(shù)的收斂性 "的思路。收斂性很重要，但這是一個很大的假設(shè)。無論是否存在這樣的過程，這樣的真實模型，我們都不知道它是什么。同樣，特別是在社會科學(xué)領(lǐng)域，即使有一個真正的GDP，你可以認(rèn)為它是可變的。
這種討論引起了模型的組合，或者預(yù)測未來的組合。如果我們不知道潛在的真相，結(jié)合不同的選擇，或不同的建模方法可能會產(chǎn)生更好的結(jié)果。
?
模型平均
讓我們使用 3 種不同的模型對時間序列數(shù)據(jù)進(jìn)行預(yù)測。簡單回歸 (OLS)、提升樹和隨機(jī)森林。一旦獲得了三個預(yù)測，我們就可以對它們進(jìn)行平均。
# 加載代碼運行所需的軟件包。如果你缺少任何軟件包，先安裝。tem <- lappy(c("randomoest", "gb", "quanteg"), librry, charter.oly=T)# 回歸模型。moelm <- lm(y~x1+x2, data=f)molrf <- ranmFrst(y~x1+x2, dta=df)mogm <- gb(ata=df, g.x=1:2, b.y=4faiy = "gssian", tre.comle = 5, eain.rate = 0.01, bg.fratn = 0.5)# 現(xiàn)在我們對樣本外的預(yù)測。#-------------------------------Tt_ofsamp <- 500boosf <- pbot(df_new$x1, df_new$x2)rfft <- pf(df_new$x1, df_new$x2)lmt <- pm(df_new$x1, df_new$x2)# 綁定預(yù)測mtfht <- cbind(bo_hat, f_fat, lm_at)# 命名這些列c("Boosting", "Random Forest", "OLS")# 定義一個預(yù)測組合方案。# 為結(jié)果留出空間。resls <- st()# 最初的30個觀測值作為初始窗口# 重新估計新的觀測值到達(dá)it_inw = 30for(i in 1:leth(A_shes)){A_nw$y, mt_fht,Aeng_hee= A_scmes[i, n_wiow = intwdow )}# 該函數(shù)輸出每個預(yù)測平均方案的MSE。# 讓我們檢查一下各個方法的MSE是多少。atr <- apy(ma_ht, 2, fucon(x) (df_wy - x)^2 )apy(ma_er[nitnow:Tou_o_saple, ], 2, fncon(x) 100*( man(x) ) )
在這種情況下，最準(zhǔn)確的方法是提升。但是，在其他一些情況下，根據(jù)情況，隨機(jī)森林會比提升更好。如果我們使用約束最小二乘法，我們可以獲得幾乎最準(zhǔn)確的結(jié)果，但這不需要事先選擇 Boosting 、Random Forest 方法。繼續(xù)介紹性討論，我們只是不知道哪種模型會提供最佳結(jié)果以及何時會這樣做。
加權(quán)平均模型融合預(yù)測
?
?是你的預(yù)測變量，?
?是時間預(yù)測?
?，從方法?
， 和?
?例如OLS，?
?提升樹和?
?是隨機(jī)森林。您可以只取預(yù)測的平均值：
??
![\[\frac{\sum^3_{i=1} \widehat{y}_{i,t} }{3}.\]](https://b1.sanwen.net/b_article/7cee4312cd02b249462f15fceaaf5a76509c288b.png)
通常，這個簡單的平均值表現(xiàn)非常好。
在 OLS 平均中，我們簡單地將預(yù)測投影到目標(biāo)上，所得系數(shù)用作權(quán)重：
??
![\[\widehat{y}^{combined}_t = \widehat{w}_{0t} + \sum_{i = 1}^3 \widehat{w}_{i,t} \widehat{y}_{它}。\]](https://b1.sanwen.net/b_article/09315ee8d38c7f3b5f4e860c9b292a3897f33989.png)
這是相當(dāng)不穩(wěn)定的。所有預(yù)測都有相同的目標(biāo)，因此它們很可能是相關(guān)的，這使得估計系數(shù)變得困難。穩(wěn)定系數(shù)的一個不錯的方法是使用約束優(yōu)化，即您解決最小二乘問題，但在以下約束下：
??
![\[w_{0t} = 0 \quad \text{and} \quad \sum_{i = 1}^3 w_{it} = 1, \qquad \forall t.\]](https://b1.sanwen.net/b_article/4a7f04534e5ec848139cf71c5da077eb58c24a2f.png)
另一種方法是根據(jù)預(yù)測的準(zhǔn)確程度對預(yù)測進(jìn)行平均化，直到基于一些指標(biāo)如根MSE。我們反轉(zhuǎn)權(quán)重，使更準(zhǔn)確的（低RMSE）獲得更多權(quán)重。
??
![\[w_{it} = \frac{\left(\frac{RMSE_{i,t} }{\sum_{i = 1}^3 RMSE_{i,t}}\right)^{-1}}{ \sum_{i = 1}^3 \left(\frac{RMSE_{i,t} }{\sum_{i = 1}^3 RMSE_{i,t}}\right)^{-1} } = \ frac{\frac{1}{RMSE_{i,t}}}{\sum_{i=1}^3\frac{1}{RMSE_{i,t}}}.\]](https://b1.sanwen.net/b_article/0b68bb1ba45351626e0a29f439f7cbf58758b35d.png)
您可以繪制各個方法的權(quán)重：
這是預(yù)測平均方法。
## 需要的子程序。er <- funcion(os, red){ man( (os - ped)^2 ) }## 不同的預(yù)測平均方案##簡單??rd <- aply(a_at, 1, an)??wehs <- trx( 1/p, now = TT, ncl = p)??## OLS權(quán)重?? wgs <- marx( nol=(p+1)T)??for (i in in_wnow:TT) {??wghs[i,] <- lm $oefpd <- t(eigs[i,])%*%c(1, aht[i,] )## 穩(wěn)健的權(quán)重?? for (i in iitnow:T) {????whs[i,] <- q(bs[1:(i-1)]~ aft[1:(i-1),] )$cef?? prd[i] <- t(wihs[i,] )*c(1, atfha[i,])?? ##基于誤差的方差。MSE的倒數(shù)??for (i in n_no:TT) {?? mp =aply(aerr[1:(i-1),]^2,2,ean)/um（aply(mter[1:(i-1),]^2,2,man))??wigs[i,] <- (1/tmp)/sum(1/tep)??ped[i] <- t(wits[i,] )%*%c(maat[i,] )??##使用約束最小二乘法for (i in itd：wTT) {??weht[i,] <- s1(bs[1:(i-1)], a_fat[1:(i-1),] )$wigts??red[i] <- t(wehs[i,])%*%c(aht[i,] )??##根據(jù)損失的平方函數(shù)，挑選出迄今為止表現(xiàn)最好的模型????tmp <- apy(mt_fat[-c(1:iit_wdow),], 2, ser, obs= obs[-c(1:ntwiow)] )????for (i in it_idw:TT) {????wghs[i,] <- rp(0,p)????wihts[i, min(tep)] <- 1????ped[i] <- t(wiht[i,] )*c(mht[i,] )????} }MSE <- sr(obs= os[-c（1：intiow）], red= red[-c（1：itwiow）])
最受歡迎的見解
1.在python中使用lstm和pytorch進(jìn)行時間序列預(yù)測
2.python中利用長短期記憶模型lstm進(jìn)行時間序列預(yù)測分析
3.使用r語言進(jìn)行時間序列（arima，指數(shù)平滑）分析
4.r語言多元copula-garch-模型時間序列預(yù)測
5.r語言copulas和金融時間序列案例
6.使用r語言隨機(jī)波動模型sv處理時間序列中的隨機(jī)波動
7.r語言時間序列tar閾值自回歸模型
8.r語言k-shape時間序列聚類方法對股票價格時間序列聚類
9.python3用arima模型進(jìn)行時間序列預(yù)測
