原文鏈接：http://tecdat.cn/?p=19405?

原文出處：拓端數(shù)據(jù)部落公眾號

包含更多的預測變量不是免費的：在系數(shù)估算的更多可變性，更難的解釋以及可能包含高度依賴的預測變量方面要付出代價。確實，??對于樣本大小

，在線性模型中可以考慮?的預測變量最大數(shù)量為 p??；虻刃У?，使用預測變量p 擬合模型需要最小樣本量

。

如果我們考慮p = 1 和 p = 2 的幾何，這一事實的解釋很簡單：

• 如果p = 1，則至少需要n = 2個點才能唯一地擬合一條線。但是，這條線沒有給出關于其周圍變化的信息，因此無法估計

• 。因此，我們至少需要

• 個點，換句話說就是

• 。

• 如果p = 2 ，則至少需要n = 3個點才能唯一地擬合平面。但是同樣，該平面沒有提供有關其周圍數(shù)據(jù)變化的信息，因此無法估計

• 。因此，我們需要

• 。

下一部分代碼的輸出闡明了

和

之間的區(qū)別。

1. 


2. # 數(shù)據(jù)：n個觀測值，p = n-1個預測變量

3. 


4. n <- 5

5. p <- n - 1

6. df <- data.frame(y = rnorm(n), x = matrix(rnorm(n * p), nrow = n, ncol = p))

7. 


8. # 情況p = n-1 = 2：可以估計beta，但不能估計sigma ^ 2（因此，不能執(zhí)行推斷，因為它需要估計的sigma ^ 2）

9. 


10. 


11. summary(lm(y ~ ., data = df))

12. 


13. # 情況p = n-2 = 1：可以估計beta和sigma ^ 2（因此可以進行推斷）

14. 


15. summary(lm(y ~ . - x.1, data = df))

當

減小時，自由度

量化

的變異性的增加。

?

既然我們已經(jīng)更多地了解了預測變量過多的問題，我們將重點放在??為多元回歸模型選擇最合適的預測變量上。如果沒有獨特的解決方案，這將是一項艱巨的任務。但是，有一個行之有效的程序通常會產(chǎn)生良好的結(jié)果：?逐步模型選擇。其原理是?依次比較具有不同預測變量的多個線性回歸模型。

在介紹該方法之前，我們需要了解什么是?信息準則。信息標準在模型的適用性與采用的預測變量數(shù)量之間取得平衡。兩個常見標準是?貝葉斯信息標準?（BIC）和?赤池信息標準?（AIC）。兩者都基于?模型適用性和復雜性之間的平衡：

其中

是模型的對?數(shù)似然度?（模型擬合數(shù)據(jù)的程度），而

是考慮的參數(shù)數(shù)量在模型中，對于具有p個預測變量的多元線性回歸模型，則為p + 2。AIC在用

替換了

，??因此，與BIC相比，它對?較復雜的模型的處罰較少。這就是為什么一些從業(yè)者更喜歡BIC進行模型比較的原因之一。BIC和AIC可以通過BIC?和?計算?AIC。

我們使用地區(qū)房價數(shù)據(jù)，變量介紹：

（1）town：每一個人口普查區(qū)所在的城鎮(zhèn)

（2）LON: 人口普查區(qū)中心的經(jīng)度

（3）LAT:?人口普查區(qū)中心的緯度

（4）MEDV: 每一個人口普查區(qū)所對應的房子價值的中位數(shù) (單位為$1000)

（5）CRIM: 人均犯罪率

（6）ZN: 土地中有多少是地區(qū)是大量住宅物業(yè)

（7）INDUS: 區(qū)域中用作工業(yè)用途的土地占比

（8）CHAS: 1：該人口普查區(qū)緊鄰查爾斯河；0： 該人口普查區(qū)沒有緊鄰查爾斯河

（9）NOX: 空氣中氮氧化物的集中度 (衡量空氣污染的指標)

（10）RM: 每個房子的平均房間數(shù)目

（11）AGE: 建于1940年以前的房子的比例

（12）DIS: 該人口普查區(qū)距離波士頓市中心的距離

（13）RAD: 距離重要高速路的遠近程度 (1代表最近；24代表最遠)

（14）TAX: 房子每$10,000價值所對應的稅收金額

（15）PTRATIO: 該城鎮(zhèn)學生與老師的比例

他們將作為模型輸入。

2. # 具有不同預測變量的兩個模型

3. 


4. mod1 <- lm(medv ~ age + crim, data = Boston)

5. mod2 <- lm(medv ~ age + crim + lstat, data = Boston)

7. # BICs

8. BIC(mod1)

9. ## [1] 3581.893

10. BIC(mod2) # 較小->較好

11. ## [1] 3300.841

13. # AICs

14. AIC(mod1)

15. ## [1] 3564.987

16. AIC(mod2) # 較小->較好

17. ## [1] 3279.708

19. # 檢查摘要

21. 


22. ##

23. ## Residuals:

24. ## ? ? Min ? ? ?1Q ?Median ? ? ?3Q ? ? Max

25. ## -13.940 ?-4.991 ?-2.420 ? 2.110 ?32.033

26. ##

27. ## Coefficients:

28. ## ? ? ? ? ? ? Estimate Std. Error t value Pr(>|t|)

29. ## (Intercept) 29.80067 ? ?0.97078 ?30.698 ?< 2e-16 ***

30. ## age ? ? ? ? -0.08955 ? ?0.01378 ?-6.499 1.95e-10 ***

31. ## crim ? ? ? ?-0.31182 ? ?0.04510 ?-6.914 1.43e-11 ***

32. ## ---

33. ## Signif. codes: ?0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

34. ##

35. ## Residual standard error: 8.157 on 503 degrees of freedom

36. ## Multiple R-squared: ?0.2166, Adjusted R-squared: ?0.2134

37. ## F-statistic: 69.52 on 2 and 503 DF, ?p-value: < 2.2e-16

38. summary(mod2)

39. ##

40. ## Call:

41. ## lm(formula = medv ~ age + crim + lstat, data = Boston)

42. ##

43. ## Residuals:

44. ## ? ? Min ? ? ?1Q ?Median ? ? ?3Q ? ? Max

45. ## -16.133 ?-3.848 ?-1.380 ? 1.970 ?23.644

46. ##

47. ## Coefficients:

48. ## ? ? ? ? ? ? Estimate Std. Error t value Pr(>|t|)

49. ## (Intercept) 32.82804 ? ?0.74774 ?43.903 ?< 2e-16 ***

50. ## age ? ? ? ? ?0.03765 ? ?0.01225 ? 3.074 ?0.00223 **

51. ## crim ? ? ? ?-0.08262 ? ?0.03594 ?-2.299 ?0.02193 *

52. ## lstat ? ? ? -0.99409 ? ?0.05075 -19.587 ?< 2e-16 ***

53. ## ---

54. ## Signif. codes: ?0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

55. ##

56. ## Residual standard error: 6.147 on 502 degrees of freedom

57. ## Multiple R-squared: ?0.5559, Adjusted R-squared: ?0.5533

58. ## F-statistic: 209.5 on 3 and 502 DF, ?p-value: < 2.2e-16

讓我們回到預測變量的選擇。如果我們有p個預測變量，那么一個簡單的過程就是檢查?所有?可用它們構建的可能模型，然后根據(jù)BIC / AIC選擇最佳模型。這就是所謂的?最佳子集選擇。問題在于存在

個可能的模型！
讓我們看看如何研究?wine?數(shù)據(jù)集，將使用所有可用預測變量的數(shù)據(jù)作為初始模型。

波爾多是法國的葡萄酒產(chǎn)區(qū)。盡管這種酒的生產(chǎn)方式幾乎相同，但已有數(shù)百年歷史，但每年的價格和質(zhì)量差異有時非常顯著。人們普遍認為波爾多葡萄酒陳年越老越好，因此有動力去儲存葡萄酒直至成熟。主要問題在于，僅通過品嘗就很難確定葡萄酒的質(zhì)量，因為在實際飲用時，味道會發(fā)生很大變化。這就是為什么葡萄酒品嘗師和專家會有所幫助的原因。他們品嘗葡萄酒，然后預測以后將是最好的葡萄酒。
1990年3月4日，《紐約時報》宣布普林斯頓大學經(jīng)濟學教授奧利·阿森費爾特（Orley Ashenfelter）可以預測波爾多葡萄酒的質(zhì)量而無需品嘗一滴。 Ashenfelter使用了一種稱為線性回歸的方法。該方法預測結(jié)果變量或因變量。作為自變量，他使用了酒的年份（因此，較老的酒會更昂貴）和與天氣有關的信息，特別是平均生長季節(jié)溫度，收成雨和冬雨。

stepAIC?將參數(shù)?k?設為2 （默認值）或

，其中n是樣本大小。k = 2?它采用AIC準則，?k = log(n)?它采用BIC準則。

2. # 完整模型

4. 


5. # 用 BIC

6. ## Start: ?AIC=-53.29

7. ## Price ~ Year + WinterRain + AGST + HarvestRain + Age + FrancePop

8. ##

9. ##

10. ## Step: ?AIC=-53.29

11. ## Price ~ Year + WinterRain + AGST + HarvestRain + FrancePop

12. ##

13. ## ? ? ? ? ? ? ? Df Sum of Sq ? ?RSS ? ? AIC

14. ## - FrancePop ? ?1 ? ?0.0026 1.8058 -56.551

15. ## - Year ? ? ? ? 1 ? ?0.0048 1.8080 -56.519

16. ## <none> ? ? ? ? ? ? ? ? ? ? 1.8032 -53.295

17. ## - WinterRain ? 1 ? ?0.4585 2.2617 -50.473

18. ## - HarvestRain ?1 ? ?1.8063 3.6095 -37.852

19. ## - AGST ? ? ? ? 1 ? ?3.3756 5.1788 -28.105

20. ##

21. ## Step: ?AIC=-56.55

22. ## Price ~ Year + WinterRain + AGST + HarvestRain

23. ##

24. ## ? ? ? ? ? ? ? Df Sum of Sq ? ?RSS ? ? AIC

25. ## <none> ? ? ? ? ? ? ? ? ? ? 1.8058 -56.551

26. ## - WinterRain ? 1 ? ?0.4809 2.2867 -53.473

27. ## - Year ? ? ? ? 1 ? ?0.9089 2.7147 -48.840

28. ## - HarvestRain ?1 ? ?1.8760 3.6818 -40.612

29. ## - AGST ? ? ? ? 1 ? ?3.4428 5.2486 -31.039

30. 


31. summary(modBIC)

32. ##

33. ## Call:

34. ## lm(formula = Price ~ Year + WinterRain + AGST + HarvestRain,

35. ## ? ? data = wine)

36. ##

37. ## Residuals:

38. ## ? ? ?Min ? ? ? 1Q ? Median ? ? ? 3Q ? ? ?Max

39. ## -0.46024 -0.23862 ?0.01347 ?0.18601 ?0.53443

40. ##

41. ## Coefficients:

42. ## ? ? ? ? ? ? ? Estimate Std. Error t value Pr(>|t|)

43. ## (Intercept) 43.6390418 14.6939240 ? 2.970 ?0.00707 **

44. ## Year ? ? ? ?-0.0238480 ?0.0071667 ?-3.328 ?0.00305 **

45. ## WinterRain ? 0.0011667 ?0.0004820 ? 2.420 ?0.02421 *

46. ## AGST ? ? ? ? 0.6163916 ?0.0951747 ? 6.476 1.63e-06 ***

47. ## HarvestRain -0.0038606 ?0.0008075 ?-4.781 8.97e-05 ***

48. ## ---

49. ## Signif. codes: ?0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

50. ##

51. ## Residual standard error: 0.2865 on 22 degrees of freedom

52. ## Multiple R-squared: ?0.8275, Adjusted R-squared: ?0.7962

53. ## F-statistic: 26.39 on 4 and 22 DF, ?p-value: 4.057e-08

55. # 用 AIC

56. ## Start: ?AIC=-61.07

57. ## Price ~ Year + WinterRain + AGST + HarvestRain + Age + FrancePop

58. ##

59. ##

60. ## Step: ?AIC=-61.07

61. ## Price ~ Year + WinterRain + AGST + HarvestRain + FrancePop

62. ##

63. ## ? ? ? ? ? ? ? Df Sum of Sq ? ?RSS ? ? AIC

64. ## - FrancePop ? ?1 ? ?0.0026 1.8058 -63.031

65. ## - Year ? ? ? ? 1 ? ?0.0048 1.8080 -62.998

66. ## <none> ? ? ? ? ? ? ? ? ? ? 1.8032 -61.070

67. ## - WinterRain ? 1 ? ?0.4585 2.2617 -56.952

68. ## - HarvestRain ?1 ? ?1.8063 3.6095 -44.331

69. ## - AGST ? ? ? ? 1 ? ?3.3756 5.1788 -34.584

70. ##

71. ## Step: ?AIC=-63.03

72. ## Price ~ Year + WinterRain + AGST + HarvestRain

73. ##

74. ## ? ? ? ? ? ? ? Df Sum of Sq ? ?RSS ? ? AIC

75. ## <none> ? ? ? ? ? ? ? ? ? ? 1.8058 -63.031

76. ## - WinterRain ? 1 ? ?0.4809 2.2867 -58.656

77. ## - Year ? ? ? ? 1 ? ?0.9089 2.7147 -54.023

78. ## - HarvestRain ?1 ? ?1.8760 3.6818 -45.796

79. ## - AGST ? ? ? ? 1 ? ?3.4428 5.2486 -36.222

80. summary(modAIC)

81. ##

82. ## Call:

83. ## lm(formula = Price ~ Year + WinterRain + AGST + HarvestRain,

84. ## ? ? data = wine)

85. ##

86. ## Residuals:

87. ## ? ? ?Min ? ? ? 1Q ? Median ? ? ? 3Q ? ? ?Max

88. ## -0.46024 -0.23862 ?0.01347 ?0.18601 ?0.53443

89. ##

90. ## Coefficients:

91. ## ? ? ? ? ? ? ? Estimate Std. Error t value Pr(>|t|)

92. ## (Intercept) 43.6390418 14.6939240 ? 2.970 ?0.00707 **

93. ## Year ? ? ? ?-0.0238480 ?0.0071667 ?-3.328 ?0.00305 **

94. ## WinterRain ? 0.0011667 ?0.0004820 ? 2.420 ?0.02421 *

95. ## AGST ? ? ? ? 0.6163916 ?0.0951747 ? 6.476 1.63e-06 ***

96. ## HarvestRain -0.0038606 ?0.0008075 ?-4.781 8.97e-05 ***

97. ## ---

98. ## Signif. codes: ?0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

99. ##

100. ## Residual standard error: 0.2865 on 22 degrees of freedom

101. ## Multiple R-squared: ?0.8275, Adjusted R-squared: ?0.7962

102. ## F-statistic: 26.39 on 4 and 22 DF, ?p-value: 4.057e-08

接下來是stepAIC?對執(zhí)行情況的解釋?。在每個步驟中，?stepAIC?顯示有關信息標準當前值的信息。例如，對于?modBIC，第一步的BIC是Step: AIC=-53.29?，然后在第二步進行?了改進?Step: AIC=-56.55?（即使使用“ BIC”，該功能也會始終輸出“ AIC”）。下一個繼續(xù)前進的模型是stepAIC?通過研究添加或刪除預測變量后得出的不同模型的信息標準來決定的?（取決于?direction?參數(shù)，在下文中進行解釋）。例如modBIC在第一步中，刪除導致的模型?FrancePop?的BIC等于?-56.551，如果?Year?刪除，則BIC將為?-56.519。逐步回歸，然后刪除?FrancePop?（因為它給出了最低的BIC），然后重復此過程，最終導致刪除?<none>?預測變量是可能的最佳操作。下面的代碼塊說明了stepsAIC的輸出?extractAIC，和BIC / AIC的輸出BIC/?AIC。

2. # 相同的BIC，標準不同

3. 


4. 


5. AIC(modBIC, k = log(n))

6. ## [1] -56.55135

7. BIC(modBIC)

8. ## [1] 23.36717

9. # 觀察到MASS :: stepAIC（mod，k = log（nrow（wine）））返回的最終BIC是由extractAIC（）而不是BIC（）給出的！但是兩者是等效的

10. # 相同的AIC，標準不同

11. 


12. 


13. AIC(modBIC, k = 2)

14. ## [1] -63.03053

15. BIC(modBIC)

16. ## [1] 23.36717

17. 


18. 


19. BIC(modBIC) - AIC(modBIC

20. ## [1] 79.91852

21. n * (log(2 * pi+ 1) + log(n)

22. ## [1] 79.91852

24. #與AIC相同

25. 


26. 


27. AIC(modAIC) - AIC(modAIC

28. ## [1] 78.62268

29. n * (log(2 * pi + 1 + 2

30. ## [1] 78.62268

請注意，所選模型?modBIC?和?modAIC?等效于?modWine2?，我們選擇的最佳模型。這說明，選擇的模型?stepAIC?通常是進一步添加或刪除預測變量的良好起點。

使用?stepAIC?BIC / AIC時，可能會選擇不同的最終模型?direction。這是解釋：

• “backward”：??從給定模型中順序刪除預測變量。

• “forward”：?將?預測變量順序添加到給定模型中。

• “both”?（默認）：以上的組合。

該?建議?是嘗試幾種這些方法并保留一個最小的BIC / AIC。設置?trace = 0?為省略冗長的搜索過程信息輸出。下面的代碼塊清楚地說明了如何使用?數(shù)據(jù)集的修改版本?來利用?direction?參數(shù)和的其他選項?。stepAICwinedirection = "forward"direction = "both"scope

2. # 將無關的預測變量添加到葡萄酒數(shù)據(jù)集中

4. # 向后選擇：從給定模型中順序刪除預測變量

6. 


7. # 從具有所有預測變量的模型開始

8. 


9. 


10. 


11. modAll, direction = "backward", k = log(n)

12. ## Start: ?AIC=-50.13

13. ## Price ~ Year + WinterRain + AGST + HarvestRain + Age + FrancePop +

14. ## ? ? noisePredictor

15. ##

16. ##

17. ## Step: ?AIC=-50.13

18. ## Price ~ Year + WinterRain + AGST + HarvestRain + FrancePop +

19. ## ? ? noisePredictor

20. ##

21. ## ? ? ? ? ? ? ? ? ?Df Sum of Sq ? ?RSS ? ? AIC

22. ## - FrancePop ? ? ? 1 ? ?0.0036 1.7977 -53.376

23. ## - Year ? ? ? ? ? ?1 ? ?0.0038 1.7979 -53.374

24. ## - noisePredictor ?1 ? ?0.0090 1.8032 -53.295

25. ## <none> ? ? ? ? ? ? ? ? ? ? ? ?1.7941 -50.135

26. ## - WinterRain ? ? ?1 ? ?0.4598 2.2539 -47.271

27. ## - HarvestRain ? ? 1 ? ?1.7666 3.5607 -34.923

28. ## - AGST ? ? ? ? ? ?1 ? ?3.3658 5.1599 -24.908

29. ##

30. ## Step: ?AIC=-53.38

31. ## Price ~ Year + WinterRain + AGST + HarvestRain + noisePredictor

32. ##

33. ## ? ? ? ? ? ? ? ? ?Df Sum of Sq ? ?RSS ? ? AIC

34. ## - noisePredictor ?1 ? ?0.0081 1.8058 -56.551

35. ## <none> ? ? ? ? ? ? ? ? ? ? ? ?1.7977 -53.376

36. ## - WinterRain ? ? ?1 ? ?0.4771 2.2748 -50.317

37. ## - Year ? ? ? ? ? ?1 ? ?0.9162 2.7139 -45.552

38. ## - HarvestRain ? ? 1 ? ?1.8449 3.6426 -37.606

39. ## - AGST ? ? ? ? ? ?1 ? ?3.4234 5.2212 -27.885

40. ##

41. ## Step: ?AIC=-56.55

42. ## Price ~ Year + WinterRain + AGST + HarvestRain

43. ##

44. ## ? ? ? ? ? ? ? Df Sum of Sq ? ?RSS ? ? AIC

45. ## <none> ? ? ? ? ? ? ? ? ? ? 1.8058 -56.551

46. ## - WinterRain ? 1 ? ?0.4809 2.2867 -53.473

47. ## - Year ? ? ? ? 1 ? ?0.9089 2.7147 -48.840

48. ## - HarvestRain ?1 ? ?1.8760 3.6818 -40.612

49. ## - AGST ? ? ? ? 1 ? ?3.4428 5.2486 -31.039

50. ##

51. ## Call:

52. ## lm(formula = Price ~ Year + WinterRain + AGST + HarvestRain,

53. ## ? ? data = wineNoise)

54. ##

55. ## Coefficients:

56. ## (Intercept) ? ? ? ? Year ? WinterRain ? ? ? ? AGST ?HarvestRain

57. ## ? 43.639042 ? ?-0.023848 ? ? 0.001167 ? ? 0.616392 ? ?-0.003861

59. # 從中間模型開始

60. 


61. 


62. AIC(modInter, direction = "backward", k = log(n)

63. ## Start: ?AIC=-32.38

64. ## Price ~ noisePredictor + Year + AGST

65. ##

66. ## ? ? ? ? ? ? ? ? ?Df Sum of Sq ? ?RSS ? ? AIC

67. ## - noisePredictor ?1 ? ?0.0146 5.0082 -35.601

68. ## <none> ? ? ? ? ? ? ? ? ? ? ? ?4.9936 -32.384

69. ## - Year ? ? ? ? ? ?1 ? ?0.7522 5.7459 -31.891

70. ## - AGST ? ? ? ? ? ?1 ? ?3.2211 8.2147 -22.240

71. ##

72. ## Step: ?AIC=-35.6

73. ## Price ~ Year + AGST

74. ##

75. ## ? ? ? ?Df Sum of Sq ? ?RSS ? ? AIC

76. ## <none> ? ? ? ? ? ? ?5.0082 -35.601

77. ## - Year ?1 ? ?0.7966 5.8049 -34.911

78. ## - AGST ?1 ? ?3.2426 8.2509 -25.417

79. ##

80. ## Call:

81. ## lm(formula = Price ~ Year + AGST, data = wineNoise)

82. ##

83. ## Coefficients:

84. ## (Intercept) ? ? ? ? Year ? ? ? ? AGST

85. ## ? ?41.49441 ? ? -0.02221 ? ? ?0.56067

86. # 回想一下，在搜索過程中未探索未包含在modInter中的其他預測變量（因此未添加相關的預測變量HarvestRain）

88. 


89. 


90. # 正向選擇：從給定模型順序添加預測變量

92. 


93. # 從沒有預測變量的模型開始，僅截距模型（表示為?1）

94. 


95. 


96. AIC(modZero, direction = "forward"

97. ## Start: ?AIC=-22.28

98. ## Price ~ 1

99. ##

100. ## ? ? ? ? ? ? ? ? ?Df Sum of Sq ? ? RSS ? ? AIC

101. ## + AGST ? ? ? ? ? ?1 ? ?4.6655 ?5.8049 -34.911

102. ## + HarvestRain ? ? 1 ? ?2.6933 ?7.7770 -27.014

103. ## + FrancePop ? ? ? 1 ? ?2.4231 ?8.0472 -26.092

104. ## + Year ? ? ? ? ? ?1 ? ?2.2195 ?8.2509 -25.417

105. ## + Age ? ? ? ? ? ? 1 ? ?2.2195 ?8.2509 -25.417

106. ## <none> ? ? ? ? ? ? ? ? ? ? ? ?10.4703 -22.281

107. ## + WinterRain ? ? ?1 ? ?0.1905 10.2798 -19.481

108. ## + noisePredictor ?1 ? ?0.1761 10.2942 -19.443

109. ##

110. ## Step: ?AIC=-34.91

111. ## Price ~ AGST

112. ##

113. ## ? ? ? ? ? ? ? ? ?Df Sum of Sq ? ?RSS ? ? AIC

114. ## + HarvestRain ? ? 1 ? 2.50659 3.2983 -46.878

115. ## + WinterRain ? ? ?1 ? 1.42392 4.3809 -39.214

116. ## + FrancePop ? ? ? 1 ? 0.90263 4.9022 -36.178

117. ## + Year ? ? ? ? ? ?1 ? 0.79662 5.0082 -35.601

118. ## + Age ? ? ? ? ? ? 1 ? 0.79662 5.0082 -35.601

119. ## <none> ? ? ? ? ? ? ? ? ? ? ? ?5.8049 -34.911

120. ## + noisePredictor ?1 ? 0.05900 5.7459 -31.891

121. ##

122. ## Step: ?AIC=-46.88

123. ## Price ~ AGST + HarvestRain

124. ##

125. ## ? ? ? ? ? ? ? ? ?Df Sum of Sq ? ?RSS ? ? AIC

126. ## + FrancePop ? ? ? 1 ? 1.03572 2.2625 -53.759

127. ## + Year ? ? ? ? ? ?1 ? 1.01159 2.2867 -53.473

128. ## + Age ? ? ? ? ? ? 1 ? 1.01159 2.2867 -53.473

129. ## + WinterRain ? ? ?1 ? 0.58356 2.7147 -48.840

130. ## <none> ? ? ? ? ? ? ? ? ? ? ? ?3.2983 -46.878

131. ## + noisePredictor ?1 ? 0.06084 3.2374 -44.085

132. ##

133. ## Step: ?AIC=-53.76

134. ## Price ~ AGST + HarvestRain + FrancePop

135. ##

136. ## ? ? ? ? ? ? ? ? ?Df Sum of Sq ? ?RSS ? ? AIC

137. ## + WinterRain ? ? ?1 ? 0.45456 1.8080 -56.519

138. ## <none> ? ? ? ? ? ? ? ? ? ? ? ?2.2625 -53.759

139. ## + noisePredictor ?1 ? 0.00829 2.2542 -50.562

140. ## + Age ? ? ? ? ? ? 1 ? 0.00085 2.2617 -50.473

141. ## + Year ? ? ? ? ? ?1 ? 0.00085 2.2617 -50.473

142. ##

143. ## Step: ?AIC=-56.52

144. ## Price ~ AGST + HarvestRain + FrancePop + WinterRain

145. ##

146. ## ? ? ? ? ? ? ? ? ?Df Sum of Sq ? ?RSS ? ? AIC

147. ## <none> ? ? ? ? ? ? ? ? ? ? ? ?1.8080 -56.519

148. ## + noisePredictor ?1 0.0100635 1.7979 -53.374

149. ## + Year ? ? ? ? ? ?1 0.0048039 1.8032 -53.295

150. ## + Age ? ? ? ? ? ? 1 0.0048039 1.8032 -53.295

151. ##

152. ## Call:

153. ## lm(formula = Price ~ AGST + HarvestRain + FrancePop + WinterRain,

154. ## ? ? data = wineNoise)

155. ##

156. ## Coefficients:

157. ## (Intercept) ? ? ? ? AGST ?HarvestRain ? ?FrancePop ? WinterRain

158. ## ?-5.945e-01 ? ?6.127e-01 ? -3.804e-03 ? -5.189e-05 ? ?1.136e-03

159. # 在進行正向搜索時，充分設置范圍參數(shù)非常重要！在范圍中，您必須定義包含可探索模型集的“最小”（下部）和“最大”（上部）模型。如果未提供，則將最大模型用作傳遞的起始模型（在這種情況下為modZero），而stepAIC將不執(zhí)行任何搜索

161. 


162. 


163. #從中間模型開始

165. 


166. 


167. ## Start: ?AIC=-32.38

168. ## Price ~ noisePredictor + Year + AGST

169. ##

170. ## ? ? ? ? ? ? ? Df Sum of Sq ? ?RSS ? ? AIC

171. ## + HarvestRain ?1 ? 2.71878 2.2748 -50.317

172. ## + WinterRain ? 1 ? 1.35102 3.6426 -37.606

173. ## <none> ? ? ? ? ? ? ? ? ? ? 4.9936 -32.384

174. ## + FrancePop ? ?1 ? 0.24004 4.7536 -30.418

175. ##

176. ## Step: ?AIC=-50.32

177. ## Price ~ noisePredictor + Year + AGST + HarvestRain

178. ##

179. ## ? ? ? ? ? ? ?Df Sum of Sq ? ?RSS ? ? AIC

180. ## + WinterRain ?1 ? 0.47710 1.7977 -53.376

181. ## <none> ? ? ? ? ? ? ? ? ? ?2.2748 -50.317

182. ## + FrancePop ? 1 ? 0.02094 2.2539 -47.271

183. ##

184. ## Step: ?AIC=-53.38

185. ## Price ~ noisePredictor + Year + AGST + HarvestRain + WinterRain

186. ##

187. ## ? ? ? ? ? ? Df Sum of Sq ? ?RSS ? ? AIC

188. ## <none> ? ? ? ? ? ? ? ? ? 1.7977 -53.376

189. ## + FrancePop ?1 0.0036037 1.7941 -50.135

190. ##

191. ## Call:

192. ## lm(formula = Price ~ noisePredictor + Year + AGST + HarvestRain +

193. ## ? ? WinterRain, data = wineNoise)

194. ##

195. ## Coefficients:

196. ## ? ?(Intercept) ?noisePredictor ? ? ? ? ? ?Year ? ? ? ? ? ?AGST ? ? HarvestRain ? ? ?WinterRain

197. ## ? ? ?44.096639 ? ? ? -0.019617 ? ? ? -0.024126 ? ? ? ?0.620522 ? ? ? -0.003840 ? ? ? ??；叵胍幌?，在搜索期間不會刪除modInter中包含的預測變量（因此會保留無關的noisePredictor）

198. 


199. ＃兩種選擇：如果從中間模型開始，則很有用

200. 


201. ＃消除了與從中間模型完成的“向后”和“向前”搜索相關的問題

203. 


204. ## Start: ?AIC=-32.38

205. ## Price ~ noisePredictor + Year + AGST

206. ##

207. ## ? ? ? ? ? ? ? ? ?Df Sum of Sq ? ?RSS ? ? AIC

208. ## + HarvestRain ? ? 1 ? ?2.7188 2.2748 -50.317

209. ## + WinterRain ? ? ?1 ? ?1.3510 3.6426 -37.606

210. ## - noisePredictor ?1 ? ?0.0146 5.0082 -35.601

211. ## <none> ? ? ? ? ? ? ? ? ? ? ? ?4.9936 -32.384

212. ## - Year ? ? ? ? ? ?1 ? ?0.7522 5.7459 -31.891

213. ## + FrancePop ? ? ? 1 ? ?0.2400 4.7536 -30.418

214. ## - AGST ? ? ? ? ? ?1 ? ?3.2211 8.2147 -22.240

215. ##

216. ## Step: ?AIC=-50.32

217. ## Price ~ noisePredictor + Year + AGST + HarvestRain

218. ##

219. ## ? ? ? ? ? ? ? ? ?Df Sum of Sq ? ?RSS ? ? AIC

220. ## - noisePredictor ?1 ? 0.01182 2.2867 -53.473

221. ## + WinterRain ? ? ?1 ? 0.47710 1.7977 -53.376

222. ## <none> ? ? ? ? ? ? ? ? ? ? ? ?2.2748 -50.317

223. ## + FrancePop ? ? ? 1 ? 0.02094 2.2539 -47.271

224. ## - Year ? ? ? ? ? ?1 ? 0.96258 3.2374 -44.085

225. ## - HarvestRain ? ? 1 ? 2.71878 4.9936 -32.384

226. ## - AGST ? ? ? ? ? ?1 ? 2.94647 5.2213 -31.180

227. ##

228. ## Step: ?AIC=-53.47

229. ## Price ~ Year + AGST + HarvestRain

230. ##

231. ## ? ? ? ? ? ? ? ? ?Df Sum of Sq ? ?RSS ? ? AIC

232. ## + WinterRain ? ? ?1 ? 0.48087 1.8058 -56.551

233. ## <none> ? ? ? ? ? ? ? ? ? ? ? ?2.2867 -53.473

234. ## + FrancePop ? ? ? 1 ? 0.02497 2.2617 -50.473

235. ## + noisePredictor ?1 ? 0.01182 2.2748 -50.317

236. ## - Year ? ? ? ? ? ?1 ? 1.01159 3.2983 -46.878

237. ## - HarvestRain ? ? 1 ? 2.72157 5.0082 -35.601

238. ## - AGST ? ? ? ? ? ?1 ? 2.96500 5.2517 -34.319

239. ##

240. ## Step: ?AIC=-56.55

241. ## Price ~ Year + AGST + HarvestRain + WinterRain

242. ##

243. ## ? ? ? ? ? ? ? ? ?Df Sum of Sq ? ?RSS ? ? AIC

244. ## <none> ? ? ? ? ? ? ? ? ? ? ? ?1.8058 -56.551

245. ## - WinterRain ? ? ?1 ? ?0.4809 2.2867 -53.473

246. ## + noisePredictor ?1 ? ?0.0081 1.7977 -53.376

247. ## + FrancePop ? ? ? 1 ? ?0.0026 1.8032 -53.295

248. ## - Year ? ? ? ? ? ?1 ? ?0.9089 2.7147 -48.840

249. ## - HarvestRain ? ? 1 ? ?1.8760 3.6818 -40.612

250. ## - AGST ? ? ? ? ? ?1 ? ?3.4428 5.2486 -31.039

251. ##

252. ## Call:

253. ## lm(formula = Price ~ Year + AGST + HarvestRain + WinterRain,

254. ## ? ? data = wineNoise)

255. ##

256. ## Coefficients:

257. ## (Intercept) ? ? ? ? Year ? ? ? ? AGST ?HarvestRain ? WinterRain

258. ## ? 43.639042 ? ?-0.023848 ? ? 0.616392 ? ?-0.003861 ? ? 0.001167

259. # 正確定義范圍也很重要，因為“兩個”都求助于“前進”（以及“后退”）

261. 


262. #使用完整模型中的默認值實質(zhì)上會進行向后選擇，但允許已刪除的預測變量在以后的步驟中再次輸入

263. 


264. 


265. AIC(modAll direction = "both", k = log(n)

266. ## Start: ?AIC=-50.13

267. ## Price ~ Year + WinterRain + AGST + HarvestRain + Age + FrancePop +

268. ## ? ? noisePredictor

269. ##

270. ##

271. ## Step: ?AIC=-50.13

272. ## Price ~ Year + WinterRain + AGST + HarvestRain + FrancePop +

273. ## ? ? noisePredictor

274. ##

275. ## ? ? ? ? ? ? ? ? ?Df Sum of Sq ? ?RSS ? ? AIC

276. ## - FrancePop ? ? ? 1 ? ?0.0036 1.7977 -53.376

277. ## - Year ? ? ? ? ? ?1 ? ?0.0038 1.7979 -53.374

278. ## - noisePredictor ?1 ? ?0.0090 1.8032 -53.295

279. ## <none> ? ? ? ? ? ? ? ? ? ? ? ?1.7941 -50.135

280. ## - WinterRain ? ? ?1 ? ?0.4598 2.2539 -47.271

281. ## - HarvestRain ? ? 1 ? ?1.7666 3.5607 -34.923

282. ## - AGST ? ? ? ? ? ?1 ? ?3.3658 5.1599 -24.908

283. ##

284. ## Step: ?AIC=-53.38

285. ## Price ~ Year + WinterRain + AGST + HarvestRain + noisePredictor

286. ##

287. ## ? ? ? ? ? ? ? ? ?Df Sum of Sq ? ?RSS ? ? AIC

288. ## - noisePredictor ?1 ? ?0.0081 1.8058 -56.551

289. ## <none> ? ? ? ? ? ? ? ? ? ? ? ?1.7977 -53.376

290. ## - WinterRain ? ? ?1 ? ?0.4771 2.2748 -50.317

291. ## + FrancePop ? ? ? 1 ? ?0.0036 1.7941 -50.135

292. ## - Year ? ? ? ? ? ?1 ? ?0.9162 2.7139 -45.552

293. ## - HarvestRain ? ? 1 ? ?1.8449 3.6426 -37.606

294. ## - AGST ? ? ? ? ? ?1 ? ?3.4234 5.2212 -27.885

295. ##

296. ## Step: ?AIC=-56.55

297. ## Price ~ Year + WinterRain + AGST + HarvestRain

298. ##

299. ## ? ? ? ? ? ? ? ? ?Df Sum of Sq ? ?RSS ? ? AIC

300. ## <none> ? ? ? ? ? ? ? ? ? ? ? ?1.8058 -56.551

301. ## - WinterRain ? ? ?1 ? ?0.4809 2.2867 -53.473

302. ## + noisePredictor ?1 ? ?0.0081 1.7977 -53.376

303. ## + FrancePop ? ? ? 1 ? ?0.0026 1.8032 -53.295

304. ## - Year ? ? ? ? ? ?1 ? ?0.9089 2.7147 -48.840

305. ## - HarvestRain ? ? 1 ? ?1.8760 3.6818 -40.612

306. ## - AGST ? ? ? ? ? ?1 ? ?3.4428 5.2486 -31.039

307. ##

308. ## Call:

309. ## lm(formula = Price ~ Year + WinterRain + AGST + HarvestRain,

310. ## ? ? data = wineNoise)

311. ##

312. ## Coefficients:

313. ## (Intercept) ? ? ? ? Year ? WinterRain ? ? ? ? AGST ?HarvestRain

314. ## ? 43.639042 ? ?-0.023848 ? ? 0.001167 ? ? 0.616392 ? ?-0.003861

316. # 省略冗長的輸出

317. 


318. 


319. AIC(modAll, direction = "both", trace = 0

320. ##

321. ## Call:

322. ## lm(formula = Price ~ Year + WinterRain + AGST + HarvestRain,

323. ## ? ? data = wineNoise)

324. ##

325. ## Coefficients:

326. ## (Intercept) ? ? ? ? Year ? WinterRain ? ? ? ? AGST ?HarvestRain

327. ## ? 43.639042 ? ?-0.023848 ? ? 0.001167 ? ? 0.616392 ? ?-0.003861

對Boston?數(shù)據(jù)集運行逐步選擇?，目的是清楚地了解不同的搜索方向。特別：

• "forward"?從?逐步擬合?medv ~ 1開始做。

• "forward"?從?逐步擬合?medv ~ crim + lstat + age開始做。

• "both"?從?逐步擬合?medv ~ crim + lstat + age開始做。

• "both"?從逐步擬合?medv ~ .開始做。

• "backward"?從逐步擬合?medv ~ .開始做。

stepAIC?假定數(shù)據(jù)中不存在?NA（缺失值）。建議先刪除數(shù)據(jù)中的缺失值。它們的存在可能會導致錯誤。為此，請使用?data = na.omit(dataset)?調(diào)用?lm?（如果您的數(shù)據(jù)集為?dataset）。

我們通過強調(diào)使用BIC和AIC得出結(jié)論：它們的構造是假設樣本大小n 遠大于模型中參數(shù)的數(shù)量p + 2。因此，如果n >> p + 2 ，它們將工作得相當好，但是如果不是這樣，則它們可能會支持不切實際的復雜模型。下圖對此現(xiàn)象進行了說明。BIC和AIC曲線傾向于使局部最小值接近p = 2，然后增加。但是當p + 2 接近n 時，它們會迅速下降。

圖：n = 200和p從1 到198 的BIC和AIC的比較。M = 100數(shù)據(jù)集僅在前兩個?預測變量有效的情況下進行了模擬?。較粗的曲線是每種顏色曲線的平均值。

房價案例研究應用

我們要建立一個線性模型進行預測和解釋?medv。有大量的預測模型，其中一些可能對預測medv沒什么用?。但是，目前尚不清楚哪個預測變量可以更好地解釋?medv?的信息。因此，我們可以對所有?預測變量進行線性模型處理?：

1. 


2. summary(modHouse)

3. ##

5. ##

6. ## Residuals:

7. ## ? ? Min ? ? ?1Q ?Median ? ? ?3Q ? ? Max

8. ## -15.595 ?-2.730 ?-0.518 ? 1.777 ?26.199

9. ##

10. ## Coefficients:

11. ## ? ? ? ? ? ? ? Estimate Std. Error t value Pr(>|t|)

12. ## (Intercept) ?3.646e+01 ?5.103e+00 ? 7.144 3.28e-12 ***

13. ## crim ? ? ? ?-1.080e-01 ?3.286e-02 ?-3.287 0.001087 **

14. ## zn ? ? ? ? ? 4.642e-02 ?1.373e-02 ? 3.382 0.000778 ***

15. ## indus ? ? ? ?2.056e-02 ?6.150e-02 ? 0.334 0.738288

16. ## chas ? ? ? ? 2.687e+00 ?8.616e-01 ? 3.118 0.001925 **

17. ## nox ? ? ? ? -1.777e+01 ?3.820e+00 ?-4.651 4.25e-06 ***

18. ## rm ? ? ? ? ? 3.810e+00 ?4.179e-01 ? 9.116 ?< 2e-16 ***

19. ## age ? ? ? ? ?6.922e-04 ?1.321e-02 ? 0.052 0.958229

20. ## dis ? ? ? ? -1.476e+00 ?1.995e-01 ?-7.398 6.01e-13 ***

21. ## rad ? ? ? ? ?3.060e-01 ?6.635e-02 ? 4.613 5.07e-06 ***

22. ## tax ? ? ? ? -1.233e-02 ?3.760e-03 ?-3.280 0.001112 **

23. ## ptratio ? ? -9.527e-01 ?1.308e-01 ?-7.283 1.31e-12 ***

24. ## black ? ? ? ?9.312e-03 ?2.686e-03 ? 3.467 0.000573 ***

25. ## lstat ? ? ? -5.248e-01 ?5.072e-02 -10.347 ?< 2e-16 ***

26. ## ---

27. ## Signif. codes: ?0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

28. ##

29. ## Residual standard error: 4.745 on 492 degrees of freedom

30. ## Multiple R-squared: ?0.7406, Adjusted R-squared: ?0.7338

31. ## F-statistic: 108.1 on 13 and 492 DF, ?p-value: < 2.2e-16

有幾個不重要的變量，但是到目前為止，該模型具有R ^ 2 = 0.74，并且擬合系數(shù)對預期的結(jié)果很敏感。例如?crim，??tax，??ptratio，和?nox?對medv有負面影響?，同時?rm，?rad和?chas?有正面的影響。但是，不重要的系數(shù)不會顯著影響模型，而只會增加噪聲并降低系數(shù)估計的總體準確性。讓我們稍微完善一下以前的模型。

2. # 最佳模型

3. 


4. AIC(modHouse, k = log(nrow(Boston)

5. ## Start: ?AIC=1648.81

6. ## medv ~ crim + zn + indus + chas + nox + rm + age + dis + rad +

7. ## ? ? tax + ptratio + black + lstat

8. ##

9. ## ? ? ? ? ? Df Sum of Sq ? RSS ? ?AIC

10. ## - age ? ? ?1 ? ? ?0.06 11079 1642.6

11. ## - indus ? ?1 ? ? ?2.52 11081 1642.7

12. ## <none> ? ? ? ? ? ? ? ? 11079 1648.8

13. ## - chas ? ? 1 ? ?218.97 11298 1652.5

14. ## - tax ? ? ?1 ? ?242.26 11321 1653.5

15. ## - crim ? ? 1 ? ?243.22 11322 1653.6

16. ## - zn ? ? ? 1 ? ?257.49 11336 1654.2

17. ## - black ? ?1 ? ?270.63 11349 1654.8

18. ## - rad ? ? ?1 ? ?479.15 11558 1664.0

19. ## - nox ? ? ?1 ? ?487.16 11566 1664.4

20. ## - ptratio ?1 ? 1194.23 12273 1694.4

21. ## - dis ? ? ?1 ? 1232.41 12311 1696.0

22. ## - rm ? ? ? 1 ? 1871.32 12950 1721.6

23. ## - lstat ? ?1 ? 2410.84 13490 1742.2

24. ##

25. ## Step: ?AIC=1642.59

26. ## medv ~ crim + zn + indus + chas + nox + rm + dis + rad + tax +

27. ## ? ? ptratio + black + lstat

28. ##

29. ## ? ? ? ? ? Df Sum of Sq ? RSS ? ?AIC

30. ## - indus ? ?1 ? ? ?2.52 11081 1636.5

31. ## <none> ? ? ? ? ? ? ? ? 11079 1642.6

32. ## - chas ? ? 1 ? ?219.91 11299 1646.3

33. ## - tax ? ? ?1 ? ?242.24 11321 1647.3

34. ## - crim ? ? 1 ? ?243.20 11322 1647.3

35. ## - zn ? ? ? 1 ? ?260.32 11339 1648.1

36. ## - black ? ?1 ? ?272.26 11351 1648.7

37. ## - rad ? ? ?1 ? ?481.09 11560 1657.9

38. ## - nox ? ? ?1 ? ?520.87 11600 1659.6

39. ## - ptratio ?1 ? 1200.23 12279 1688.4

40. ## - dis ? ? ?1 ? 1352.26 12431 1694.6

41. ## - rm ? ? ? 1 ? 1959.55 13038 1718.8

42. ## - lstat ? ?1 ? 2718.88 13798 1747.4

43. ##

44. ## Step: ?AIC=1636.48

45. ## medv ~ crim + zn + chas + nox + rm + dis + rad + tax + ptratio +

46. ## ? ? black + lstat

47. ##

48. ## ? ? ? ? ? Df Sum of Sq ? RSS ? ?AIC

49. ## <none> ? ? ? ? ? ? ? ? 11081 1636.5

50. ## - chas ? ? 1 ? ?227.21 11309 1640.5

51. ## - crim ? ? 1 ? ?245.37 11327 1641.3

52. ## - zn ? ? ? 1 ? ?257.82 11339 1641.9

53. ## - black ? ?1 ? ?270.82 11352 1642.5

54. ## - tax ? ? ?1 ? ?273.62 11355 1642.6

55. ## - rad ? ? ?1 ? ?500.92 11582 1652.6

56. ## - nox ? ? ?1 ? ?541.91 11623 1654.4

57. ## - ptratio ?1 ? 1206.45 12288 1682.5

58. ## - dis ? ? ?1 ? 1448.94 12530 1692.4

59. ## - rm ? ? ? 1 ? 1963.66 13045 1712.8

60. ## - lstat ? ?1 ? 2723.48 13805 1741.5

62. # 模型比較

63. compare(modBIC, modAIC)

64. ## Calls:

65. ## 1: lm(formula = medv ~ crim + zn + chas + nox + rm + dis + rad + tax + ptratio + black + lstat, data = Boston)

66. ## 2: lm(formula = medv ~ crim + zn + chas + nox + rm + dis + rad + tax + ptratio + black + lstat, data = Boston)

67. ##

68. ## ? ? ? ? ? ? ?Model 1 ?Model 2

69. ## (Intercept) ? ?36.34 ? ?36.34

70. ## SE ? ? ? ? ? ? ?5.07 ? ? 5.07

71. ##

72. ## crim ? ? ? ? -0.1084 ?-0.1084

73. ## SE ? ? ? ? ? ?0.0328 ? 0.0328

74. ##

75. ## zn ? ? ? ? ? ?0.0458 ? 0.0458

76. ## SE ? ? ? ? ? ?0.0135 ? 0.0135

77. ##

78. ## chas ? ? ? ? ? 2.719 ? ?2.719

79. ## SE ? ? ? ? ? ? 0.854 ? ?0.854

80. ##

81. ## nox ? ? ? ? ? -17.38 ? -17.38

82. ## SE ? ? ? ? ? ? ?3.54 ? ? 3.54

83. ##

84. ## rm ? ? ? ? ? ? 3.802 ? ?3.802

85. ## SE ? ? ? ? ? ? 0.406 ? ?0.406

86. ##

87. ## dis ? ? ? ? ? -1.493 ? -1.493

88. ## SE ? ? ? ? ? ? 0.186 ? ?0.186

89. ##

90. ## rad ? ? ? ? ? 0.2996 ? 0.2996

91. ## SE ? ? ? ? ? ?0.0634 ? 0.0634

92. ##

93. ## tax ? ? ? ? -0.01178 -0.01178

94. ## SE ? ? ? ? ? 0.00337 ?0.00337

95. ##

96. ## ptratio ? ? ? -0.947 ? -0.947

97. ## SE ? ? ? ? ? ? 0.129 ? ?0.129

98. ##

99. ## black ? ? ? ?0.00929 ?0.00929

100. ## SE ? ? ? ? ? 0.00267 ?0.00267

101. ##

102. ## lstat ? ? ? ?-0.5226 ?-0.5226

103. ## SE ? ? ? ? ? ?0.0474 ? 0.0474

104. ##

105. summary(modBIC)

106. ##

107. ## Call:

108. ## lm(formula = medv ~ crim + zn + chas + nox + rm + dis + rad +

109. ## ? ? tax + ptratio + black + lstat, data = Boston)

110. ##

111. ## Residuals:

112. ## ? ? ?Min ? ? ? 1Q ? Median ? ? ? 3Q ? ? ?Max

113. ## -15.5984 ?-2.7386 ?-0.5046 ? 1.7273 ?26.2373

114. ##

115. ## Coefficients:

116. ## ? ? ? ? ? ? ? Estimate Std. Error t value Pr(>|t|)

117. ## (Intercept) ?36.341145 ? 5.067492 ? 7.171 2.73e-12 ***

118. ## crim ? ? ? ? -0.108413 ? 0.032779 ?-3.307 0.001010 **

119. ## zn ? ? ? ? ? ?0.045845 ? 0.013523 ? 3.390 0.000754 ***

120. ## chas ? ? ? ? ?2.718716 ? 0.854240 ? 3.183 0.001551 **

121. ## nox ? ? ? ? -17.376023 ? 3.535243 ?-4.915 1.21e-06 ***

122. ## rm ? ? ? ? ? ?3.801579 ? 0.406316 ? 9.356 ?< 2e-16 ***

123. ## dis ? ? ? ? ?-1.492711 ? 0.185731 ?-8.037 6.84e-15 ***

124. ## rad ? ? ? ? ? 0.299608 ? 0.063402 ? 4.726 3.00e-06 ***

125. ## tax ? ? ? ? ?-0.011778 ? 0.003372 ?-3.493 0.000521 ***

126. ## ptratio ? ? ?-0.946525 ? 0.129066 ?-7.334 9.24e-13 ***

127. ## black ? ? ? ? 0.009291 ? 0.002674 ? 3.475 0.000557 ***

128. ## lstat ? ? ? ?-0.522553 ? 0.047424 -11.019 ?< 2e-16 ***

129. ## ---

130. ## Signif. codes: ?0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

131. ##

132. ## Residual standard error: 4.736 on 494 degrees of freedom

133. ## Multiple R-squared: ?0.7406, Adjusted R-squared: ?0.7348

134. ## F-statistic: 128.2 on 11 and 494 DF, ?p-value: < 2.2e-16

136. # 置信區(qū)間

137. 


138. conf(modBIC)

139. ## ? ? ? ? ? ? ? ? ? ? 2.5 % ? ? ? 97.5 %

140. ## (Intercept) ?26.384649126 ?46.29764088

141. ## crim ? ? ? ? -0.172817670 ?-0.04400902

142. ## zn ? ? ? ? ? ?0.019275889 ? 0.07241397

143. ## chas ? ? ? ? ?1.040324913 ? 4.39710769

144. ## nox ? ? ? ? -24.321990312 -10.43005655

145. ## rm ? ? ? ? ? ?3.003258393 ? 4.59989929

146. ## dis ? ? ? ? ?-1.857631161 ?-1.12779176

147. ## rad ? ? ? ? ? 0.175037411 ? 0.42417950

148. ## tax ? ? ? ? ?-0.018403857 ?-0.00515209

149. ## ptratio ? ? ?-1.200109823 ?-0.69293932

150. ## black ? ? ? ? 0.004037216 ? 0.01454447

151. ## lstat ? ? ? ?-0.615731781 ?-0.42937513

請注意，相對于完整模型，

略有增加，以及所有預測變量顯著。

我們已經(jīng)量化了預測變量對房價（Q1）的影響，可以得出結(jié)論，在最終模型（Q2）中，顯著性水平為?

：

• chas，??age，??rad，?black?對medv有?顯著正面?的影響?;

• nox，??dis，??tax，??ptratio，?lstat?對medv有?顯著負面?的影響。

檢查：

• modBIC?不能通過消除預測指標來改善BIC。

• modBIC?無法通過添加預測變量來改進BIC。使用?addterm(modBIC, scope = lm(medv ~ ., data = Boston), k = log(nobs(modBIC)))?。?

1. 應用其公式，我們將獲得

1. ，因此

1. 將不會定義。

2. 具有相同的因變量。

3. 如果是

1. ，則

1. 。

2. 同樣，由于BIC?在選擇真實的分布/回歸模型時是?一致的：如果提供了足夠的數(shù)據(jù)

1. ，則可以保證BIC在候選列表中選擇真實的數(shù)據(jù)生成模型。如果真實模型包含在該列表中，則模型為線性模型。但是，由于實際模型可能是非線性的，因此在實踐中這可能是不現(xiàn)實的。

最受歡迎的見解

1.R語言多元Logistic邏輯回歸 應用案例

2.面板平滑轉(zhuǎn)移回歸(PSTR)分析案例實現(xiàn)

3.matlab中的偏最小二乘回歸（PLSR）和主成分回歸（PCR）

4.R語言泊松Poisson回歸模型分析案例

5.R語言回歸中的Hosmer-Lemeshow擬合優(yōu)度檢驗

6.r語言中對LASSO回歸，Ridge嶺回歸和Elastic Net模型實現(xiàn)

7.在R語言中實現(xiàn)Logistic邏輯回歸

8.python用線性回歸預測股票價格

9.R語言如何在生存分析與Cox回歸中計算IDI，NRI指標