模型評價(jià)指標(biāo)——回歸模型&分類模型
在進(jìn)行模型構(gòu)建與分析時(shí)，模型評價(jià)是非常關(guān)鍵的一步。合適的評價(jià)指標(biāo)可以幫助我們準(zhǔn)確地衡量模型的性能，從而進(jìn)行優(yōu)化和改進(jìn)。然而，不同的模型和應(yīng)用場景需要使用不同的評價(jià)指標(biāo)。下面將分別介紹回歸模型與分類模型常用的一些評價(jià)指標(biāo)。
一、回歸模型評價(jià)指標(biāo)
回歸模型常用的評價(jià)指標(biāo)可分為以下三大類：
- 第1類：回歸模型擬合優(yōu)度的評價(jià)指標(biāo)，包括R方與調(diào)整后R方值；
- 第2類：回歸模型擬合值與真實(shí)值的差異程度的評價(jià)指標(biāo)，常用的包括MSE、RMSE、MAE、MAPE；
- 第3類：極大似然法的估計(jì)準(zhǔn)則，包括AIC值和BIC值。
接下來，分別進(jìn)行介紹說明。
1、擬合優(yōu)度R方
R方值是衡量回歸模型擬合優(yōu)度的統(tǒng)計(jì)量，它表示回歸模型對觀測值的擬合程度，代表了模型中因變量可由自變量解釋的百分比。R方值的取值范圍在0到1之間，R方值越大，說明回歸模型對觀測值的擬合程度越好。比如R方為0.5，說明所有自變量可以解釋因變量50%的變化原因。
R方計(jì)算公式如下
2、調(diào)整后R方
調(diào)整后R方是修正自由度的決定系數(shù)，在多元線性回歸中，R方有個(gè)致命的問題，那就是隨著自變量X的個(gè)數(shù)增加，R方會越來越大，R方越來越大就會認(rèn)為模型擬合越來越好，但是實(shí)際上可能是由于自變量個(gè)數(shù)的增加導(dǎo)致的R方增大。這樣看來，R方就不是一個(gè)比較客觀的指標(biāo)，此時(shí)將自變量個(gè)數(shù)考慮進(jìn)公式中，就得到了調(diào)整后R方。
調(diào)整后R方計(jì)算公式：
SPSSAU結(jié)果展示：
SPSSAU進(jìn)行回歸模型分析時(shí)，輸出R方與調(diào)整后R方展示如下（以多元線性回歸為例）：
3、均方誤差MSE
上述R方指標(biāo)用于衡量模型可解釋的因變量的百分比，但在一些情況下，我們可能更關(guān)注模型的擬合值與真實(shí)值的差異程度，需要計(jì)算模型平均殘差的指標(biāo)。因?yàn)榧僭O(shè)殘差服從正態(tài)分布，意味著殘差的均值將始終為0，所以可計(jì)算均方誤差MSE、均方誤差根RMSE、平均絕對誤差MAE。
均方誤差MSE（又稱L2范數(shù)損失），即誤差平方和的平均值，MSE是衡量模型預(yù)測誤差的一種常用指標(biāo)。MSE值越接近于0，說明模型擬合越好。
MSE計(jì)算公式：
均方誤差根RMSE，是均方誤差MSE的算術(shù)平方根，回歸模型中最常用的評價(jià)模型指標(biāo)。相比于均方誤差MSE，均方誤差根RMSE更常用。RMSE值越接近0，說明模型擬合越好。
RMSE值計(jì)算公式：
5、平均絕對誤差MAE
MSE值和RMSE值受異常值殘差影響較大，因此可使用平均絕對誤差MAE（又稱L1范數(shù)損失），即誤差絕對值的平均值。MAE可以準(zhǔn)確反映實(shí)際預(yù)測誤差的大小。MAE用于評價(jià)真實(shí)值與擬合值的偏離程度，MAE值越接近于0，說明模型擬合越好，模型預(yù)測準(zhǔn)確率越高（但是RMSE值還是使用最多的）。
MAE計(jì)算公式：
6、平均絕對百分誤差MAPE
平均絕對百分比誤差MAPE是平均絕對誤差MAE的變形，該值采用百分比的形式，不受異常值的影響。MAPE不僅考慮了擬合值與真實(shí)值之間的誤差，還考慮了誤差與真實(shí)值之間的比例，MAPE的值越小，說明模型越好。
MAPE計(jì)算公式：
除以上指標(biāo)外，還有很多其他的模型評價(jià)指標(biāo)，如中位數(shù)絕對誤差MAD、可解釋方差分EVS，均方根對數(shù)誤差MSLE等，只是這些指標(biāo)相對于以上4種使用少很多。
SPSSAU結(jié)果展示：
SPSSAU進(jìn)行相應(yīng)的回歸模型分析時(shí)，也會自動輸出上面提到的評價(jià)指標(biāo)，如機(jī)器學(xué)習(xí)模塊進(jìn)行回歸模型分析時(shí)輸出模型評估結(jié)果展示如下：
7、AIC準(zhǔn)則和BIC準(zhǔn)則
線性回歸、邏輯回歸、泊松回歸、負(fù)二項(xiàng)回歸等很多類型的回歸模型，都是使用極大似然法對參數(shù)進(jìn)行估計(jì)。極大似然法的估計(jì)準(zhǔn)則包括赤池信息準(zhǔn)則（AIC）、貝葉斯信息量準(zhǔn)則（BIC）。
AIC準(zhǔn)則的表達(dá)式如下：
上式中，LLmax是對數(shù)似然估計(jì)值，k是參數(shù)數(shù)量。BIC準(zhǔn)則的表達(dá)式如下：
N是樣本大小。
可通過比較AIC、BIC值的大小來比較模型的擬合效果，如果模型的AIC值和BIC值越小，說明模型估計(jì)越準(zhǔn)確。
SPSSAU結(jié)果展示：
在進(jìn)行相應(yīng)回歸模型分析時(shí)（如線性回歸、logistic回歸、負(fù)二項(xiàng)回歸、Poisson回歸等），SPSSAU均會自動輸出AIC值、BIC值供用戶對比使用。如下表為二元logistic回歸分析輸出的AIC與BIC值：
二、分類模型評價(jià)指標(biāo)
分類模型常用的評價(jià)指標(biāo)可分為以下兩大類：
接下來分別進(jìn)行介紹。
1、準(zhǔn)確率、精確率、召回率、F1-score
準(zhǔn)確率、精確率、召回率、F1-score是模型評價(jià)中常見的指標(biāo)，以下表為例，進(jìn)行介紹說明：
（1）準(zhǔn)確率
準(zhǔn)確率是指分類正確的樣本占總樣本個(gè)數(shù)的比例。即Accuracy=(TP+PN)/(TP+FP+FN+TN)
以上表為例，該模型的準(zhǔn)確率為Accuracy=(91+87)/200=0.89
準(zhǔn)確率是分類模型中最簡單也是最直觀的評價(jià)指標(biāo)，但同時(shí)存在明顯的缺陷，這個(gè)評價(jià)指標(biāo)很容易受到樣本數(shù)量以及樣本是否均衡帶來的影響。
（2）精確率
精確率是指分類模型中正確的正樣本個(gè)數(shù)占分類器判定為正樣本的樣本個(gè)數(shù)的比例。精確率容易與準(zhǔn)確率混淆，精確率只針對預(yù)測正確的正樣本而不是所有預(yù)測正確的樣本。即Precision=TP/(TP+FP)上表中，該模型的精確率Precision=91/(91+13)=0.875
（3）召回率
召回率是指分類正確的正樣本個(gè)數(shù)占真正的正樣本個(gè)數(shù)的比例。即Recall=TP/(TP+FN)
上表中，該模型的召回率Recall=91/(91+9)=0.91
（4）F1-score
F1值是精確率和召回率的加權(quán)調(diào)和平均數(shù)，精確率和召回率都是越高越好，但兩者往往是矛盾的。因此常用F1-score來綜合評價(jià)分類器的效果，它的取值范圍為0到1，越接近1效果越好。
F1=2*Precision*Recall/(Precision+Recall)那么，上表該模型的F1-score=2*0.875*0.91/(0.875+0.91)=0.892
SPSSAU結(jié)果展示
SPSSAU機(jī)器學(xué)習(xí)模塊進(jìn)行分類模型分析時(shí)，輸出評價(jià)指標(biāo)展示如下：
2、ROC曲線和AUC值
ROC（Receiver
Operating
Characteristic，受試者工作特征）曲線和AUC值常用來評價(jià)二分類器的優(yōu)劣。ROC曲線如下圖所示：
ROC曲線縱坐標(biāo)為敏感度——陽性人群中，檢測出陽性的概率，希望該值越高越好；橫坐標(biāo)為1-特異性——陰性人群中，檢測為陽性的概率，希望該值越低越好。結(jié)合橫縱坐標(biāo)的概念，可以得到結(jié)論：曲線越往左上角說明預(yù)測準(zhǔn)確率越高。
當(dāng)使用ROC曲線對多個(gè)分類器進(jìn)行評級時(shí)，直接使用ROC曲線進(jìn)行肉眼比較是非常不方便的，此時(shí)就需要一種定量指標(biāo)進(jìn)行對比，那么這個(gè)指標(biāo)就是AUC值——ROC曲線下面積，AUC值越大，分類器效果越好。
AUC取值范圍通常在0.5~1之間：AUC<0.5，說明模型比隨機(jī)猜測還差，因此不存在該情況；
AUC=0.5，與隨機(jī)猜測一樣（比如扔硬幣），模型沒有預(yù)測價(jià)值；0.5<AUC<1，優(yōu)于隨機(jī)猜測，有預(yù)測價(jià)值；
AUC=1，完美分類器，理論上存在，但絕大多數(shù)場景下，不存在完美分類器。
SPSSAU軟件如何將多個(gè)模型繪制ROC曲線對比優(yōu)劣？
如果涉及多個(gè)模型預(yù)測能力繪制ROC曲線，用于多個(gè)模型預(yù)測能力對比。建議按以下步驟進(jìn)行：
第1步：得到各個(gè)模型（比如神經(jīng)網(wǎng)絡(luò)模型、隨機(jī)森林模型、二元logistic回歸模型等）的預(yù)測值標(biāo)題，該預(yù)測值可通過SPSSAU中‘保存預(yù)測值’參數(shù)選中后得到；
第2步：將得到的預(yù)測值作為ROC曲線時(shí)的‘檢驗(yàn)變量X’。此時(shí)繪制出來的ROC曲線則會有多條，分別表示各模型的預(yù)測值。與此同時(shí)，ROC曲線時(shí)的‘狀態(tài)變量Y’為實(shí)際真實(shí)情況上的Y數(shù)據(jù)，并且該數(shù)據(jù)正常情況下為二分類（即僅包括2個(gè)數(shù)字即兩個(gè)類別）。
ROC曲線操作如下圖：
