主成分分析(PCA)原理及R語言實現(xiàn)及分析實例
原文鏈接：?
http://tecdat.cn/?p=2724
?
主成分分析（PCA）是一種數(shù)據(jù)降維技巧，它能將大量相關(guān)變量轉(zhuǎn)化為一組很少的不相關(guān)變量，這些無關(guān)變量稱為主成分。例如，使用PCA可將30個相關(guān)（很可能冗余）的環(huán)境變量轉(zhuǎn)化為5個無關(guān)的成分變量，并且盡可能地保留原始數(shù)據(jù)集的信息。
?
主成分分析模型，變量（X1到X5）映射為主成分（PC1,PC2）
PCA分析的一般步驟
數(shù)據(jù)預處理。PCA根據(jù)變量間的相關(guān)性來推導結(jié)果。用戶可以輸入原始數(shù)據(jù)矩陣或者相關(guān)系數(shù)矩陣到principal()和fa()函數(shù)中進行計算，在計算前請確保數(shù)據(jù)中沒有缺失值。
判斷要選擇的主成分數(shù)目（這里不涉及因子分析）。
選擇主成分（這里不涉及旋轉(zhuǎn)）。
解釋結(jié)果。
計算主成分得分。
??PCA的目標是用一組較少的不相關(guān)變量代替大量相關(guān)變量，同時盡可能保留初始變量的信息，這些推導所得的變量稱為主成分，它們是觀測變量的線性組合。如第一主成分為：
??它是k個觀測變量的加權(quán)組合，對初始變量集的方差解釋性最大。第二主成分也是初始變量的線性組合，對方差的解釋性排第二，同時與第一主成分正交（不相關(guān)）。后面每一個主成分都最大化它對方差的解釋程度，同時與之前所有的主成分都正交.我們都希望能用較少的主成分來解釋全部變量。
數(shù)據(jù)集USJudgeRatings包含了律師對美國高等法院法官的評分。數(shù)據(jù)框包含43個樣本，12個變量：
那么問題來了：是否能夠用較少的變量來總結(jié)這12個變量評估的信息呢？如果可以，需要多少個？如何對它們進行定義呢？
首先判斷主成分的數(shù)目，這里使用Cattell碎石檢驗，表示了特征值與主成數(shù)目的關(guān)系。一般的原則是：要保留的主成分的個數(shù)的特征值要大于1且大于平行分析的特征值。我們直接作圖：
評價美國法官評分中要保留的主成分個數(shù)。碎石圖（直線與x符號）、特征值大于1準則（水平線）和100次模擬的平行分析（虛線）都表明保留一個主成分即可
可以看出只有左上交Component Number為1的特征值是大于1且大于平行分析的特征值的。所以選擇一個主成分即可保留數(shù)據(jù)集的大部分信息。下一步是使用principal()函數(shù)挑選出相應的主成分。
??可以看出第一主成分（PC1）基本與每個變量都高度相關(guān)（除了CONT），也就是說，它是一個可用來進行一般性評價的維度。 ??h2欄指成分公因子方差——主成分對每個變量的方差解釋度。u2欄指成分唯一性——方差無法被主成分解釋的比例（1-h2）。 ??SS loadings行包含了與主成分相關(guān)聯(lián)的特征值，指的是與特定主成分相關(guān)聯(lián)的標準化后的方差值（本例中，第一主成分的值為10）。最后，Proportion Var行表示的是每個主成分對整個數(shù)據(jù)集的解釋程度。此處可以看到，第一主成分解釋了12個變量84%的程度。
PC1$scores
主成分得分
由于變量CONT與PC1的相關(guān)性太低，即PC1無法代表CONT，所以我們增加一個主成分PC2來代表CONT，結(jié)合上期的推送，作圖如下：
可以看出，PC1(84.4%)和PC2(9.2%)共可以解釋這12個變量的93.6的程度，除了CONT外的其他的11個變量與PC1都有較好的相關(guān)性，所以PC1與這11個變量基本斜交，而CONT不能被PC1表示，所以基本與PC1正交垂直，而PC2與CONT基本平行，表示其基本可以表示CONT。
