要理解奇異值分解，先從特征值開(kāi)始，下面內(nèi)容來(lái)自網(wǎng)絡(luò)：

從上圖看到，M的行向量【3，0】相當(dāng)于把向量【x,y】的橫坐標(biāo)擴(kuò)大了3倍。所以這個(gè)變換是一個(gè)對(duì)x，y軸的方向一個(gè)拉伸變換。

而上圖M的行向量【1，1】相當(dāng)于把向量【x,y】的橫軸旋轉(zhuǎn)到了ix+jy的方向。所以這個(gè)變換是一個(gè)對(duì)x，y軸的方向一個(gè)旋轉(zhuǎn)變換。

總結(jié)一下，特征值分解可以得到特征值與特征向量，特征值表示這個(gè)特征有多重要，特征向量表示這個(gè)特征是什么。

特征值分解是相對(duì)于方陣而言，如果不是方陣呢？那就要用到奇異值分解。

假設(shè)A是一個(gè)mxn矩陣，則

(1)如果一個(gè)矩陣A的元素都是實(shí)數(shù)，則A=A′，厄米特矩陣就是對(duì)稱(chēng)矩陣。

(2)如果A是對(duì)稱(chēng)矩陣，C是正交矩陣，則C^(-1)AC是對(duì)稱(chēng)矩陣。

可以得到：

上圖表明，奇異值分解就是要把矩陣A分解成酉矩陣和對(duì)角矩陣相乘的形式。我們知道，對(duì)于方程組AX=b來(lái)說(shuō)，當(dāng)A是一個(gè)對(duì)角矩陣的時(shí)候，是可以直接求出x來(lái)的。這也是奇異值分解的目的。

最后看一個(gè)奇異值分解的應(yīng)用：

無(wú)論特征值分解還是奇異值分解，其目的都是為了對(duì)方程Ax=b進(jìn)行求解。