訪問(wèn)【W(wǎng)RITE-BUG數(shù)字空間】_[內(nèi)附完整源碼和文檔]

在機(jī)器學(xué)習(xí)領(lǐng)域，分類(lèi)的目標(biāo)是指將具有相似特征的對(duì)象聚集。而一個(gè)線(xiàn)性分類(lèi)器則透過(guò)特征的線(xiàn)性組合來(lái)做出分類(lèi)決定，以達(dá)到此種目的。對(duì)象的特征通常被描述為特征值，而在向量中則描述為特征向量。

1. 理論知識(shí)

1.1 從線(xiàn)性回歸到線(xiàn)性多分類(lèi)

回歸是基于給定的特征，對(duì)感興趣的變量進(jìn)行值的預(yù)測(cè)的過(guò)程。在數(shù)學(xué)上，回歸的目的是建立從輸入數(shù)值到監(jiān)督數(shù)值的函數(shù)： $$ \hat y=f(x_1,...,x_m) $$ 線(xiàn)性回歸限制函數(shù)為線(xiàn)性形式，即為： $$ f(x_1,...x_m)=w_0+w_1x_1+...+w_mx_m=\bold x\bold w $$ 其中， $$ \bold x = [1,x_1,x_2,...,x_m]\ \bold w = [w_0,w_1,w_2,...,w_m]^T $$ 也就是找一組參數(shù)${w_k}^m_{k=1}$，使得在訓(xùn)練集上，函數(shù)與預(yù)測(cè)值盡可能接近。

對(duì)于本次的分類(lèi)問(wèn)題來(lái)說(shuō)，線(xiàn)性回歸的輸出值與分類(lèi)任務(wù)中的目標(biāo)值不兼容。線(xiàn)性回歸的結(jié)果范圍為全體實(shí)數(shù)，而對(duì)于本次實(shí)驗(yàn)的多分類(lèi)問(wèn)題，變量結(jié)果即屬于的類(lèi)別，換言之，我們期望的結(jié)果標(biāo)簽的種類(lèi)數(shù)量和訓(xùn)練樣本的總類(lèi)別數(shù)量一致。因此考慮使用softmax函數(shù)來(lái)將回歸結(jié)果映射到種類(lèi)上，從而表示分類(lèi)結(jié)果。對(duì)于K分類(lèi)問(wèn)題，有： $$ softmax_i(\bold z)=\frac{e^{z_i}}{\sum^K_{k=1}e^{z_k}}\ f_i(\bold x)=softmax_i(\bold{xW})=\frac{e^{\bold{xw_i}}}{\sum^K_{k=1}e^{\bold{xw_k}}} $$ 其中，$\bold W$為： $$ \bold W\triangleq \left[\begin{matrix}{\bold w_1,\bold w_2...,\bold w_K}\end{matrix}\right] $$ 易見(jiàn)，所有類(lèi)的softmax函數(shù)值之和為1。每一類(lèi)的函數(shù)值就為它的概率。

1.2 損失函數(shù)表示與優(yōu)化

經(jīng)過(guò)上面的討論與操作，對(duì)于多分類(lèi)問(wèn)題，預(yù)測(cè)結(jié)果是在每一類(lèi)上的概率，即維度數(shù)等于類(lèi)數(shù)的向量。與之對(duì)應(yīng)的實(shí)際結(jié)果可以用獨(dú)熱向量表示，即是本類(lèi)的那一維度為1，其他維度為0的向量。為了使得預(yù)測(cè)結(jié)果與實(shí)際結(jié)果盡量接近，我們考慮用損失函數(shù)用于衡量預(yù)測(cè)結(jié)果和實(shí)際結(jié)果的差距。在數(shù)學(xué)上，該分類(lèi)問(wèn)題等價(jià)于找到合適的向量$\bold w$，使得損失函數(shù)最小化。依據(jù)本次實(shí)驗(yàn)的要求，損失函數(shù)需要分別考慮交叉熵?fù)p失和均方誤差損失，即損失函數(shù)分別為： $$ L_1(\bold w_1,\bold w_2,...,\bold w_K)=-\frac1N\sum^N_{l=1}\sum^K_{k=1}y_k^{(l)}\log softmax_k(\bold x^{(l)}\bold W)\ L_2(\bold w_1,\bold w_2,...,\bold w_K)=\frac1N\sum^N_{l=1}\sum^K_{k=1}(softmax_k(\bold x^{(l)}\bold W)-y^{(l)}_k)^2 $$ 其中，$y_k^{(l)}$是第$k$個(gè)$y^{(l)}$的元素。

考慮使用梯度下降法使得損失函數(shù)最小化。兩個(gè)損失函數(shù)的梯度分別為： $$ \frac{\part L(\bold W)}{\part\bold W}=\frac1N\sum^N_{l=1}\bold x^{(l)T}(softmax(\bold x^{(l)}\bold W)-\bold y^{(l)})\ \frac{\part L(\bold W)}{\part\bold W}=\frac2N\sum^N_{l=1}\bold x^{(l)T}(softmax(\bold x^{(l)}\bold W)-\bold y^{(l)})*(diag(softmax(\bold x^{(l)}\bold W)-softmax(\bold x^{(l)}\bold W)*softmax(\bold x^{(l)}\bold W)^T) $$

梯度下降法的參數(shù)更新方式為： $$ \bold W^{(t+1)}=\bold W^{(t)}-r\left.\frac{\part L(\bold W)}{\part\bold W}\right|_{\bold W=\bold W^{(t)}} $$

其中$r$為學(xué)習(xí)率。對(duì)于凹函數(shù)，通過(guò)適當(dāng)?shù)膶W(xué)習(xí)率，對(duì)模型參數(shù)進(jìn)行迭代更新，最終可以收斂到最小值點(diǎn)。