01-線性回歸-LinearRegress（小白入門(mén)）

1、什么是線性回歸？

• 線性：兩個(gè)變量之間的關(guān)系是一次函數(shù)關(guān)系的

• 非線性：兩個(gè)變量之間的關(guān)系不是一次函數(shù)關(guān)系的

2、應(yīng)用場(chǎng)景

• 房?jī)r(jià)預(yù)測(cè)

• 流量預(yù)測(cè)

• 票房預(yù)測(cè)

• ....

3、表達(dá)式&優(yōu)化函數(shù)

• 表達(dá)式: y=wx+b

? ? ? ?w是x的系數(shù)，b是偏置項(xiàng)

• 目標(biāo)函數(shù)（Loss Function）

• 利用梯度下降法求 J 的最小值，從而推導(dǎo)出w和b

4、為什么需要正則化

4.1 L1正則化(Lasso回歸)

L1正則化項(xiàng)：

L1如何解決過(guò)擬合問(wèn)題：

• 特征稀疏性

4.2 L2正則化(嶺回歸)

L2正則化項(xiàng)：

L2如何解決過(guò)擬合問(wèn)題

• 擬合過(guò)程中通常都傾向于讓權(quán)值盡可能小

• 參數(shù)很小，數(shù)據(jù)偏移得多一點(diǎn)也不會(huì)對(duì)結(jié)果造成什么影響，魯棒性更強(qiáng)

• 參數(shù):=0.01

代碼實(shí)現(xiàn)：房?jī)r(jià)回歸預(yù)測(cè)-LinearRegression

預(yù)測(cè)值&實(shí)際值效果圖：