這個非線性函數(shù)也被稱為激活函數(shù)。常見的激活函數(shù)有，

這兩個函數(shù)的微分比較好計(jì)算，我想是它們稱為常見激活函數(shù)的一個重要原因。將線性模型的輸出在輸入到上述非線性函數(shù)中我們就可以得到更加具有彈性的模型了。如果激活函數(shù)使用Sigmoid函數(shù)，那一個神經(jīng)元的數(shù)學(xué)表達(dá)式就可以表達(dá)為