10本電子書放文末，自取~

1、生成式模型與判別式模型的區(qū)別？

生成式模型先對(duì)數(shù)據(jù)的聯(lián)合分布 進(jìn)行建模，然后再通過(guò)貝葉斯公式計(jì)算樣本屬于各類別的后驗(yàn)概率 。

判別式模型直接進(jìn)行條件概率建模，由數(shù)據(jù)直接學(xué)習(xí)決策函數(shù) 或條件概率分布作為預(yù)測(cè)的模型。判別方法不關(guān)心背后的數(shù)據(jù)分布，關(guān)心的是對(duì)于給定的輸入，應(yīng)該預(yù)測(cè)什么樣的輸出。

用一句話總結(jié)就是生成模型估計(jì)的是聯(lián)合概率分布，判別式模型估計(jì)的是條件概率分布。

2、模型的方差和偏差是指什么？

偏差（Bias）：表示模型的預(yù)測(cè)值和真實(shí)值之間的差異程度。用所有可能的訓(xùn)練數(shù)據(jù)集 訓(xùn)練出的所有模型的輸出的平均值與真實(shí)模型的輸出值之間的差異。如果模型的偏差很高，說(shuō)明模型無(wú)法捕捉到數(shù)據(jù)中的所有信息，因此模型的預(yù)測(cè)值和真實(shí)值之間的差異會(huì)很大。例如，在房屋預(yù)測(cè)的例子中，如果模型只考慮了房屋的面積這一個(gè)特征，那么模型的偏差就會(huì)很高，因?yàn)槟Ｐ蜔o(wú)法考慮到其他特征（比如臥室數(shù)量、浴室數(shù)量等）對(duì)房?jī)r(jià)的影響。

方差（Variance）：表示模型對(duì)于不同的訓(xùn)練集的預(yù)測(cè)結(jié)果分散程度。如果模型的方差很高，說(shuō)明模型對(duì)于不同的訓(xùn)練集的預(yù)測(cè)結(jié)果差異很大，也就是說(shuō)，模型無(wú)法捕捉到數(shù)據(jù)中的一般規(guī)律，而過(guò)度擬合了訓(xùn)練數(shù)據(jù)。例如，在房屋預(yù)測(cè)的例子中，如果我們使用非常復(fù)雜的模型（比如高階多項(xiàng)式回歸），那么模型的方差就會(huì)很高，因?yàn)槟Ｐ瓦^(guò)度擬合了訓(xùn)練數(shù)據(jù)，而無(wú)法捕捉到一般規(guī)律。

3、二分類模型的評(píng)估指標(biāo)有哪些？

在二分類模型中，我們通常將樣本分為兩類：正例和反例。在評(píng)估模型性能時(shí)，我們需要考慮以下四個(gè)指標(biāo)：

準(zhǔn)確率（Accuracy）：預(yù)測(cè)正確的樣本占總樣本數(shù)的比例。

精確率（Precision）：預(yù)測(cè)為正例的樣本中，真正為正例的比例。

召回率（Recall）：真正為正例的樣本中，被預(yù)測(cè)為正例的比例。

F1值：精確率和召回率的調(diào)和平均數(shù)，常用于綜合評(píng)估模型性能。

此外，我們還可以使用ROC曲線和AUC來(lái)評(píng)估模型的性能。ROC曲線是以假正率（False Positive Rate, FPR）為橫坐標(biāo)，真正率（True Positive Rate, TPR）為縱坐標(biāo)繪制的曲線，用于衡量模型在不同閾值下的性能。AUC則是ROC曲線下的面積，用于綜合評(píng)估模型的性能。AUC的取值范圍為0.5到1，值越大，模型性能越好。

4、AUC刻畫的什么？說(shuō)明了什么意思？

AUC（Area Under the ROC Curve）是機(jī)器學(xué)習(xí)領(lǐng)域中常用的一個(gè)性能度量指標(biāo)，用于衡量分類器對(duì)樣本的分類能力。ROC（Receiver Operating Characteristic）曲線是以假正率（False Positive Rate, FPR）為橫坐標(biāo)，真正率（True Positive Rate, TPR）為縱坐標(biāo)繪制的曲線，用于衡量模型在不同閾值下的性能。AUC則是ROC曲線下的面積，用于綜合評(píng)估模型的性能。AUC的取值范圍在0.5到1之間，值越大，分類器性能越好。

具體來(lái)講，AUC刻畫了分類器對(duì)正負(fù)樣本的分類能力，即對(duì)于一個(gè)隨機(jī)的正負(fù)樣本對(duì)，分類器給出正樣本的預(yù)測(cè)值高于負(fù)樣本的概率。AUC越高，說(shuō)明分類器在區(qū)分正負(fù)樣本時(shí)具有更好的能力。在實(shí)際場(chǎng)景中，例如醫(yī)學(xué)診斷、金融風(fēng)控等領(lǐng)域，AUC是評(píng)估分類器性能的重要指標(biāo)之一。

需要注意的是，AUC并不是一個(gè)完美的指標(biāo)，因?yàn)樗⒉荒芨嬖V我們分類器在不同的閾值下的表現(xiàn)，而且對(duì)于類別不平衡的數(shù)據(jù)集，AUC可能會(huì)給出誤導(dǎo)性的結(jié)果。因此，在實(shí)際應(yīng)用中，我們需要綜合考慮多個(gè)性能度量指標(biāo)來(lái)評(píng)估分類器的性能。

5、交叉熵函數(shù)刻畫的什么？

交叉熵函數(shù)是機(jī)器學(xué)習(xí)中常用的一種損失函數(shù)。它常用于評(píng)估兩個(gè)概率分布之間的差異，尤其是在神經(jīng)網(wǎng)絡(luò)中用于度量模型輸出與真實(shí)標(biāo)簽之間的差距。交叉熵函數(shù)的基本思想是將模型的輸出概率與真實(shí)標(biāo)簽的概率進(jìn)行比較，通過(guò)計(jì)算兩個(gè)概率分布之間的交叉熵（cross-entropy）來(lái)衡量它們的相似程度。在分類任務(wù)中，我們通常將標(biāo)簽表示為一個(gè)one-hot向量，即只有一個(gè)元素為1，其余元素都為0。

6、對(duì)于非常大的分類類別，對(duì)于softmax有哪些優(yōu)化方法？

當(dāng)分類類別非常大時(shí)，計(jì)算softmax的復(fù)雜度會(huì)變得非常高，因?yàn)閟oftmax的計(jì)算復(fù)雜度是與類別數(shù)成正比的。因此，需要采用一些優(yōu)化方法來(lái)加速softmax的計(jì)算。

一種常見的優(yōu)化方法是基于交叉熵的方法，這包括hierarchical softmax和noise-contrastive estimation（NCE）。hierarchical softmax通過(guò)將所有的類別組織成一棵二叉樹，并對(duì)每個(gè)節(jié)點(diǎn)定義一個(gè)概率值，從而將原問(wèn)題轉(zhuǎn)化為對(duì)一系列二分類問(wèn)題的求解。這樣就可以減少softmax計(jì)算的次數(shù)，從而提高運(yùn)行速度。NCE是一種用于訓(xùn)練softmax模型的替代方法，它通過(guò)最大化正確標(biāo)簽和噪聲標(biāo)簽之間的差異來(lái)訓(xùn)練模型。與傳統(tǒng)的softmax方法不同，NCE不需要計(jì)算所有類別的概率，因此在類別數(shù)非常大時(shí)可以大大提高運(yùn)行速度。

另一種優(yōu)化softmax的方法是采用近似softmax方法，例如采用采樣的方法進(jìn)行訓(xùn)練。這包括采樣自適應(yīng)重要性抽樣（sampled softmax）、target sampling和sparsemax等。sampled softmax通過(guò)隨機(jī)采樣一小部分類別來(lái)近似計(jì)算softmax概率，從而減少計(jì)算量。target sampling是一種基于重要性采樣的方法，它根據(jù)類別的頻率對(duì)類別進(jìn)行采樣，從而減少少數(shù)類別的影響。sparsemax是一種類似于softmax的激活函數(shù)，但是它產(chǎn)生的分布更加稀疏，因此可以減少計(jì)算量。

總之，當(dāng)我們需要處理非常大的分類問(wèn)題時(shí)，需要采用一些優(yōu)化方法來(lái)加速softmax的計(jì)算，從而提高運(yùn)行速度和效率。不同的優(yōu)化方法有不同的適用場(chǎng)景，需要根據(jù)具體情況進(jìn)行選擇。

7、softmax除了作為激活函數(shù)，在深度學(xué)習(xí)中還有哪些用途？

除了作為激活函數(shù)，還可以使用softmax進(jìn)行軟歸一化，而且在transformer中，softmax在注意力機(jī)制中計(jì)算注意力，主要是軟最大化。

看完本篇如果對(duì)你有用請(qǐng)三連，你的支持是我持續(xù)輸出的動(dòng)力，感謝，筆芯~
↓ ↓ ↓以下10本書電子版免費(fèi)領(lǐng)，直接送 ，想要哪本私我下說(shuō)聲，我發(fā)你↓ ↓ ↓

以上8本+《2022年Q3最新大廠面試題》+《2022年Q4最新大廠面試題》電子書，部分截圖如下：