訪問【W(wǎng)RITE-BUG數(shù)字空間】_[內(nèi)附完整源碼和文檔]

本次任務(wù)以花卉識別為題，借用機(jī)器學(xué)習(xí)方法，完成降維可視化、聚類分析、識別分類等任務(wù)。 降維可視化是在以 PCA、tSNE 等方法，將花卉數(shù)據(jù)進(jìn)行降維，得到降維后的二維圖像，這樣便可以將其在平面上展示出來。聚類分析是利用合適的聚類方法，對花卉數(shù)據(jù)進(jìn)行聚類，將聚類之后的結(jié)果與標(biāo)簽進(jìn)行對應(yīng)，討論不同聚類方法的結(jié)果。使用非深度學(xué)習(xí)和深度學(xué)習(xí)的方法，對已經(jīng)標(biāo)注完成但是可能含有誤標(biāo)數(shù)據(jù)的花卉樣本進(jìn)行分類，得到最終的花卉識別準(zhǔn)確率。

一、問題分析

本次任務(wù)以花卉識別為題，借用機(jī)器學(xué)習(xí)方法，完成降維可視化、聚類分析、識別分類等任務(wù)。

降維可視化是在以 PCA、tSNE 等方法，將花卉數(shù)據(jù)進(jìn)行降維，得到降維后的二維圖像，這樣便可以將其在平面上展示出來。聚類分析是利用合適的聚類方法，對花卉數(shù)據(jù)進(jìn)行聚類，將聚類之后的結(jié)果與標(biāo)簽進(jìn)行對應(yīng)，討論不同聚類方法的結(jié)果。使用非深度學(xué)習(xí)和深度學(xué)習(xí)的方法，對已經(jīng)標(biāo)注完成但是可能含有誤標(biāo)數(shù)據(jù)的花卉樣本進(jìn)行分類，得到最終的花卉識別準(zhǔn)確率。

二、問題求解

2.1 數(shù)據(jù)預(yù)處理

2.1.1 預(yù)處理流程

給定的數(shù)據(jù)集為 jpg 格式的數(shù)據(jù)，由于讀取 jpg 格式的圖片比較慢，所以將 jpg 格式存儲在 numpy 的多維數(shù)組中，將提取出的多維數(shù)組存儲在磁盤中，并且在下一次讀取數(shù)據(jù)時，先判斷是否存在已經(jīng)打包好的多維數(shù)組文件。如果存在，那么直接讀取多維數(shù)組的數(shù)據(jù)；如果不存在，那么讀取源文件，并將數(shù)據(jù)存到多維數(shù)組中，再存到磁盤里，供下次使用。

2.1.2 預(yù)處理實現(xiàn)

按照上面的處理流程，獲取處理后的圖片數(shù)組文件。為了后續(xù)方便，最終得到的圖片的格式為 38080 的圖片。每一個模塊實現(xiàn)過程如下：

讀取圖片文件： os.listdir 獲取圖片所在的文件夾下的所有圖片的名稱，得到圖片的總個數(shù) N。利用 matplotlib 提供的 imread 函數(shù)讀取 jpg 格式的文件。

轉(zhuǎn)換到 38080 的格式： 直接讀出的 jpg 格式的格式為 80803 的數(shù)組，利用 numpy 的 transpose 函數(shù)，轉(zhuǎn)換各個坐標(biāo)軸，即 = . (2,0,1)得到

38080 的數(shù)據(jù)。

得到所有的圖片數(shù)據(jù)和標(biāo)簽數(shù)據(jù)： 申請 N380*80的數(shù)組 Pictures 和 N維向量 labels，每讀取一個圖片，將當(dāng)前圖片賦值到 Pictures 中，同時將文件名的第一個字母轉(zhuǎn)換成數(shù)字，即為對應(yīng)的標(biāo)簽，將其賦值到 labels 向量中。

保存讀取的文件： 利用 np.save 將處理得到的數(shù)據(jù)保存。

讀取已經(jīng)保存后文件： 利用 np.load 加載已經(jīng)保存的數(shù)據(jù)。

2.2 降維可視化

降維可視化是將高維的圖片數(shù)據(jù)映射到二維和三維空間中，以圖像的方式觀察各個類別的分布，達(dá)到可視化的目的。