清華在6.26開源了他們的6B的大語言模型ChatGLM2，項(xiàng)目開源地址：https://github.com/THUDM/ChatGLM2-6B。相較于上一代，ChatGLM2在多項(xiàng)指標(biāo)上有所提升。剛好最近下班不知道干啥，于是我在下班后體驗(yàn)了一下ChatGLM2。

設(shè)備：CPU?AMD 5800X；內(nèi)存 48G；GPU NVIDIA GTX3060 12G

目前主流的開源AI模型大多是需要調(diào)用NVIDIA的GPU的，故在運(yùn)行模型前需要安裝對應(yīng)版本的NVIDIA CUDA toolkit和CUDNN，其安裝過程不再贅述。

git clone項(xiàng)目后，首先進(jìn)入項(xiàng)目使用conda創(chuàng)建項(xiàng)目的python環(huán)境

conda create -n glm2 python=3.10

conda activate glm2

此時(shí)已啟用了為項(xiàng)目單獨(dú)創(chuàng)建的python環(huán)境，接下來為項(xiàng)目安裝程序運(yùn)行的相關(guān)依賴，pip install -r requirements.txt，但由于深度學(xué)習(xí)框架pytorch有CPU和GPU的兩個(gè)版本，直接安裝通常會安裝到CPU版本的，故先單獨(dú)安裝pytorch GPU版本pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118，隨后再執(zhí)行pip install -r requirements.txt，等待一段時(shí)間后，項(xiàng)目的所有環(huán)境就搭建完畢了。模型有FP16/INT8/INT4三種精度可選，F(xiàn)P16的版本需要13G以上的顯存才能正常運(yùn)行，故我選擇加載INT4量化后的模型。

streamlit run web_demo2.py

此時(shí)，web客戶端已啟動(dòng)，瀏覽器輸入localhost:8501進(jìn)入到web客戶端頁面。在對話框里輸入問題，讓它幫我搭個(gè)網(wǎng)絡(luò)，ChatGLM2的權(quán)重文件會在這個(gè)過程中自動(dòng)下載，INT4的大概3.6G。

下載完權(quán)重后就可以正常回答問題了?？梢园l(fā)現(xiàn)，ChatGLM2根據(jù)我的需求寫了一段完整的PyTorch代碼，但仔細(xì)觀察發(fā)現(xiàn)代碼還是有點(diǎn)問題：

self.conv2 = nn.Conv2d(6, 6, 3) # 第二層卷積,3x3,6個(gè)輸入通道,5x5的卷積核

在Pytorch官方文檔中：

torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros', device=None, dtype=None)

Conv2d的前三個(gè)參數(shù)分別是輸入通道數(shù)、輸出通道數(shù)、卷積核大小。我對于第二個(gè)卷積要求是一個(gè)5*5的卷積核，代碼中的第三個(gè)參數(shù)為3，也就是3*3的大小，故此行代碼不符合我的要求，除此之外的神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)初始化與前向傳播寫的都沒啥問題，在我沒指定通道數(shù)的情況下它寫的通道數(shù)都屬對的（上一層的輸出的通道數(shù)=這層的輸入通道數(shù)）。

此時(shí)輸入命令行輸入nvidia-smi觀察顯卡占用情況，發(fā)現(xiàn)INT4模型大約占用的6G的顯存。

又測了一下CV里一個(gè)基礎(chǔ)的知識，答的對了一半吧。