需求：CPU

內(nèi)存最好大點(diǎn)

參照這個(gè)項(xiàng)目https://github.com/ggerganov/llama.cpp/issues/22

直接按照https://github.com/ggerganov/llama.cpp/issues/22

*這個(gè)ISSUE最后也是我寫的，只不過搬運(yùn)到B站來。

這位大佬的方法編譯，記得用

這個(gè)東西把cmake裝上去。

然后愉快的編譯開始了，等待即可。

接著我們會(huì)發(fā)現(xiàn)得到三個(gè)文件

后面兩個(gè)EXE是需要用到的。
然后我們來轉(zhuǎn)化模型（鏈接：https://pan.baidu.com/s/1Y7YWdFWX1Yzy2Yuujp8Tqg?pwd=1p5n
提取碼：1p5n
--來自百度網(wǎng)盤超級(jí)會(huì)員V4的分享
）
直接寫原模型的絕對(duì)路徑（在實(shí)操過程中很多時(shí)候會(huì)被路徑坑死）

然后等待

完成后利用之前編譯好的quantize.exe進(jìn)一步轉(zhuǎn)換

等待完成。

然后看你心情把llama.exe加入環(huán)境變量還是直接拖過來操作，參數(shù)都有給出，照著來即可。（記得把GBK改成UTF，該死的編碼問題。）

玩得開心。