[AI繪畫]stable diffusion個(gè)人使用簡(jiǎn)單記錄2.19-lora模型訓(xùn)練1
????????去年下半年NovelAI火出圈的時(shí)候嘗試了一下,模型主要還是二次元為主,用的傻瓜版只知道輸提示詞隨機(jī)抽獎(jiǎng)。最近看到SD各種插件進(jìn)化,直接真實(shí)向繪圖,2.5D效果還可以,又撿起來(lái)重新耍耍。
昨天照著站內(nèi)秋葉aaaki做的教學(xué)視頻跑了一組Lora訓(xùn)練,然后嘗試了一下新添加的兩種拓展插件的功能,Additional Networks和ControlNet。
1.Lora人物訓(xùn)練之原神雷電將軍
????????從P站搜索雷電將軍,隨便扒了前兩頁(yè)幾十張圖出來(lái)做訓(xùn)練的底素材,從扒的圖片信息來(lái)看,雖然ai繪圖時(shí)間還不算特別長(zhǎng),但是用的人確實(shí)還是蠻多的,我這都屬于用ai出的同人圖做二次訓(xùn)練了,也不知道效果怎們樣,可能全用官方素材更好。。。
????????訓(xùn)練完得到一個(gè)lora模型,我這邊取名是叫Raiden Shogun.safetensors,將其放到sd目錄下extensions拓展中的,additional-network里的模型文件夾里,即里面也有一個(gè)lora模型文件夾。

????????然后就可以開始用自己煉制的模型開始繪圖做測(cè)試了,這里對(duì)比還下載了C站一份別人跑的雷電將軍的lora模型

2.開始出圖
????????首先是提示詞,只打了一個(gè)女孩和紫色頭發(fā)兩個(gè),因?yàn)閱渭兿肟淳毜哪P托Ч趺礃印?/p>
1girl, purple hair,?
????????然后是negative prompt,負(fù)面提示詞隨便從別人圖源里扒的如下:
paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans, nsfw, nipples, (((necklace))), (worst quality, low quality:1.2), watermark, username, signature, text, multiple breasts, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, bad feet, single color, ((((ugly)))), (((duplicate))), ((morbid)), ((mutilated)), (((tranny))), (((trans))), (((trannsexual))), (hermaphrodite), extra fingers, mutated hands, ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), ((ugly)), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), (((disfigured))), (bad anatomy), gross proportions, (malformed limbs), ((missing arms)), (missing legs), (((extra arms))), (((extra legs))), mutated hands,(fused fingers), (too many fingers), (((long neck))), (bad body perspect:1.1)
????????其他的設(shè)置都隨意調(diào)整的,差不多就行了,因?yàn)檫@次是主要看模型效果。。。
????????像采樣方法、steps還有CFG Scale之類的:

????????為了對(duì)比使用webui下的腳本-xyz圖表功能,一共做了兩組對(duì)比。
2.1對(duì)比一:自己煉制lora模型權(quán)重0和1.2,在不同模型風(fēng)格下的表現(xiàn)
????????lora模型權(quán)重分別設(shè)置0和1.2,在不同checkpoint底模型下的表現(xiàn)。我在c站下了一大堆模型,像anything3.0改、orangeMix2、以及2.5d真實(shí)向的chilloutmix、sd1.4、sd1.5等:

????用的是圖生圖,給了張姿勢(shì)限制吧可能相當(dāng)于,可能是這張


????????以我個(gè)人淺顯的理解,(接觸第一天,不能說(shuō)完全不懂,只能說(shuō)勉強(qiáng)會(huì)跑的基礎(chǔ)上),確實(shí)應(yīng)該是權(quán)重越大,畫的越像吧。。。
????????還跑了幾張權(quán)重分別是0,0.3,0.6,0.9,1.2,1.5的:


????? ???這里兩個(gè)模型權(quán)重應(yīng)該都給的1。
?????????怎么說(shuō)呢,下載的那個(gè)為何前兩個(gè)正常的二次元模型下出的圖有點(diǎn)奇怪,到下兩個(gè)hentai風(fēng)格的二次元模型下出的圖效果居然更好一點(diǎn),,,,,
????????我這邊怎么越往下走眼神眼線,面目表情越來(lái)越兇狠了。。。只能說(shuō)anything模型還是給力的,stable-diffusion模型也不用下太多,同類的有的看介紹好像就是兩個(gè)融合出來(lái)的,或者小改。
3.嘗試ControlNet,生產(chǎn)特定動(dòng)作的圖片
????????出圖速度好像會(huì)慢一些,參考圖選的是真人動(dòng)作圖,效果還可以。
記錄完畢。