前言

衣服LoRA具有重要的現(xiàn)實(shí)意義，訓(xùn)練給定衣服圖片得到的模型，能夠結(jié)合AIGC技術(shù)生成該衣服的其他圖片。在語言/圖像大模型的加持下，可以讓虛擬模特穿上該衣服，并出現(xiàn)在各種新的場景。

參考教程：

https://www.bilibili.com/video/BV1pa4y1c7SS/?spm_id_from=333.999.0.0&;vd_source=2e2392af70eca013a5de37b768cceae3

https://www.bilibili.com/video/BV1bM4y1t7VS/?spm_id_from=333.999.0.0&;vd_source=2e2392af70eca013a5de37b768cceae3

數(shù)據(jù)集準(zhǔn)備

電商商品：LIME FLARE萊茵2023年蝴蝶結(jié)系帶連衣裙春季新款小眾碎花雪紡泡泡袖裙子 淺米色 L【圖片 價(jià)格 品牌 報(bào)價(jià)】-京東 (jd.com)

選擇高清的圖片進(jìn)行下載

圖片裁剪與摳圖

目的是僅保留衣服部分，去掉背景，人臉部分保留與否都可以

圖片打標(biāo)

每張圖片需要一個(gè)對(duì)應(yīng)的prompt文件，二次元圖片建議使用DeepBooru工具，三次元圖片使用Tagger工具，用VIT模型進(jìn)行批次打標(biāo)

完成全部處理后大概是這樣的

標(biāo)簽人工處理

需要把直接描述衣服的單詞替換為激活詞，例如這里我把dress改為hellodress

圖片預(yù)處理

對(duì)圖片進(jìn)行裁剪，建議保持圖片長度比，使用Auto-size crop，分辨率設(shè)置為512

衣服LoRA訓(xùn)練

腳本下載和處理

訓(xùn)練腳本 Akegarasu/lora-scripts: LoRA training scripts use kohya-ss's trainer, for diffusion model. (github.com)

或者對(duì)這些很熟悉的話也可以用HCP實(shí)驗(yàn)室開發(fā)的訓(xùn)練框架 7eu7d7/HCP-Diffusion: A universal Stable-Diffusion toolbox (github.com)? 這個(gè)框架更加靈活

修改腳本中train.sh的路徑，以及各種參數(shù)。不是很懂的話就按照我這樣的設(shè)置

開始訓(xùn)練

沒什么好說的，20個(gè)epoch幾分鐘應(yīng)該就訓(xùn)好了，注意loss不要發(fā)散就行

衣服LoRA推理

checkpoint選取

模型訓(xùn)好之后，復(fù)制到 stable-diffusion-webui/models/Lora目錄，需要復(fù)制多個(gè)checkpoint進(jìn)行調(diào)試，我這里使用了addition network插件和X/Y/Z script，不會(huì)的朋友也可以每個(gè)checkpooint輪著測(cè)

我寫了一些簡單的prompt進(jìn)行測(cè)試，注意加入訓(xùn)練的激活詞hellodress

可以看到第14個(gè)epoch的花紋已經(jīng)比較好了，而第18個(gè)epoch的路人背面也出現(xiàn)了這個(gè)花紋，說明模型有點(diǎn)過擬合了，取epoch14的模型進(jìn)行下一步測(cè)試就可以了。

prompt: 1 beautiful woman, solo, jewelry,hellodress, full body, shopping in the street,?

neg prompt: nsfw, lowres, bad anatomy, bad hands, text, missing fingers, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,missing fingers,bad hands,missing arms, long neck, Humpbacked

圖片生成

使用該checkpoint進(jìn)行更多的嘗試

prompt:?1 beautiful woman, solo, jewelry,hellodress, full body, in the Cafe

neg prompt: nsfw, lowres, bad anatomy, bad hands, text, missing fingers, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,missing fingers,bad hands,missing arms, long neck, Humpbacked

可以看到臉部不是很好，我們可以再插入一個(gè)臉部LoRA改善這個(gè)情況 （https://civitai.com/models/77710/normal-korean-girl-face-chilloutmix-base-lora）

前言

整體流出大概就是這樣啦，實(shí)際操作下來生成的圖片的衣服和輸入并不能保持100%相同，需要在不斷實(shí)驗(yàn)進(jìn)行調(diào)整。但意思就是這個(gè)意思，希望對(duì)你也有所幫助。