GAN領(lǐng)域必讀論文

核心算法

兩個(gè)圖像域，兩個(gè)生成器，X-Y；Y-X

倆個(gè)循環(huán)一致性損失

隨便給兩個(gè)域圖片就可以轉(zhuǎn)換風(fēng)格

Image-to-image

循環(huán)一致性損失

用非配對(duì)數(shù)據(jù)集實(shí)現(xiàn)圖像轉(zhuǎn)譯

雙射

“思密達(dá)現(xiàn)象”

語(yǔ)料庫(kù)

非配對(duì)算法

transitivity

神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移 單張風(fēng)格遷移，神經(jīng)網(wǎng)絡(luò)生成

公式

對(duì)抗損失函數(shù)來(lái)映射函數(shù)

生成器無(wú)法控制第一項(xiàng)

循環(huán)一致性損失函數(shù) 核心ideal

1. 使得transfer進(jìn)去的圖像仍保留原始圖像的信息，防止“思密達(dá)”現(xiàn)象
2. 間接實(shí)現(xiàn)了pix2pix的paired image translation功能
3. 防止模式崩潰，總生成相同圖像

例子圖 ，加上循環(huán)一致性時(shí)，沒(méi)有丟失原始圖像的信息

實(shí)現(xiàn)就是把生成圖和原始圖算L1范數(shù)，逐元素作差取絕對(duì)值期望求和

整體損失函數(shù)

循環(huán)一致性損失前的參數(shù)用于調(diào)節(jié)強(qiáng)度

兩個(gè)范式可以看做兩個(gè)自動(dòng)編碼器

網(wǎng)絡(luò)結(jié)構(gòu)

L2范數(shù)更加穩(wěn)定

結(jié)果

評(píng)價(jià)指標(biāo)

人工評(píng)估-AMT圖靈測(cè)試

結(jié)果對(duì)比

航拍轉(zhuǎn)地圖

FCN打分 語(yǔ)義分割算法 label比較

照片轉(zhuǎn)語(yǔ)義標(biāo)注

baseline

pix2pix配對(duì)數(shù)據(jù)

損失函數(shù)分析

圖像重建質(zhì)量

配對(duì)圖像上任務(wù)效果

有趣應(yīng)用

畫風(fēng)遷移

物體變身

季節(jié)遷移

油畫轉(zhuǎn)照片 顏色保存沒(méi)那么好

可加一個(gè)損失函數(shù)

圖像增強(qiáng)

缺點(diǎn)和討論

不擅長(zhǎng)形狀，三維信息，沒(méi)有理解高級(jí)語(yǔ)言，不理解先驗(yàn)知識(shí)

和配對(duì)數(shù)據(jù)的gap

致謝

畫家風(fēng)格遷移展示

重建

小光圈轉(zhuǎn)大光圈

失敗案例

參考文獻(xiàn)

數(shù)據(jù)集，訓(xùn)練細(xì)節(jié)