兩篇參考文獻(xiàn)

diffusion model 屬于生成式模型，但和VAE比較像

flow model？

重參數(shù)化：避免采樣過(guò)程造成的梯度不連續(xù)，如果miu和sigma是通過(guò)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)得到的，對(duì)標(biāo)準(zhǔn)正態(tài)分布z采樣，再乘均值加標(biāo)準(zhǔn)差可以保證miu和sigma的梯度可以繼續(xù)傳播。

此時(shí)z可視為一個(gè)網(wǎng)絡(luò)的輸入，miu和sigma為網(wǎng)絡(luò)參數(shù)。

該技巧在VAE也有使用

簡(jiǎn)言之就是對(duì)原始變量x通過(guò)神經(jīng)網(wǎng)絡(luò)生成隱變量z，讓z作為x估計(jì)分布的先驗(yàn)條件。

編碼端q（后驗(yàn)網(wǎng)絡(luò)）從x生成z，解碼端p從z預(yù)測(cè)x

p(x)的計(jì)算：公式中包含后驗(yàn)概率（等價(jià)于關(guān)于后驗(yàn)概率的期望），取對(duì)數(shù)，使用jenson不等式進(jìn)行放縮把log移到期望里面（x＞logx）

獲得下界，據(jù)此可以最大化p(x)。

即雙層隱變量。同樣積分換成期望的形式，再利用前面講的條件概率公式和一節(jié)markov性化簡(jiǎn)公式，得到目標(biāo)函數(shù)。

類(lèi)似VAE，從目標(biāo)分布加噪生成一個(gè)分布，再?gòu)倪@個(gè)分布恢復(fù)目標(biāo)分布

xT為噪聲分布，x0為目標(biāo)分布

從x0到xT的過(guò)程就是擴(kuò)散，熵增，從有序到無(wú)序，在原始分布上逐步加高斯噪聲

生成的過(guò)程則從各向同性的噪聲分布恢復(fù)原始分布，逆擴(kuò)散過(guò)程

q：擴(kuò)散過(guò)程的條件分布，p：逆擴(kuò)散過(guò)程的條件過(guò)程。圖片第一行紫色為擴(kuò)散過(guò)程，第二行粉色為逆擴(kuò)散過(guò)程，第三行為兩者的差值，漂移量。

1. 擴(kuò)散過(guò)程不斷添加高斯噪聲，高斯噪聲的均值和標(biāo)準(zhǔn)差都不含參，其中標(biāo)準(zhǔn)差是固定值，均值由標(biāo)準(zhǔn)差和當(dāng)前時(shí)刻數(shù)據(jù)決定（Markov過(guò)程）

2. 隨著t不斷增大，最終分布xT為各向獨(dú)立的高斯分布：從xt-1到xt的條件分布定義為一個(gè)高斯分布，x1:t的聯(lián)合分布given x0則可以表示成這些聯(lián)合分布的積。

這里面的每個(gè)條件概率分布都需要使用重參數(shù)化

T和條件分布參數(shù)βt（0-1之間且隨t增大而增大）的確定？

3. 不需要做迭代而是直接把所有時(shí)刻的分布表示為x0和βt的函數(shù)：