Gen-2震撼發(fā)布，文本一鍵生成大電影
仿佛一聲驚雷炸響，昨天Runway發(fā)布了文字生成視頻模型Gen-2。宣傳詞也是非常炸裂——「say it，see it」，只要你說得出來，它就能給你做出來。科幻小說里的超能力成真了！
可以說，有了Runway Gen-2，你就能用任意的圖像、視頻或文本，生成一段酷炫大片，想要啥風(fēng)格，就有啥風(fēng)格。
這個(gè)速度簡(jiǎn)直讓人目瞪口呆：Gen-1的內(nèi)測(cè)都還沒拿到呢，Gen-2就來了！
一句話，一張圖，三秒視頻無中生有
此前，Runway在文本到圖像領(lǐng)域就曾經(jīng)大放異彩，大名鼎鼎的Stable Diffusion，就是Runway開發(fā)的。在今年2月，Runway就提出了首個(gè)AI編輯模型Gen-1。顧名思義，Gen-1可以在原視頻的基礎(chǔ)上，編輯出咱們想要的視頻。無論是粗糙的3D動(dòng)畫，還是用手機(jī)拍出來的搖搖晃晃的視頻，Gen-1都可以升級(jí)出一個(gè)不可思議的效果。
論文地址：https://arxiv.org/abs/2302.03011比如用幾個(gè)包裝盒，Gen-1就可以生成一個(gè)工廠的視頻，化腐朽為神奇，就是這么簡(jiǎn)單。
而相比Gen-1，Gen-2獲得了史詩(shī)級(jí)的升級(jí)——可以從頭開始生成視頻。
目前，這個(gè)模型還未開放，預(yù)計(jì)在幾周內(nèi)會(huì)公開。而根據(jù)目前的演示片段看來，Gen-2的效果似乎暫時(shí)比不上Gen-1，沒有那么逼真。但是，這畢竟是AI文生視頻0到1的第一步。AI導(dǎo)演做到這一步，已經(jīng)夠人類顫抖的了。
網(wǎng)友實(shí)測(cè)，效果炸裂
而獲得內(nèi)測(cè)資格的幸運(yùn)網(wǎng)友，已經(jīng)開始動(dòng)手生成自己的電影了。可以看出，無論是宮崎駿風(fēng)格的日系動(dòng)畫，還是寫實(shí)風(fēng)格的鏡頭特寫，或者魔幻特效的電影大片，Gen-2都不在話下。
雖然目前的畫質(zhì)可能還不夠細(xì)膩，但畢竟是從0生成的視頻，一旦日后優(yōu)化好，大導(dǎo)們的飯碗怕是捧不穩(wěn)了。
Gen-2的八大「魔法」
Mode 01：Text to Video（文字生成視頻）
一個(gè)文本提示，就能合成出任意風(fēng)格的視頻，不怕它生不出來，只怕你想不到。
提示：
在紐約市的一間閣樓里，傍晚的陽(yáng)光透過窗戶溫柔地灑進(jìn)屋內(nèi)。
輸出：
Mode 02：Text + Image to Video（文字+圖像生成視頻）
輸入一幅圖，再加一句prompt，直接就給你變成了視頻。
輸入圖像：
驅(qū)動(dòng)提示：
在一個(gè)低角度拍攝的畫面中，男子正沿著街道行走，周圍酒吧的霓虹燈照亮了他的身影。
輸出：
Mode 03：Image to Video（圖像生成視頻）
這個(gè)不用解釋了，你給它一張圖片，它給你秒變一段視頻。多種風(fēng)格，隨你選擇。
美圖一秒變電影，這也太夢(mèng)幻了吧。
輸入圖像：
輸出：
Mode 04：Stylization（風(fēng)格化）
如果你有一段原視頻，但是效果不夠炸裂，怎么辦？
只需要把你想要疊加的風(fēng)格用圖片或者文字疊加上去，多魔幻的風(fēng)格都立馬生成，秒變好萊塢大片。
原始視頻：
驅(qū)動(dòng)圖像：
輸出：
Mode 05：Storyboard（故事版）
將模擬的場(chǎng)景一拉，就變成了風(fēng)格化和動(dòng)畫化的渲染圖，前期制作一鍵簡(jiǎn)化。
輸出&輸出對(duì)比：
Mode 06：Mask（掩碼）
在你的視頻中分離出特定的對(duì)象，然后通過prompt，想怎么改就怎么改，比如下圖中，金毛秒變斑點(diǎn)狗。
輸入視頻：
驅(qū)動(dòng)提示：
一只身上有黑色斑點(diǎn)的白毛狗。
輸出：
Mode 07：Render（渲染）
只要輸入圖像或提示，無紋理的渲染立馬變成現(xiàn)實(shí)的輸出，深度和真實(shí)感震撼人心。
輸入視頻：
輸出：
Mode 08：Customization（個(gè)性化）
通過自定義，讓原視頻個(gè)性化大變身，保真度還超高。
點(diǎn)擊就看外國(guó)小哥秒變海龜人。
輸入&輸出對(duì)比：
訓(xùn)練圖像：
從生成結(jié)果來看，Gen-2的前景，實(shí)在是太令人著迷了。（Gen-1的內(nèi)測(cè)申請(qǐng)?jiān)谶@里，http://t.cn/A6Cu1cdy）。雖然Meta和谷歌也有類似的文本到視頻模型（Make-a-Video和Phenaki），生成的剪輯更長(zhǎng)、更連貫。但這些體量更大的公司并沒有投入多大的資源，相比之下，Runway的團(tuán)隊(duì)只有區(qū)區(qū)45人。其實(shí)，Runway自2018年以來，就一直專注于研究AI工具，并在去年年底籌集了5000萬(wàn)美元。
有趣的是，Stable Diffusion的初始版本，就有Runway的貢獻(xiàn)。只不過后來被Stability AI普及，并有了更進(jìn)一步的發(fā)展。而這也告訴我們，初創(chuàng)公司在生成式AI上的潛力，是多么驚人。
一大波展示
提示：一只眼睛的特寫鏡頭
提示：無人機(jī)拍攝的沙漠景觀
