基于 NeRF 的 APP: LUMA AI
只需要一部手機(jī),就能將 2D 照片實(shí)時(shí)渲染出成3D 模型。

最初 的NeRF 需要專業(yè)相機(jī)拍幾百張照片,同時(shí)對照片進(jìn)行位姿估計(jì),但由于它的代碼數(shù)據(jù)開源,目前已經(jīng)有不少簡化版模型被開發(fā)出來。例如nerfacc、nerf-npg等,但是能實(shí)時(shí)建立模型的NeRF,應(yīng)該還沒出現(xiàn)過。
現(xiàn)在,Luma AI 團(tuán)隊(duì)基于云服務(wù)器,實(shí)現(xiàn)了這個(gè)可以實(shí)時(shí)渲染?3D 物體、產(chǎn)品或風(fēng)景和場景的 APP。同時(shí)不僅可以將制作的 3D 模型上傳到網(wǎng)站,而且可以導(dǎo)入unreal、unity等游戲引擎當(dāng)中渲染和使用。


但是目前只在appsotre上面上架了,而且需要帶有深度相機(jī)的蘋果手機(jī),即iphone12 pro以上,我試了我的ipad的完全不行。。。用戶只需要跟著導(dǎo)引,圍繞 3D 物體定位和旋轉(zhuǎn)拍攝,NeRF 就能在后臺將這些照片合成出一個(gè) 3D 模型,并實(shí)時(shí)導(dǎo)出。
同時(shí)還有在線網(wǎng)站可以使用:captures.lumalabs.ai/imagine(前面再加個(gè)http,完整鏈接傳不了)


目前支持導(dǎo)出的 3D 模型格式,主要包括 obj 和 gltf 兩種。就是沒有開源,只能簡單的引入模型

想自己跑的話,在github上有幾個(gè)版本的nerf可以試試(我貼不了鏈接)。
標(biāo)簽: