原創(chuàng) | 文 BFT機(jī)器人

隨著虛擬現(xiàn)實(shí)和虛擬世界技術(shù)的發(fā)展，博物館藏品的數(shù)字化是一個(gè)越來越受關(guān)注的新興話題。世界上許多著名的博物館都在為網(wǎng)上展覽建立自己的數(shù)字館藏。

在這些藏品中，有一種特殊而重要的藏品昆蟲、人體組織、水生生物和其他易碎的標(biāo)本需要保存在一些堅(jiān)硬但透明的材料中（圖1）。

為了將這些藏品數(shù)字化，抽象出一個(gè)獨(dú)特的研究問題，即透過玻璃般的外部觀察并恢復(fù)內(nèi)部物體的幾何形狀。具體來說，任務(wù)是從場(chǎng)景的多個(gè)2D視圖中重建感興趣對(duì)象的3D幾何形狀。

圖1

該任務(wù)的一個(gè)主要挑戰(zhàn)是在空氣和透明塊的界面上由光的反復(fù)反射和折射引起的嚴(yán)重的圖像畸變。由于它使單視點(diǎn)假設(shè)失效，大多數(shù)現(xiàn)有的多視點(diǎn)三維重建方法往往失敗。因此，本文提出了一種新的方法ReNeuS，它使用一種新穎的混合渲染策略，考慮到玻璃/空氣界面上多次光線反射和折射，以精確地重建三維模型。

01??該篇論文的創(chuàng)新點(diǎn)

1. 提出了一種新的研究問題，即透明容器內(nèi)部物體的三維重建問題。

2. 提出了一種新的三維重建方法ReNeuS，該方法可以處理玻璃/空氣界面上多次光線反射和折射，并且能夠?qū)?fù)雜場(chǎng)景進(jìn)行分割和重建。

3. 使用了一種基于射線跟蹤和體積渲染技術(shù)相結(jié)合的混合渲染策略來處理兩個(gè)子空間之間的光線交互，從而提高了重建效果。

圖2 ReNeuS框架的概覽圖。

ReNeuS是一種新穎的神經(jīng)重建方法，用于透明容器中昆蟲的三維重建。該方法的主要步驟包括場(chǎng)景分割、神經(jīng)渲染、反向傳播訓(xùn)練和三維重建。

首先，對(duì)于給定的透明容器場(chǎng)景，ReNeuS將其分為內(nèi)部和外部?jī)蓚€(gè)子空間（圖2）。

內(nèi)部子空間包含昆蟲標(biāo)本及其周圍環(huán)境，而外部子空間則包含容器壁和周圍環(huán)境。這種場(chǎng)景分割方式可以有效地減少光線追蹤過程中的計(jì)算量，并提高重建精度。

接下來，ReNeuS使用多層感知器（MLPs）對(duì)內(nèi)部場(chǎng)景進(jìn)行編碼，以表示幾何和外觀信息。

具體來說，ReNeuS使用隱式神經(jīng)網(wǎng)絡(luò)來表示內(nèi)部場(chǎng)景的表面形狀，并使用體積渲染技術(shù)來表示其外觀特征。這種神經(jīng)隱式表示方式可以有效地處理復(fù)雜的光線折射和反射現(xiàn)象，并提高重建精度。

然后，ReNeuS使用遞歸光線追蹤過程來生成圖像。

在每個(gè)迭代步驟中，通過神經(jīng)隱式表示計(jì)算每個(gè)子光線的輻射度，并將其累加到顏色值中。這種神經(jīng)渲染方式可以有效地處理復(fù)雜的光線傳輸現(xiàn)象，并提高重建精度。

接著，ReNeuS使用反向傳播算法來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以最小化預(yù)測(cè)圖像與真實(shí)圖像之間的差異。

具體來說，ReNeuS使用漸進(jìn)式訓(xùn)練策略來逐步優(yōu)化神經(jīng)網(wǎng)絡(luò)的性能，以提高重建精度和泛化能力。在每個(gè)訓(xùn)練階段，ReNeuS使用真實(shí)圖像和預(yù)測(cè)圖像之間的差異來計(jì)算損失函數(shù)，并使用反向傳播算法來更新神經(jīng)網(wǎng)絡(luò)的權(quán)重。

最后，ReNeuS使用基于體素的三維重建算法來從渲染圖像中恢復(fù)昆蟲標(biāo)本的三維形狀。

具體來說，ReNeuS將渲染圖像轉(zhuǎn)換為體素表示，并使用Poisson重建算法來生成光滑的三維網(wǎng)格模型。這種基于神經(jīng)網(wǎng)絡(luò)和體素表示的三維重建方法可以有效地處理復(fù)雜的透明場(chǎng)景，并提高重建精度和效率。

02??實(shí)驗(yàn)

在實(shí)驗(yàn)中，作者使用了一個(gè)包含10個(gè)真實(shí)昆蟲標(biāo)本的透明玻璃容器數(shù)據(jù)集和一些合成數(shù)據(jù)集來評(píng)估他們的方法。作者還與其他基線方法進(jìn)行了比較，包括傳統(tǒng)的多視角立體重建方法和最新的深度學(xué)習(xí)方法。

結(jié)果表明，ReNeuS在處理透明場(chǎng)景中的三維重建問題方面表現(xiàn)出色，并且可以重建出小昆蟲標(biāo)本的翅膀和觸角等細(xì)節(jié)結(jié)構(gòu)。這些實(shí)驗(yàn)結(jié)果證明了ReNeuS方法的有效性和優(yōu)越性。

圖3展示了在合成數(shù)據(jù)集上使用ReNeuS和基線方法進(jìn)行三維形狀重建的結(jié)果。

表1展示了在合成數(shù)據(jù)集上使用ReNeuS和其他基線方法進(jìn)行定性評(píng)估的結(jié)果。

圖4展示了在真實(shí)數(shù)據(jù)集上使用ReNeuS和其他基線方法進(jìn)行三維重建的可視化結(jié)果。

論文的結(jié)論是作者提出的ReNeuS方法可以成功地解決透明容器中物體的三維重建問題，并且在實(shí)驗(yàn)中取得了比其他基線方法更好的效果。

這個(gè)方法可以應(yīng)用于數(shù)字化脆弱博物館藏品等領(lǐng)域，為文化遺產(chǎn)保護(hù)和數(shù)字化提供了新的思路和方法。

網(wǎng)址：https://xueshu.baidu.com/usercenter/paper/show?paperid=1m4q0tj0gc530ay0rs4p04w0e5712811&site=xueshu_se標(biāo)題：Seeing Through the Glass: Neural 3D Reconstruction of Object Inside a?Transparent Container

更多精彩內(nèi)容請(qǐng)關(guān)注公眾號(hào)：BFT機(jī)器人

本文為原創(chuàng)文章，版權(quán)歸BFT機(jī)器人所有，如需轉(zhuǎn)載請(qǐng)與我們聯(lián)系。若您對(duì)該文章內(nèi)容有任何疑問，請(qǐng)與我們聯(lián)系，將及時(shí)回應(yīng)。