#論文##開源# TRO 2023|通過基于物理原理的主動(dòng)立體傳感器模擬來彌合光學(xué)感知領(lǐng)域的差距 【Close the Optical Sensing Domain Gap by Physics-Grounded Active Stereo Sensor Simulation】 作者單位：加利福尼亞大學(xué)、清華大學(xué) 文章鏈接：Close the Optical Sensing Domain Gap by Physics-Gr... Kuafu實(shí)時(shí)光線跟蹤渲染引擎：GitHub - jetd1/kuafu: Real-Time Ray Tracer with Vu... SimSense深度計(jì)算模塊：GitHub - angli66/simsense: A Real-Time Depth Senso... SAPIEN仿真器：GitHub - haosulab/SAPIEN 在這篇論文中，我們專注于模擬活動(dòng)立體視覺深度傳感器，在學(xué)術(shù)界和工業(yè)界都非常流行。受到傳感器的基本機(jī)制的啟發(fā)，我們設(shè)計(jì)了一個(gè)完全基于物理原理的模擬流程，包括材料獲取、基于光線追蹤的紅外（IR）圖像渲染、IR噪聲模擬和深度估計(jì)。該流程能夠?qū)崟r(shí)生成具有材料相關(guān)誤差模式的深度圖，類似于真實(shí)深度傳感器。我們進(jìn)行了真實(shí)實(shí)驗(yàn)，以展示在我們的模擬平臺(tái)中訓(xùn)練的感知算法和強(qiáng)化學(xué)習(xí)策略可以在真實(shí)世界的測試案例中無需任何微調(diào)就進(jìn)行良好的轉(zhuǎn)移。 此外，由于這種模擬的高度逼真，我們的深度傳感器模擬器可以用作在真實(shí)世界中評(píng)估算法性能的便捷試驗(yàn)臺(tái)，這將大大減少開發(fā)機(jī)器人算法所需的人力資源。整個(gè)流程已經(jīng)整合到SAPIEN模擬器中，并開源供視覺和機(jī)器人社區(qū)研究使用。