淺談注視點(diǎn)渲染技術(shù)，為什么說這是VR的未來方向。
就在2023年2月22日，PSVR2全球發(fā)布，國行定價(jià)4499元。這個定價(jià)正式宣布了高貴的注視點(diǎn)渲染技術(shù)正式跌入萬元以內(nèi)，進(jìn)入加速消費(fèi)普及的階段，相信不久的將來，各類平價(jià)的VR設(shè)備也將會陸續(xù)加入此功能。
什么是注視點(diǎn)渲染，它又能帶來什么
我們的人眼雖然有超過120度的視野范圍，但是由于感光細(xì)胞主要分布于中央凹附近，人眼的視野的清晰區(qū)其實(shí)只有15度左右。所以理論上對畫面中人眼清晰區(qū)的部分進(jìn)行高質(zhì)量渲染，其余部分用較低圖像質(zhì)量渲染，除了個別天賦異稟的人類，理論上是察覺不到有區(qū)別的。這就是注視點(diǎn)渲染的最底層邏輯。針對人眼視野的清晰范圍進(jìn)行有選擇的渲染，從而降低GPU負(fù)荷。
一切的起源：FFR
注視點(diǎn)渲染技術(shù)首次登錄消費(fèi)市場是由Oculus于2018年3月的GDC。當(dāng)時(shí)起名 Fixed Foveated Rendering (FFR)。通過在屏幕中心固定一個高分辨率的區(qū)域，并在邊緣渲染低分辨率。正如名字中的Fixed所說，他的低分辨率區(qū)域是固定的，下圖是Meta官方介紹，紅色綠色藍(lán)色紫色分別對應(yīng)渲染1/2，1/4，1/8，1/16原始分辨率。
初代FFR的問題很明顯，因?yàn)榈拖袼劁秩緟^(qū)域是固定的，我們在使用VR設(shè)備時(shí)候，不可能只看中心區(qū)域，實(shí)際應(yīng)用中100%渲染的區(qū)域其實(shí)還是占了絕大多數(shù)。節(jié)省的GPU資源有限。并且當(dāng)眼睛注視點(diǎn)轉(zhuǎn)移到邊緣時(shí)，會有強(qiáng)烈的畫質(zhì)劣化感。下圖是微軟模擬飛行同畫質(zhì)下開關(guān)FFR幀數(shù)對比。
說了那么半天，這個技術(shù)不就是個5年前的技術(shù)，實(shí)際幀數(shù)體驗(yàn)提升也就那樣，視點(diǎn)一轉(zhuǎn)移也會糊成一片，就這還未來方向？
因?yàn)檫@次的不只是FFR，而是進(jìn)化升級的ETFR?。?/span>
新的時(shí)代：眼動注視點(diǎn)渲染ETFR
FFR因?yàn)樗母叻直媛输秩緟^(qū)域是固定的，所以為了更好的體驗(yàn)，實(shí)際應(yīng)用中往往這部分區(qū)域很大，實(shí)際并沒有節(jié)省多少計(jì)算資源。為了能實(shí)際確實(shí)的節(jié)省GPU的計(jì)算資源ETFR誕生了。
Eye Tracked Foveated Rendering （ETFR）
相比原先的Fixed，這次加入了眼動追蹤Eye tracked。高分辨率渲染區(qū)域相比以前更小了，并且能根據(jù)眼球移動實(shí)時(shí)變化！這就很厲害了，只要眼動追蹤沒出問題，理論上就算看向哪里都不會出現(xiàn)以前模糊的情況。同時(shí)個人認(rèn)為，ETFR簡直就是為VR所生，平時(shí)對著顯示器，大家不怎么會去刻意看屏幕邊緣，但是VR就不同了，在一個開放的視野環(huán)境，難免眼神到處飄，傳統(tǒng)的FFR在這種情況下可以說完全不適用。
下面是官方說明中ETFR與FFR渲染區(qū)域的對比，能明顯看出范圍縮小了。
↓官方發(fā)布會演示的高分辨渲染區(qū)域隨注視點(diǎn)變化而變化。發(fā)表名稱：Performance and Optimization on Meta Quest Platform?直接b站應(yīng)該能搜到。
最后的結(jié)果就是ETFR能節(jié)省更多的GPU計(jì)算資源的同時(shí)獲得相比FFR更好的感官圖像質(zhì)量。
問題與挑戰(zhàn)
ETFR也不是完美的，像必須要解決的輸入輸出延遲，低高渲染分辨率的切換等等，其中最致命的問題就是Eye tracked失效。整個眼動檢測依賴的是內(nèi)置的攝像頭，要是這些攝像頭對焦出現(xiàn)失誤，玩家所看到的畫面就會立馬變成丐版畫質(zhì)，網(wǎng)上其實(shí)也有很多反應(yīng)PSVR2畫面糊的問題，其實(shí)紅外相機(jī)對焦失誤的可能性非常大。
總結(jié)
VR不同于普通顯示，需要同時(shí)對兩個畫面進(jìn)行渲染，想想現(xiàn)在隨便跑個3A開個高畫質(zhì)GPU占用就沖到90%以上，要是同時(shí)再渲染一個畫面......這對目前GPU造成了極大的負(fù)擔(dān)，也成了制約VR發(fā)展的關(guān)鍵要因。ETFR作為緩解GPU計(jì)算壓力的一種有效手段。相信在普及之后能為VR畫質(zhì)帶來一次革命性的提高。
一些別的：
這開發(fā)者可能有吹噓的成分，但是上來比3090Ti快10%還是側(cè)面反映出這次對GPU計(jì)算性能的節(jié)約。
活在這個時(shí)代真好，技術(shù)迭代更新從來沒有像現(xiàn)在這樣快過！
