解密動態影像

https://mire-growth-131.notion.site/312692c81030488889eb1aed00c7dcee

現有技術在合成動態場景的新視角已經取得了很大的進展，但是對於長時間和無控制的攝像頭軌跡的影片，這些方法可能會產生模糊或不準確的渲染，從而限制了它們在現實世界應用中的使用。因此，google與康奈爾大學康奈爾理工學院的研究團隊提出了一種新方法，通過採用基於體積的圖像渲染框架，在考慮場景運動的情況下聚合鄰近視角的特徵來綜合新的視角。這種新方法可以模擬複雜的場景和視角相關的效果，同時也能夠在長視頻中產生逼真的新視角，這在先前的方法中往往無法產生高質量的渲染。

體積渲染

首先，將影片中的一個點在不同時間點上的位置連接起來，這樣能確定它的運動軌跡。然後，將這個點在不同時間點上的位置投射到相應的視角上。接著，會從這些投影曲線上提取影像特徵，並將它們聚合起來，用於製作新的視角。最後，將這些特徵合成成最終的影像(圖一)。

圖一

跨時間渲染

當攝影機和物體的移動非常複雜時。可以使用跨時間渲染(cross-time rendering)的技術(圖二)，把不同時間點上的影像特徵合成成最終的影像。為了實現這一點，會使用相鄰時間點上的場景模型來渲染每一個影格。這樣可以讓影片場景更加流暢。

圖二

結果

透過新開發的演算法，研究團隊能使30秒短片變得更穩定且維持高畫質。更多的結果可以到研究團隊的網站查詢。https://dynibar.github.io/?fbclid=IwAR2KV22BX1vW8Ed_dWYkxcbOrox-MP8BAmWOw6mpDqgWkCUDg_Ll-6-zA7A

撰文：謝明儒

參考資料：

1. https://dynibar.github.io/?fbclid=IwAR2KV22BX1vW8Ed_dWYkxcbOrox-MP8BAmWOw6mpDqgWkCUDg_Ll-6-zA7A

2. https://arxiv.org/abs/2211.11082

3. https://www.youtube.com/watch?v=prrhosyJzIA