Event-based （事件型）光流的正確打開方式？
事件視覺因其對場景的動態變化產生反應，而擁有了普通相機沒有的優點，包含響應快、無動態模糊、不須曝光控制等等。因為近期在圖像辨識的成功，深度學習也被應用在事件視覺的光流估計上面；其中最知名的包含基於GRU的E-RAFT(Gehrig et al. 2021)。另外，在傳統光流估計上，對比最大法（Contrast Maximization）仍是大宗。
柏林理工大學及慶應義塾大學提出了基於對比最大法的改進(Shiba, Aoki, and Gallego 2022)，包含針對不同時間點的參考一致（圖一）、時空間中沿流線的變化一致性（圖二）、多尺度金字塔（圖三），獲得了比EV-FlowNet(Zhu et al. 2018)還要好的精度，對比E-RAFT也可取得同水準的成績。作者們期待這樣的改進可以解決過擬合、景物遮蔽、對事件資料結構的應用等問題。
 |
| 圖一：多重參考避免焦點喪失。假設有個event從左往右移。只以t1作為參考時會發生左圖一樣的過擬合；圖片會在t_Ne時變得模糊。若同時以t1及t_Ne作為參考，則如右圖般能正確估計event移動方向。 |
 |
| 圖二：更精確的光流參數化，將事件在時空間中平滑移動的特性考慮進來，解決了景物遮蔽問題。 |
 |
| 圖三：粗至精的估計（金字塔法），避免落入局部最小值。最終結果會作為下一時刻的初始化值。 |
註：對比最大化的原理請參考下方影片。
撰文｜葉宸甫
參考文獻&連結
Gehrig, Mathias, Mario Millhausler, Daniel Gehrig, and Davide Scaramuzza. 2021. “E-RAFT: Dense Optical Flow from Event Cameras.” In 2021 International Conference on 3D Vision (3DV), 197–206. London, United Kingdom: IEEE. https://doi.org/10.1109/3DV53792.2021.00030.
Shiba, Shintaro, Yoshimitsu Aoki, and Guillermo Gallego. 2022. “Secrets of Event-Based Optical Flow.” arXiv. http://arxiv.org/abs/2207.10022.
Zhu, Alex Zihao, Liangzhe Yuan, Kenneth Chaney, and Kostas Daniilidis. 2018. “EV-FlowNet: Self-Supervised Optical Flow Estimation for Event-Based Cameras.” In Robotics: Science and Systems XIV. https://doi.org/10.15607/RSS.2018.XIV.062.
留言
張貼留言