事件導向的快速光流法

光流法(Optical flow)在昆蟲及電腦視覺中都常被用來分析物體在畫面中的移動。其中，最熱門的應用應是視覺里程計(Visual Odometry, VO)、機器人避障等等。傳統上，我們可以通過拍攝整張照片(也就是幀導向, frame-based)的攝影機取得的畫面來算光流；

最近幾年流行的事件導向(event-based)相機(Gallego et al. 2020)因為其低延遲的特性，使得機器人可以擁有更快的反應速度；不幸的是，若要利用這種相機算光流，因過去的方法是從傳統相機演變而來的，導致結果不是很準。

巴黎-薩克雷大學提出了使用主成分分析(Principal Component Analysis, PCA)來計算光流的方法(Khairallah et al. 2021)；這種方法通過收集過去一小段時間的「事件」，並使用PCA分析來推敲出物體在畫面中的移動。比起使用plane-fitting 的光流法，不僅誤差減少了近一半，速度也快了接近一倍，甚至也可以反過來應用回傳統高幀率的相機(Chen et al. 2020)，提供了輕量化電腦視覺演算法的可能。

撰文｜葉宸甫

參考文章：

Chen, Huaijin, Wanjia Liu, Rishab Goel, Rhonald C. Lua, Siddharth Mittal, Yuzhong Huang, Ashok Veeraraghavan, and Ankit B. Patel. 2020. “Fast Retinomorphic Event-Driven Representations for Video Gameplay and Action Recognition.” IEEE Transactions on Computational Imaging 6: 276–90. https://doi.org/10.1109/TCI.2019.2948755.

 

Gallego, Guillermo, Tobi Delbruck, Garrick Orchard, Chiara Bartolozzi, Brian Taba, Andrea Censi, Stefan Leutenegger, et al. 2020. “Event-Based Vision: A Survey.” IEEE Transactions on Pattern Analysis and Machine Intelligence, 1–1. https://doi.org/10.1109/TPAMI.2020.3008413.

 

Khairallah, Mahmoud Z., Fabien Bonardi, David Roussel, and Samia Bouchafa. 2021. “PCA Event-Based Optical Flow for Visual Odometry.” arXiv:2105.03760 [Cs], May. http://arxiv.org/abs/2105.03760.