以事件相機與脈衝神經網路估計相機姿態

對於自身的姿態估計時常會在電腦視覺的領域中使用，如SLAM(Simultaneous localization and mapping)、深度估計或是自動駕駛等。

在過去已有許多用於姿態估計的算法，但許多算法在功耗或是計算的複雜度等都會有其不足之處，在這次要介紹的論文中，作者使用DVS以及樹梅派來建構一個低功耗的相機姿態估計的裝置，並且在實驗中具有一定的準確度。

在估計姿態的過程中作者將其分為了5個步驟，首先是將DVS傳入的事件經由濾波器過濾，減少後續的計算量，第二步會使用固定的模型將影像的變形校正回正常的狀態，第三步使用脈衝神經網路進行霍夫轉換(Spiking Hough-Like Transform)，第四步則是在圖像上更新霍夫轉換所找到的線條，最後一步則是利用霍夫空間上的4個點以及轉換至直角座標戲中的4條直線，使用POSIT算法進行姿態估計。(圖一)

(圖一)以極座標展示的，將DVS事件轉換後的霍夫空間中的線條

在最後的結果中，可以看到他們在簡單的環境中，使用無人機在簡單的環境下正確的進行姿態估計。(圖二)

(圖二)

在這篇論文中，作者成功的在嵌入式的邊緣裝置中達成了低功耗的real-time姿態估計，但我認為目前他的算法只支持在非常簡單的環境，因為POSIT算法需要已知的三維空間資訊與二維圖像資訊對齊，但在文中沒有特別提到這一點。

撰文:唐朝洋

Reference:

1. Seifozzakerini, Sajjad, et al. "Event-Based Hough Transform in a Spiking Neural Network for Multiple Line Detection and Tracking Using a Dynamic Vision Sensor." BMVC. Vol. 94. 2016.

2. DeMenthon, Daniel F., and Larry S. Davis. "Model-based object pose in 25 lines of code." International journal of computer vision 15.1 (1995): 123-141.

3. Bertrand, Johan, Arda Yiğit, and Sylvain Durand. "Embedded Event-Based Visual Odometry." 2020 6th International Conference on Event-Based Control, Communication, and Signal Processing (EBCCSP). IEEE, 2020.