用自監督式學習讓SNN學會事件型光流法

呈上篇的《事件型光流的正確打開方式？》，因為事件型相機具有靜態畫面抑制、事件的低位元/稀疏等特性，與SNN近乎一致，自然會有將兩者結合在一起的想法。在此之前已有相關應用，將SNN用於透過事件型相機產生高幀率的畫面；同樣的我們也可以訓練SNN產生光流。(Hagenaars, Paredes-Vallés, and Croon 2021)基於對比最大化法光流，將其作為損失函數來使用自監督式學習訓練SNN。作者提出了基於EV-Flownet及基於FireNet的SNN版本，並使用了Leaky Integrate-and-Fire (LIF)神經。在此之上，各種LIF的變體也被一併提出，用以更精細地調控並訓練諸如leaky term、firing threshold等神經參數。在UZH-FPV資料集的訓練下，SNN版本的光流精度仍與其ANN版本有一小段差距，但其耗電量經過估算，在仿神經晶片上可以有一個數量級的進步。

撰文｜葉宸甫

參考文章

Hagenaars, Jesse, Federico Paredes-Vallés, and Guido de Croon. 2021. “Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural Networks.” arXiv. https://doi.org/10.48550/arXiv.2106.01862.