不只 ReLU: 基於符號梯度下降的 ANN-SNN 轉換

SNN 在AI 應用上具有低功耗的優勢(Schuman et al. 2022)，也能透過模擬來幫助我們對神經科學的理解。不過，我們對於它的離散理論認識並不完整；這導致了SNN的精度與非線性的功能受到了限制。比方說，現行最成功的SNN訓練方式–梯度替代法–，訓練時因為需要延時間軸展開而導致其相比於傳統的DNN非常耗能，同時其精度也不比DNN。另一方面，我們也可以直接將ANN轉換成SNN，省去了從頭訓練的麻煩；不過目前唯一已知能互相轉換的非線性函數只有ReLU與IF神經。

從另一個角度出發，首爾大學將最佳化理論引入(Oh and Lee 2024)，證明了IF/LIF神經與解最佳化問題的次梯度法在數學上是等效的，並以此為基礎建立了一個新的神經模型，使得除了ReLU之外的非線性函數也能擁有ANN-SNN轉換。

在擁有ReLU/GELU/LeakyReLU/Max Pooling/Layer Normalization等功能之後，ResNet/VGG-16/RegNetX，甚至更新的ResMLP/ConvNext/MLP-Mixer等模型，都能與SNN完全相容，並在一眾轉換方式中取得最高精度的成績。作者也提到了未來可行的研究方向，包括Hodgkin-Huxley的延伸、硬體相容性、膜電位重置到零的數學意義、不使用轉換而是直接訓練的方法。

#給閒人看的深入介紹

#將最佳化引入神經動態理論

#SignGD 神經模型

撰寫｜葉宸甫

參考資料

1. Oh, Hyunseok, and Youngki Lee. 2024. “Sign Gradient Descent-Based Neuronal Dynamics: ANN-to-SNN Conversion Beyond ReLU Network.” arXiv. https://doi.org/10.48550/arXiv.2407.01645.

2. Schuman, Catherine D., Shruti R. Kulkarni, Maryam Parsa, J. Parker Mitchell, Prasanna Date, and Bill Kay. 2022. “Opportunities for Neuromorphic Computing Algorithms and Applications.” Nature Computational Science 2 (1): 10–19. https://doi.org/10.1038/s43588-021-00184-y.