透過凸最佳化理解脈衝神經網路 (SNN)
自然演算法(Natural Algorithms)是一個將演算法與生物的數學模型相結合的學問。在脈衝神經網路（SNN）的研究中，一篇 NeurIPS(Mancoo, Keemink, and Machens 2020)的論文推進了 SNN 的計算能力。早期的研究(Chou, Chung, and Lu 2018)展示了 SNN 可以解決線性規劃問題 (Linear Programming)，展示了其作為自然界最佳化工具的潛力。而這篇新研究更進一步，通過引入簡單的洩漏項(Leaky Term) 來擴展至二次規劃（Quadratic Programming）任務。這一調整至關重要，因為它擴大了 SNN 可以近似的函數範疇，使其在理論和應用領域中都具備了更廣泛的應用潛力。
該研究最主要的成果之一是，任何可以通過二次規劃進行近似的函數，現在都能使用單層的遞迴 SNN 來實現。透過巧妙地配置 SNN 的遞迴連接、神經元的發放閾值和時間尺度，該研究展示了 SNN 可以近似多種凸函數(Convex Functions)。這使得 SNN 成為一個靈活且符合生物學特性的模型，能夠僅通過單層的網路實現複雜的計算。此外，作者展示了一種監督式學習方法，讓神經元逐步調整其「超平面」(Hyperplane)以擬合目標函數。通過一組局部學習規則，每個神經元調整其閾值和權重等參數，使得網路可以基於二次規劃形式近似多種輸入-輸出函數。
 |
| 圖一、凸最佳化與SNN。(A) 二次規劃的示意圖。虛線灰色圓圈表示目標函數的等高線，彩色區域為不可行集合。(B) 一個包含三個神經元的網路示意圖。(C) 用於求解二次規劃的脈衝神經網路。(i) 網路輸出的軌跡（橙色）每次觸及邊界時會反彈回到可行集合。(ii) 神經活動隨時間變化，對應的輸出圍繞二次規劃解跳動，展示了脈衝和電壓的變化。(D) 與 (C) 相同，但此時脈衝神經網路用於求解線性規劃。 |
這項工作還在穩定性上進行了重要設計，通過確保遞迴權重矩陣 G 的元素為非負（Gij>=0），使 SNN 的行為受抑制主導，防止了過度激發並確保網路穩定收斂。這項研究為使用 SNN 進行最佳化打開了新的可能性，展示了只需適當調整，單層 SNN 就能以生物啟發的簡單方式處理凸最佳化任務，並實現強大的計算能力。
 |
| 圖二、說明網路對突觸延遲的穩定性。(A) 在未對連接性施加限制的情況下，由一組神經元所描述的可行集合很快會變成封閉空間。延遲可能導致多個神經元（綠色和藍色）同時發放脈衝，進而引發多個閾值穿越和後續脈衝（紅色和紫色神經元），導致不穩定。(B) 若對連接性進行約束以確保所有輸入的可行性(feasibility)，如我們的網路所示，這些問題將得以避免。當因延遲而導致多個神經元同時發放脈衝時，系統仍保持在可行集合內，因此能保持穩定。 |
聲明：本文使用了 OpenAI ChatGPT 協助撰寫。
撰文：葉宸甫
參考資料
1. Chou, Chi-Ning, Kai-Min Chung, and Chi-Jen Lu. (2018) “On the Algorithmic Power of Spiking Neural Networks.” arXiv.
2. Mancoo, Allan, Sander W. Keemink, and Christian K. Machens. (2020) “Understanding Spiking Networks Through Convex Optimization.” In Proceedings of the 34th International Conference on Neural Information Processing Systems, 8824–35. NIPS ’20. Red Hook, NY, USA: Curran Associates Inc.
留言
張貼留言