混沌邊緣的神經網路

通常一個神經網路都必須要在強固性與靈活性之間做出取捨；如果太偏向其中一方的話，要嘛這個網路不敢學習，要嘛太聒噪導致無法學習。

西班牙格拉那達大學(Morales and Muñoz, n.d.)做了一個回聲狀態網路(Echo State Network, ESN)來測試得到了支持這個理論的結果。

具體來說，突觸矩陣的譜半徑rho與圖片輸出強度epsilon會同時決定突觸矩陣的特徵值譜的冪定律(power-law)特性：一個會使冪定律的指數下降，另一個會使之上升。當冪定律指數趨近於1時，我們就得到了最好的辨識精確度。此時矩陣的李亞普諾夫指數指出了這個動態系統剛好位於進入混沌的瞬間(也就是所謂的「混沌邊緣」)；這樣的現象同時也在小鼠的視覺皮層中發現(Stringer et al. 2019)。

圖一：回聲狀態網路建置。

圖二：譜半徑rho、輸出強度epsilon與冪定律n^{-\alpha}的關係。

圖三：承圖一，與圖片辨識精確度及李亞普諾夫指數的比較。

撰文｜葉宸甫

參考來源：

1. 李亞普諾夫指數: https://zh.wikipedia.org/zh-tw/%E6%9D%8E%E4%BA%9A%E6%99%AE%E8%AF%BA%E5%A4%AB%E6%8C%87%E6%95%B0

2. 冪定律: https://zh.wikipedia.org/zh-tw/%E5%86%AA%E5%AE%9A%E5%BE%8B

3. Morales, Guillermo B, and Miguel A Muñoz. n.d. “OPTIMAL INPUT REPRESENTATION IN NEURAL SYSTEMS AT THE EDGE OF CHAOS,” 12.

4. Stringer, Carsen, Marius Pachitariu, Nicholas Steinmetz, Matteo Carandini, and Kenneth D. Harris. 2019. “High-Dimensional Geometry of Population Responses in Visual Cortex.” Nature 571 (7765): 361–65. https://doi.org/10.1038/s41586-019-1346-5.