神經系統的穩定性 - 由數學分析的觀點

在咖啡廳寫報告的時候,往往可以聽的見人們說話的聲音,看得到窗外來來往往的路人,我們還是可以進行寫報告的動作。就算我們換個場所,寫著同樣的報告,我們還是可以寫出同樣的內容。這表現出了人類大腦中對於外在刺激的過濾,並且可以在經歷不同外在刺激的情況下還維持同樣的狀態,但中間的理由到底是為什麼?MIT的學者提出了一個基於數學解釋此現象的理論。
本篇文章的實驗使用 RNN 隨機連接的神經迴路,利用 Contraction Analysis 對迴路進行分析。

Contraction Analysis 是數學上一種映射分析的技巧,特點是分析平面上的所有不同的初始態最後都會聚焦到一點上。Contraction system 代表著這樣的系統內存在著一些穩定軌跡 (trajectories),是不會受任何外在因素的擾動而受影響。有別於以往的研究所提到的吸引子 (attractor) 軌跡是動態並且隨著時間變化的,而吸引子單純是靜止的狀態。對於 n 個神經元的神經網絡,我們可以得到 n 維的狀態空間,並且在每個時間點找到一個點來表示所有神經元的狀態,最後會發現這些點經過時間之後會聚集到一條軌跡上,這就是實驗對 contraction 的定義。

對於 RNN 做 Contraction analysis 之後他們發現了三個主要的特徵:
1. Inhibitory hebbian plasticity 和 excitatory anti-hebbian plasticity 會造成 contraction.
2. 廣闊鬆散 (sparse) 的神經連接會造成 contraction.
3. E-I balance 會造成 contraction.

上述三個特徵都已經有許多實驗結果支持,也有許多研究貢獻出觀點和推測,本篇文章是基於數學的角度去討論神經網絡為何會有穩定軌跡這件事情,當中數學的運算這裡就不贅述,有興趣可以仔細翻閱文章。另外實驗再次強調了抑制性神經元和神經突出鏈接弱化的重要性,幾乎是主宰了神經網路執行的功能的主要設置,而也是因為這些特性,使得神經網路可以有穩定和預測的功能。


撰稿:薛又齊


原文:Achieving stable dynamics in neural circuits. Leo Kozachkov, Mikael Lundqvist, Jean-Jacques Slotine, Earl K. Miller. (2020)


留言