記憶存在虛幻之中？
記憶究竟是如何儲存在大腦的一直是神經科學家追尋的重要課題，也正因為有了記憶，我們才得以認知自我。過去數十年的研究主流大致認為記憶儲存在神經連結之間。神經和神經的連結構造我們稱之為突觸(synapse)，經過學習後，若上下游神經在正確的時間和順序被活化，就能夠形成更強或更弱的神經連結。而這樣的神經連結改變，就會幫助我們應對相同或類似的刺激時，能有正確的反應。
然而，另一方面，在生物體中還有另外兩個機制。其一，神經的活性是非常動態的，會自發的活化，可能就導致任意的突觸被活化而增強或減弱。其二，為了維持神經的穩定性，神經也會不斷的弱化或強化所有連結(synaptic scaling)，讓其生理活性能夠維持穩定。在學習完後，若動態的神經元持續活化且恆定的機制也持續發生，那麼有可能最終儲存記憶的突觸也將有一天會被恆定機制抹除而喪失記憶。
來自以色列的科學家Omri Barak、Lee Susman等人，以理論神經科學的數理模型提出了一個新的神經網路的機制以保存記憶，在一個128個神經元組成的連續型的Hopfield神經網路中，所有的神經元都相連(不包含自己連自己的狀況)。神經元彼此間連結的強度以矩陣來表示，在學習的過程中神經元間的連結強度會受到學習(神經元狀態和預期結果的落差)、神經隨機的自發活性、神經元的恆定性影響。
若我們將神經網路活性以二維的平面表示，平面上的固定點是一個吸引子，會將神經活性吸引到這個固定點上。運用Jacobian matrix可以將非線性的神經活化的狀況在固定點附近近似為線性的，而使得我們可以分析神經元連結強度的動態。
經過每個時間點的連結強度矩陣的特徵值分解，得到每個特徵值和特徵向量，而此特徵值含有實數部分與虛數部分。實數部分影響的是神經網路的穩定性，這部分會隨著時間受到自發性活動的雜訊以及神經恆定的機制而減弱。虛數的部分會影響到的是在固定點附近要移動多久才能夠到達固定點的時間長度，其呼應的是連結的不對稱性。神經分為上下游，因此這個不對稱性洽來自於脈衝時序依賴可塑性(spike-timing dependent plasticity, STDP)，也就是上游神經先活化，下游神經才活化，才可加強神經的連結。反之則減弱。虛數的部分不會受到神經恆定機制而減弱。
由此，作者認為STDP的存在、自發性的神經活化雜訊、神經恆定的機制等，讓原先認為的以突觸進行記憶儲存會遇到困難，以整個網路連結強度去儲存記憶，才能夠解決這樣的困境。
簡言之，在這樣的理論模型中，記憶是存在神經網路動力的樣貌而不是特定的神經元間的突觸。
本篇的數值模擬結果顯示，以神經網路連結的虛數部分進行記憶，記憶強度會隨著訓練的強度以及時間加強，但不會受到雜訊和恆定性的影響，為記憶理論開啟了一個新的可能篇章。
筆者認為此記憶理論新穎但缺乏實際的生物證據，記憶穩定的困難仍有其他可能的機制來幫助解決，譬如靠抑制性神經元輔助記憶網路的恆定，詳細的有待未來筆者在往下探討。另外神經隨機自發的活性是否真的會對穩定造成這麼巨大的影響仍有待觀察，若神經對記憶的儲存有一定的閾值，雜訊很可能在初期就被濾掉。
最終，筆者認為記憶的穩固並不是唯一重要的部分，生物需要的是能夠隨時應對外在環境刺激而調整自己的神經迴路以增加能夠生存下來的行為。本篇作者尚未模擬和探討此部分的狀況，期待該研究團隊以及其他科學家未來持續深入。儘管不一定是生物真實的狀況，但此篇仍開啟一個理論分析的新分支，有機會幫助進一步的計算機理論發展，應用到人工智慧當中。
作者：強敬哲 CC Charng
參考資料：
Susman, L., Brenner, N., & Barak, O. (2019). Stable memory with unstable synapses. Nature communications, 10(1), 1-9.
研究提供的code分享：
https://github.com/lsusman/stable-memory
然而，另一方面，在生物體中還有另外兩個機制。其一，神經的活性是非常動態的，會自發的活化，可能就導致任意的突觸被活化而增強或減弱。其二，為了維持神經的穩定性，神經也會不斷的弱化或強化所有連結(synaptic scaling)，讓其生理活性能夠維持穩定。在學習完後，若動態的神經元持續活化且恆定的機制也持續發生，那麼有可能最終儲存記憶的突觸也將有一天會被恆定機制抹除而喪失記憶。
來自以色列的科學家Omri Barak、Lee Susman等人，以理論神經科學的數理模型提出了一個新的神經網路的機制以保存記憶，在一個128個神經元組成的連續型的Hopfield神經網路中，所有的神經元都相連(不包含自己連自己的狀況)。神經元彼此間連結的強度以矩陣來表示，在學習的過程中神經元間的連結強度會受到學習(神經元狀態和預期結果的落差)、神經隨機的自發活性、神經元的恆定性影響。
若我們將神經網路活性以二維的平面表示，平面上的固定點是一個吸引子，會將神經活性吸引到這個固定點上。運用Jacobian matrix可以將非線性的神經活化的狀況在固定點附近近似為線性的，而使得我們可以分析神經元連結強度的動態。
經過每個時間點的連結強度矩陣的特徵值分解，得到每個特徵值和特徵向量，而此特徵值含有實數部分與虛數部分。實數部分影響的是神經網路的穩定性，這部分會隨著時間受到自發性活動的雜訊以及神經恆定的機制而減弱。虛數的部分會影響到的是在固定點附近要移動多久才能夠到達固定點的時間長度，其呼應的是連結的不對稱性。神經分為上下游，因此這個不對稱性洽來自於脈衝時序依賴可塑性(spike-timing dependent plasticity, STDP)，也就是上游神經先活化，下游神經才活化，才可加強神經的連結。反之則減弱。虛數的部分不會受到神經恆定機制而減弱。
由此，作者認為STDP的存在、自發性的神經活化雜訊、神經恆定的機制等，讓原先認為的以突觸進行記憶儲存會遇到困難，以整個網路連結強度去儲存記憶，才能夠解決這樣的困境。
簡言之，在這樣的理論模型中，記憶是存在神經網路動力的樣貌而不是特定的神經元間的突觸。
本篇的數值模擬結果顯示，以神經網路連結的虛數部分進行記憶，記憶強度會隨著訓練的強度以及時間加強，但不會受到雜訊和恆定性的影響，為記憶理論開啟了一個新的可能篇章。
筆者認為此記憶理論新穎但缺乏實際的生物證據，記憶穩定的困難仍有其他可能的機制來幫助解決，譬如靠抑制性神經元輔助記憶網路的恆定，詳細的有待未來筆者在往下探討。另外神經隨機自發的活性是否真的會對穩定造成這麼巨大的影響仍有待觀察，若神經對記憶的儲存有一定的閾值，雜訊很可能在初期就被濾掉。
最終，筆者認為記憶的穩固並不是唯一重要的部分，生物需要的是能夠隨時應對外在環境刺激而調整自己的神經迴路以增加能夠生存下來的行為。本篇作者尚未模擬和探討此部分的狀況，期待該研究團隊以及其他科學家未來持續深入。儘管不一定是生物真實的狀況，但此篇仍開啟一個理論分析的新分支，有機會幫助進一步的計算機理論發展，應用到人工智慧當中。
作者：強敬哲 CC Charng
參考資料：
Susman, L., Brenner, N., & Barak, O. (2019). Stable memory with unstable synapses. Nature communications, 10(1), 1-9.
研究提供的code分享：
https://github.com/lsusman/stable-memory
留言
張貼留言