神經元和深度學習網路的關係

深度學習、人工智慧網路近年襲捲了各個學術領域,然而實際上的神經元網路複雜度更是遠高於人工智慧網路,來自以色列希伯來大學的Michael London所領導的團隊,用人工智慧網路去模擬單顆錐狀神經元的活性,如圖一。他們發現神經元活性的複雜度主要來自於NMDA受器以及其神經元的形狀(morphology),僅僅一顆神經元,就需要5-8層、寬度約為100個節點、1秒左右的歷史輸入紀錄(當下活性前1秒的所有神經元輸入的訊號),才能夠準確的預測細胞膜電位(membrane potential)變化以及神經元脈衝(spike)。結果發表在期刊Neuron。

首先他們建了一顆點狀神經元(point neuron,沒有體積、形狀的簡化神經元),給共100個興奮性和抑制性的輸入,只要一層的神經網路,即可非常漂亮的預測出細胞膜電位的軌跡。

接著,他們詳細的模擬3D的錐狀神經元,包含12種離子通道以及3種輸入突觸(AMPA、NMDA、GABAA),如圖一,他們發現需要大約7層以能夠最準確的預測細胞膜電位的變化,若移除NMDA的突觸,則僅需要一層隱藏層的神經網路即可準確預測,且Apical樹突不再貢獻細胞本體的電位變化。因此得到結論─NMDA受器顯著影響了神經元活性的複雜度。

那麼形狀是否會影響到神經元活性的複雜度呢?若只看簡單的一根branch,則也只需要一層隱藏層的神經網路即可準確預測電位變化。因此作者得出結論,神經元的形狀也顯著影響到計算的複雜度。

筆者認為這篇研究非常有趣,然而仍有許多問題需要解答:
  1. NMDA受器所造成的複雜度差異是經由神經網路的隱藏層層數來表示,然而這是真的複雜度差異這麼大,或者代表的是這樣的衡量方法不適當,這點我認為仍有很大的疑問。
  2. 這個複雜度和該顆錐狀細胞能進行的運算複雜度也並不能直接等同,研究者若真的要說明這兩個複雜度的關係,還需要有更多的數據證實。
  3. 作者認為細胞的形狀影響到複雜度,但這邊並沒有太好的控制變因去探討,譬如把branch的數量砍半、增倍,不同類型的樹突的數量單獨改變等。另外各個受器位置也可能會有分布區域的差異,這些都納入探討會更有說服力。
  4. 雖然5-8層的神經網路較準確預測有NMDA的錐狀神經元的電位變化和脈衝,但在補充資料中可看到,即便是1層的仍能有很高的準確度。如此究竟是否能以神經網路進行複雜度的量化,有待商榷。
總結來說,人工神經網路起源於神經科學的研究,然而兩邊的鴻溝卻一直無法解決,這篇研究有趣的將兩者連結,希望相關研究能持續進行下去,不只回答大腦的奧秘,也讓人工神經網路得以突破。


筆者:強敬哲(C.C. Charng)


資料來源:
Beniaguev, D., Segev, I., & London, M. (2021). Single cortical neurons as deep artificial neural networks. Neuron, 109(17), 2727-2739.

留言