樹突正規化有助於改善人工神經網絡的學習

近年來許多研究希望能效仿生物神經元的機能來改進人工神經網絡的學習效率，本篇論文想了解樹突正規化（Dendritic normalization）對於提高神經元學習效率的重要性。首先稀疏地建立輸入和隱藏層之間的連接來初始化，在每個訓練時期結束後，整個層中最弱的連接將被刪除，並隨機形成新的連接，SET演算法（sparse evolutionary training，SET）會逐漸對中央輸入神經元施加更重的權重，因為中心像素可能比相關資料集提供更多資訊，而在正規化後能更均勻地分配來更好地利用神經資源（Fig1、Fig2）。在驗證了樹突正規化可以改善具有深層的稀疏連接人工神經網路後，作者透過使用空間擴展的神經元改善使用反向傳播訓練造成的限制（Fig3）。

Fig1. 樹突標準化改善了稀疏人工神經網路的學習。(A) 樹突標準化示意圖。神經元透過深灰色接收輸入。為了接收新的輸入必須擴張（淺灰色），透過增加膜洩漏和空間範圍來降低細胞的內在興奮性。(B) 改變局部突觸權重對體細胞電壓的預期影響。(C) 稀疏連接的人工神經網路的示意圖。D，來自 MNIST和 MNIST-Fashion資料集的灰階影像範例。E，與非標準化情況（藍色）相比，樹突標準化（橘色）的學習改善。 (原文Figure 1)

Fig2. 突觸權重的變化。(A) 輸入神經元（像素）到隱藏層神經元的傳出接觸數量的演變。(B) 到達每個隱藏神經元的傳入接觸數量的分佈、權重、測試集上每個隱藏神經元的平均加權輸入。所有面板都顯示了在原始MNIST數據集上進行10次試驗的平均值。藍色：未正規化、橙色：正規化。(原文Figure 2) 

Fig3. 具有自組織循環連接的空間擴展神經元。(A) 空間擴展神經元，綠色：興奮性突觸、紅色：抑制性突觸。(B) 上圖：樹突長度分佈。下圖：傳入接觸數量分佈。(C) 局部突觸權重分佈。(D) 單個突觸引起的體細胞電壓分佈。(E) 空間延伸神經元的預測性能。淺綠色：學習（50 epochs）前、淺綠色：學習（50 epochs）後。(原文Figure 5)

撰文：余旻珊

參考文獻：

Bird AD, Jedlicka P, Cuntz H. Dendritic normalisation improves learning in sparsely connected artificial neural networks. PLoS Comput Biol. 2021 Aug 9;17(8):e1009202. doi: 10.1371/journal.pcbi.1009202. PMID: 34370727; PMCID: PMC8407571.