人工智慧與生物神經迴路的回饋校正學習機制(1)

深度學習近年蓬勃發展，其中重要的學習機制是Geoffrey Hinton在1986年提出的錯誤向後傳播(backpropagation)[3]，以調整神經元之間連結的強度，而其中一個很重要以及很強的假設就是神經元之間的向前連結和向後連結是對稱的！(圖一，神經元A連到B和B連到A的強度一樣)。然而這個機制在大腦中顯然並不成立，因此許多研究人員找尋其他學習機制取代向後傳播。本篇回顧來自牛津大學與google deep mind團隊的研究─回饋校對(feedback alignment)[1]，隨機且固定向回傳的連接矩陣，即可發揮學習的效用，不需要和向前傳的連接矩陣對稱，如圖一。研究發表在自然通訊(Nature communication)。

圖一、各種錯誤回傳的架構[2]。 Backpropagation (BP)是錯誤需要一個和向前傳遞的連接矩陣對稱的回傳矩陣。Feedback alignment (FA)是藉著固定且隨機的連接矩陣，調整每一層的W。而隨後也有其他的結構如direct feedback alignment(DFA)、indirect feedback alignment(IFA)。

神經網路的學習有非常多技巧與重要的機制，作者首先將FA的機制運用在簡單線性可分的問題，如圖二所示。結果發現學習的效果和BP一樣有效率(圖三a)。有趣的是兩者對於訓練材料的預測錯誤會形成一個穩定的角度(圖三b)。並緊接著將FA運用在手寫數字圖案的辨認上。同樣達成了相近的效果。

圖二、線性可分的問題。(https://en.wikipedia.org/wiki/Linear_separability)

圖三、在線性可分的問題中，BP和FA的學習效率非常相似，而兩者產生出的錯誤訊號會維持在一個特定的夾角。

最後為了更能夠達成和生物相近的機制，作者不再用傳統的深度學習網路，而讓神經元具有脈衝活動(spiking)來模擬(圖四)。最後這樣大型的神經網路(每層的神經元架構為784-1500-1500-1500-1000顆神經元，不包含輸入層和輸出層)，能夠學習到辨認手寫數字！

圖四、在脈衝神經網路(spiking neural network)的架構下，神經網路仍能藉著FA的機制，學習辨認不同的數字。最上層的Input是標準化後的手寫數字數據組(MNIST)。Hidden units為神經網路中間的隱藏層神經元，每一個點就是一個神經元產生spike。而output units共有九個，0-9代表九個手寫數字。隨著時間學習(左到右)，最後能夠辨認出每一個數字。

這樣的結果非常令人吃驚，究竟為何FA的運作能夠完成也有諸多的討論，有趣的想法是是向前傳播的W，會隨著學習逐漸向隨機且固定的連接矩陣B靠攏，也就是說隨著學習，神經網路會調整W，以最有效率的應用B所回傳的訊息。

另外過去也有其他論文在探討著完全對稱的連接矩陣的必要性[4]，發現重要的可能是反向連接的矩陣的正負號需要和向前傳的連接矩陣一致(這點和FA也不同，不過本文在此就不再探討這些文獻方法的差異性)，這幾篇論文為了找尋和生物神經網路吻合的學習機制，目前得出的結論是過去經典的向後傳播機制是可以被取代的，我們仍需要從生物的神經網路更多的學習！

撰文：強敬哲(C.C. Charng)

資料來源：

1. Lillicrap, T. P., Cownden, D., Tweed, D. B., & Akerman, C. J. (2016). Random synaptic feedback weights support error backpropagation for deep learning. Nature communications, 7(1), 1-10.

2. Nøkland, A. (2016). Direct feedback alignment provides learning in deep neural networks. Advances in neural information processing systems, 29.

3. Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533-536.

4. Liao, Q., Leibo, J., & Poggio, T. (2016, February). How important is weight symmetry in backpropagation?. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 30, No. 1).