大腦的運算─新的深度學習機制成為可能的候選人
近年來深度網路在各領域中有許多突破性的開展，然而大腦和深度網路的關係一直引起廣泛的討論，牛津大學的研究員在本篇中指出了一種新的深度網路學習機制─回饋校準(Feedback Alignment, FA)，讓深度網路更具有生物相容的可能。本篇於2016年11月發表在Nature Communication。
人工神經網路(ANN)主要由幾個部分組成─輸入層、隱藏層、輸出層。層與層之間有連結，訊息將經過特定的激活函數(activation function)和權重(weight)處理後，考慮進偏差(bias)而輸出，最終經由網路運算輸出的結果會和實際結果相比較而得到誤差(error)，接者，誤差經由向後傳遞(backpropagation, BP)去調整各層間的連結權重。過去最受到批評的就是BP，經典的BP假設為向前傳遞和向後傳遞的權重是一樣大的。然而在生物的大腦中，要能夠擁有向前與向後傳遞連結強度一樣幾乎是不可能，即便神經的確具有向後傳遞retrograde的機制，時間尺度差異卻是非常大，和深度學習並不相容，而若要有另外一個神經網路長得和原有網路一樣只是反向連結，這樣對稱性的網路也幾乎不存在。因此深度學習被認為是人為創造，和生物性大腦的運作不相容。
本篇文章中，科學家將主要的研究焦點放在BP上，他們挑戰放棄權重必須對稱一致的假設，隨意給定固定不變的向後傳遞的神經連結B，在不論是曲線擬合(function-fitting)或是手寫字跡辨識等任務中，FA可以達到和經典BP一樣的學習效果，藉由依序凍結不同層之間的連結變化，也找到了FA可能的運作機制。
而同年的NIPS中，Arild Nøkland也提出了直接回饋校準的機制(Direct feedback alignment, DFA)，更詳細的細節與理論可參考以下的參考資料。
撰稿人：
強敬哲 C. C. Charng
參考資料：
1. Timothy P. Lillicrap, Daniel Cownden, Douglas B. Tweed, Colin J. Akerman; Random synaptic feedback weights support error backpropagation for deep learning; Nature Communication (2016)
2. Qianli Liao, Joel Z. Leibo, Tomaso Poggio; How Important is Weight Symmetry in Backpropagation?; CBMM Memo (2015)
3. http://www.cs.toronto.edu/~tingwuwang/2546.pdf
4. Arild Nøkland; Direct Feedback Alignment Provides Learning in Deep Neural Networks; NIPS (2016)
人工神經網路(ANN)主要由幾個部分組成─輸入層、隱藏層、輸出層。層與層之間有連結，訊息將經過特定的激活函數(activation function)和權重(weight)處理後，考慮進偏差(bias)而輸出，最終經由網路運算輸出的結果會和實際結果相比較而得到誤差(error)，接者，誤差經由向後傳遞(backpropagation, BP)去調整各層間的連結權重。過去最受到批評的就是BP，經典的BP假設為向前傳遞和向後傳遞的權重是一樣大的。然而在生物的大腦中，要能夠擁有向前與向後傳遞連結強度一樣幾乎是不可能，即便神經的確具有向後傳遞retrograde的機制，時間尺度差異卻是非常大，和深度學習並不相容，而若要有另外一個神經網路長得和原有網路一樣只是反向連結，這樣對稱性的網路也幾乎不存在。因此深度學習被認為是人為創造，和生物性大腦的運作不相容。
本篇文章中，科學家將主要的研究焦點放在BP上，他們挑戰放棄權重必須對稱一致的假設，隨意給定固定不變的向後傳遞的神經連結B，在不論是曲線擬合(function-fitting)或是手寫字跡辨識等任務中，FA可以達到和經典BP一樣的學習效果，藉由依序凍結不同層之間的連結變化，也找到了FA可能的運作機制。
而同年的NIPS中，Arild Nøkland也提出了直接回饋校準的機制(Direct feedback alignment, DFA)，更詳細的細節與理論可參考以下的參考資料。
撰稿人：
強敬哲 C. C. Charng
參考資料：
1. Timothy P. Lillicrap, Daniel Cownden, Douglas B. Tweed, Colin J. Akerman; Random synaptic feedback weights support error backpropagation for deep learning; Nature Communication (2016)
2. Qianli Liao, Joel Z. Leibo, Tomaso Poggio; How Important is Weight Symmetry in Backpropagation?; CBMM Memo (2015)
3. http://www.cs.toronto.edu/~tingwuwang/2546.pdf
4. Arild Nøkland; Direct Feedback Alignment Provides Learning in Deep Neural Networks; NIPS (2016)
留言
張貼留言