不再是Backpropagation
脈衝神經網路(spiking neural network, SNN)被稱作是「第三代神經網路[1]」，由於它強大的可塑性與簡單呈現複雜問題的特性，同時又具有更多生物神經網路特徵，在現今的人工智慧領域逐漸受到重視，有些研究團隊致力研究將一般非具有脈衝特性的人工神經網路轉換成SNN，或是將SNN引入主流人工神經網路的研究法。這份由中國科學院研究團隊發表的報告，他們將許多生物神經網路的學習機制以類似方法引入SNN的訓練中，包括：(1)膜電位平衡、(2)刺激/抑制型神經元平衡、(3)短時突觸可塑性(short-term plasticity, STP)平衡。
整個SNN的神經元是由LIF(leaky integrate-and-fire)模型建構，並且使用MNIST手寫辨識為實驗對象。一開始神經網路的所有權重是由隨機產生，並給定各項初始參數，訓練的第一步是在此前饋神經網路(feed forward neural network)中找尋膜電位平衡；接著是STP平衡，太頻繁脈衝的神經元會受到STD(short term depression)削弱，而太不活躍的神經元會受到STF(short term facilitation)刺激，這個步驟將找出神經脈衝頻率的穩定狀態；在下一步是一個針對最末層神經的監督式學習(supervised learning)，以微調最末層神經元的膜電位；最後一步是將原先以膜電位儲存的參數藉類似時間差引導的突觸可塑特性(STDP)轉換為連結權重，並且確保興奮與抑制性神經元的數量平衡，完成一次的迭代訓練。
整個網路在MNIST的辨識結果並不遜於一般人工神經網路，能在僅有100個隱藏層神經元的條件下達到97.90%的正確率，當隱藏層達到6400個神經元時，正確率達98.64%。這個研究是對於SNN在人工智慧研究上的一個嘗試，因為SNN無法如深度神經網路(deep neural network, DNN)使用反向傳播演算法(backpropagation)來訓練網路，所以必須尋找其他方法，因此此處由生物神經網路為啟發訓練一個SNN，顯示脈衝神經網路的無窮潛力。
撰文：姚皇宇
引用文獻：
[1]W. Maass, “Networks of spiking neurons: The third generation of neural network models,” Neural Networks, vol. 10, no. 9, pp. 1659–1671, Dec. 1997.
原始論文：T. Zhang, Y. Zeng, D. Zhao, and B. Xu, “Brain-inspired Balanced Tuning for Spiking Neural Networks,” in Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence, Stockholm, Sweden, 2018, pp. 1653–1659.
整個SNN的神經元是由LIF(leaky integrate-and-fire)模型建構，並且使用MNIST手寫辨識為實驗對象。一開始神經網路的所有權重是由隨機產生，並給定各項初始參數，訓練的第一步是在此前饋神經網路(feed forward neural network)中找尋膜電位平衡；接著是STP平衡，太頻繁脈衝的神經元會受到STD(short term depression)削弱，而太不活躍的神經元會受到STF(short term facilitation)刺激，這個步驟將找出神經脈衝頻率的穩定狀態；在下一步是一個針對最末層神經的監督式學習(supervised learning)，以微調最末層神經元的膜電位；最後一步是將原先以膜電位儲存的參數藉類似時間差引導的突觸可塑特性(STDP)轉換為連結權重，並且確保興奮與抑制性神經元的數量平衡，完成一次的迭代訓練。
整個網路在MNIST的辨識結果並不遜於一般人工神經網路，能在僅有100個隱藏層神經元的條件下達到97.90%的正確率，當隱藏層達到6400個神經元時，正確率達98.64%。這個研究是對於SNN在人工智慧研究上的一個嘗試，因為SNN無法如深度神經網路(deep neural network, DNN)使用反向傳播演算法(backpropagation)來訓練網路，所以必須尋找其他方法，因此此處由生物神經網路為啟發訓練一個SNN，顯示脈衝神經網路的無窮潛力。
撰文：姚皇宇
引用文獻：
[1]W. Maass, “Networks of spiking neurons: The third generation of neural network models,” Neural Networks, vol. 10, no. 9, pp. 1659–1671, Dec. 1997.
原始論文：T. Zhang, Y. Zeng, D. Zhao, and B. Xu, “Brain-inspired Balanced Tuning for Spiking Neural Networks,” in Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence, Stockholm, Sweden, 2018, pp. 1653–1659.
留言
張貼留言