憶阻器電路利用 STDP 學習重合檢測
Spiking neural networks (SNN) 或脈衝神經網絡是當前最符合實際的生物神經迴路的表現，好處是可以模仿一些生物機制讓網絡進行學習，而且相比其它網絡的耗能低，壞處則是需要模擬突觸表現的細小零組件。有實驗利用了憶阻器 (memristor) 來模仿突觸的運作。憶阻器是一種電子元件，它的特性是，其電阻會隨著單位時間電流通量改變，所以某種程度上有種記憶的性質存在。
這篇文章的實驗是利用一個典型 20 x 20 的 crossbar array 電路，即橫 (輸入) 縱 (輸出) 交錯 20 條電路，並且交錯點用憶阻器連接，但不同的是在輸出端接上一個仿LIF的電路，使其有模擬神經脈衝的效果。他們成功利用這樣的網絡模擬了生物神經元中的 Spike-timing-dependent plasticity (STDP) 或時間差引導突觸可塑性，這是一種讓神經元之間可以改變連結強度的機制。假設在時間 t 給前突觸刺激，在時間t + dt 給後突觸刺激，則這兩個前後突觸之間的連結強度會增強，反過來先給後突觸刺激再給前突觸刺激，則會導致連接強度下降，而 dt 越小則強度增加越多。成功模擬 STDP 之後他們進一步對生物中的 coincidence detection 或重合檢測的過程。重合檢測是生物神經迴路中對時間分佈上相近，而空間分佈上有距離的訊號進行偵測而建立或產生資訊或記憶的一個過程。
實驗程序是同時在5個輸入端給同步刺激，並且在剩餘15個輸入端給噪音，然後測量計算憶阻器的導電性。實驗結果發現同步刺激無時間差 (jitter) 時憶阻器導電呈平穩上升至飽和的狀態，而給予微小時間差則導致導電性有上升趨勢但不穩定，且噪音的分佈也會影響憶阻器『學習』的狀態。另外在給予幾個輸入端同步刺激後再關掉，換成給另幾個輸入端同步刺激，發現前段的幾個輸入端憶阻器導電性會上升，關掉之後會下降，換成另幾個輸入端的憶阻器導電性上升。這說明了這樣的模仿電路是有辦法識別並學習不同的同步刺激代表的資訊，並且模仿了生物神經迴路中突觸可塑性的性質。
雖然這樣可以重現生物神經上的學習特質，但他們也發現憶阻器的不穩定性導致的問題。他們給予 20 個憶阻器相同的前後刺激，測量它們的導電性，發現有 6 個憶阻器的『學習』是不穩定的，而且導電性上升幅度比起穩定的來的小，不穩定的大概50%，穩定的則可以到200% ~ 2000%。另外他們也發現，如果刺激是給予三角波型，則導電性上升趨勢會更滑順，但會導致實驗結果重現可能性降低，使每次得到的趨勢精準度有更大幅度變化。此實驗結果的確發表了重要的發現，但這還只是一個神經元的雛形，為了開發更強大的 SNN 其實需要更多神經元相連，所以在效能和空間上都還有很大的改進空間。
撰稿：薛又齊
原文：Spike-timing-dependent plasticity learning of coincidence detection with passively integrated memristive circuits. M. Prezioso, M. R. Mahmoodi, F. Merrikh Bayat, H. Nili, H. Kim, A. Vincent & D. B. Strukov. Nature Communications volume 9, Article number: 5311 (2018).
原文網址：https://www.nature.com/articles/s41467-018-07757-y
這篇文章的實驗是利用一個典型 20 x 20 的 crossbar array 電路，即橫 (輸入) 縱 (輸出) 交錯 20 條電路，並且交錯點用憶阻器連接，但不同的是在輸出端接上一個仿LIF的電路，使其有模擬神經脈衝的效果。他們成功利用這樣的網絡模擬了生物神經元中的 Spike-timing-dependent plasticity (STDP) 或時間差引導突觸可塑性，這是一種讓神經元之間可以改變連結強度的機制。假設在時間 t 給前突觸刺激，在時間t + dt 給後突觸刺激，則這兩個前後突觸之間的連結強度會增強，反過來先給後突觸刺激再給前突觸刺激，則會導致連接強度下降，而 dt 越小則強度增加越多。成功模擬 STDP 之後他們進一步對生物中的 coincidence detection 或重合檢測的過程。重合檢測是生物神經迴路中對時間分佈上相近，而空間分佈上有距離的訊號進行偵測而建立或產生資訊或記憶的一個過程。
實驗程序是同時在5個輸入端給同步刺激，並且在剩餘15個輸入端給噪音，然後測量計算憶阻器的導電性。實驗結果發現同步刺激無時間差 (jitter) 時憶阻器導電呈平穩上升至飽和的狀態，而給予微小時間差則導致導電性有上升趨勢但不穩定，且噪音的分佈也會影響憶阻器『學習』的狀態。另外在給予幾個輸入端同步刺激後再關掉，換成給另幾個輸入端同步刺激，發現前段的幾個輸入端憶阻器導電性會上升，關掉之後會下降，換成另幾個輸入端的憶阻器導電性上升。這說明了這樣的模仿電路是有辦法識別並學習不同的同步刺激代表的資訊，並且模仿了生物神經迴路中突觸可塑性的性質。
雖然這樣可以重現生物神經上的學習特質，但他們也發現憶阻器的不穩定性導致的問題。他們給予 20 個憶阻器相同的前後刺激，測量它們的導電性，發現有 6 個憶阻器的『學習』是不穩定的，而且導電性上升幅度比起穩定的來的小，不穩定的大概50%，穩定的則可以到200% ~ 2000%。另外他們也發現，如果刺激是給予三角波型，則導電性上升趨勢會更滑順，但會導致實驗結果重現可能性降低，使每次得到的趨勢精準度有更大幅度變化。此實驗結果的確發表了重要的發現，但這還只是一個神經元的雛形，為了開發更強大的 SNN 其實需要更多神經元相連，所以在效能和空間上都還有很大的改進空間。
撰稿：薛又齊
原文：Spike-timing-dependent plasticity learning of coincidence detection with passively integrated memristive circuits. M. Prezioso, M. R. Mahmoodi, F. Merrikh Bayat, H. Nili, H. Kim, A. Vincent & D. B. Strukov. Nature Communications volume 9, Article number: 5311 (2018).
原文網址：https://www.nature.com/articles/s41467-018-07757-y
留言
張貼留言