讓神經網路不再只是死記硬背

我們的大腦有一個關鍵特徵:隨時都能學習。
大腦厲害的地方,不只是能記住,還能隨時調整。舉個例子,你平常上學固定走的路線是長期記憶;但如果今天有交通管制,你會臨時改走捷徑,卻不會因此忘掉原本的習慣路線。這種兼具長期穩定及短期靈活的特性,讓我們能在複雜多變的世界中保持高效。

脈衝神經網路(Spiking Neural Networks, SNNs) 被視為最接近我們大腦的運作模型,但過去傳統SNN主要只靠STDP(Spike-Timing-Dependent Plasticity) 來學習。根據神經元脈衝的先後時序調整連結強度,帶來穩固的長期記憶。問題是,一旦訓練結束,網路就固定下來,難以再因應新情境。這與人腦不停學習的特性仍有落差。

因此,研究團隊提出在STDP訓練後加入短期可塑性(STP, Short-Term Plasticity)。STP能在毫秒到幾分鐘內臨時調整突觸效率,不會破壞原有權重,但能讓網路對新輸入更靈活。STDP負責穩固記憶,STP則提供臨時調整,兩者結合讓SNN更像人腦。

研究團隊設計了三種流程:
Pipeline 0→ 學完就定型:影像轉成脈衝後,用STDP訓練並分配標籤,訓練完成後就直接拿來分類。
Pipeline 1→ 學完後還能短期調整:在測試前多加一個STP(短期可塑性),讓網路能臨時調整。
Pipeline 2→ 短期調整+更新標籤:除了加STP,還會更新標籤,確保神經元分工符合最新狀態。

結果發現,加入STP後,神經網路變得更快、更準、更穩。尤其在帶雜訊的版本中,差異最明顯。有別於傳統方法常只有少數神經元在工作,有了STP之後,更多神經元被動員,使網路更穩健。

SNN的學習不必在訓練結束後停下。結合STDP和STP,不僅能提升準確率與速度,還增強了抗雜訊能力,讓網路更貼近大腦的運作方式。研究團隊計畫加入更多元的大腦元素,如星形膠質細胞,讓模型更真實。這或許會是AI從依賴單一規則走向持續學習的重要一步。

聲明:本文使用ChatGPT輔助編輯


撰稿人:呂菁菁


Reference: Naderi, R., Rezaei, A., Amiri, M., & Peremans, H. (2025). Unsupervised post-training learning in spiking neural networks. Scientific Reports, 15(1), 17647.

留言