沒有硬碟的大腦，如何倒帶記憶？R2N2 用「神經時光機」學會一次經驗


傳統觀念認為，人工神經網路若要學習複雜的時空序列記憶，必須依賴所謂的「沿時間反向傳播」（BPTT）演算法。在這種機制下，網路需要像擁有一顆外接硬碟一樣，把過去每一步的活動狀態完整儲存下來，並且需要不符生物學神經傳導邏輯的「權重傳輸」來逆向傳遞誤差。
但實際上，大腦在形成情節記憶（Episodic memories）時，必須遵守「局部性限制」（Locality constraint），也就是突觸只能依賴當下且局部的資訊來改變強度，根本不存在外掛的記憶體或完美的雙向突觸。
那麼，大腦明明沒有外部記憶體，怎麼可能在短短幾次經驗中，就能記住一長串的行為序列與空間軌跡，並且不會掉回原狀？答案藏在一個名為 **R2N2（可逆循環神經網路）** 的強大雙網路動態與離線重播迴路中。
Figure 1 ：傳統 BPTT 需展開時間軸的運算，與大腦中 Consolidator-Cache 雙網路交替運作的架構對比圖

大腦能透過 R2N2 模型實現快速單次學習與長期統計記憶儲存的根本秘密，是以下三個機制彼此合作：

**快取網路 (Cache Network) —— 單次學習與逆向重播的「記憶隨身碟」**
當動物在探索環境並獲得獎勵時，大腦需要迅速記住這段經歷。快取網路是一個輔助型的循環神經網路，它採用了類似霍普菲爾網路（Hopfield network）的原理，能夠對感覺輸入序列進行極快速的 **「單次學習」（One-shot learning）**。
它會在狀態空間中建立吸引子，將連續的狀態鎖定連結。當動物進入離線休息狀態時，這個快取網路就會啟動它的特殊功能：將剛剛經歷的事件序列 **「逆向重播」（Reverse replay）** 給主要的記憶庫，提供訓練所需的目標與指引訊號。

**鞏固器網路 (Consolidator Network) —— 具備時光倒流能力的「長期資料庫」**
這是大腦中負責長期儲存記憶的主力網路。為了在不依賴外部儲存設備的情況下回溯過去的狀態，鞏固器網路發展出了強大的「可逆性」。
它內部包含了兩組互相競爭的突觸投影：向前的投影 (f∗) 與向後的投影 (g∗)。在學習過程中，向後的投影會透過局部學習法則，將強度調整為與向前投影數值相等但影響力相反。這就像是在神經網路裡裝了時光機，只要啟動向後投影，就能完美抵銷向前的運算，讓網路的狀態 **一步步精準「倒轉」回過去的模樣**。這樣一來，大腦就不需要外接硬碟來死記硬背歷史活動，憑藉自身狀態就能重構過往經驗。
Figure 2 : 鞏固器 (Consolidator) 內部正向/逆向神經群競爭結構與 快取 (Cache) 週期性引導網路架構圖

**回饋對齊 (Feedback Alignment) —— 解決權重限制的「誤差捷徑」**
有了狀態倒轉的能力，神經網路還需要知道該改變哪些突觸來降低未來的預測誤差。過去的演算法要求誤差網路必須完美複製主網路的權重（即權重傳輸問題），這在生物學上極不合理。
鞏固器網路使用了一種名為 **「回饋對齊」（Feedback Alignment）** 的機制。它不需要完美複製權重，而是直接使用「固定的隨機回饋矩陣」來向後傳遞誤差訊號。這種訊號能精準計算出每個局部突觸該負的責任，成功繞過了生物學的限制，完成跨越時間的記憶學習。
可以把它想像成：大腦不是死記硬背，動物在迷宮中探索時，快取網路先像隨身碟一樣快速錄下獲取獎勵的軌跡；等動物休息時，快取網路將軌跡「倒帶」播放，同時鞏固器網路也跟著「時光倒流」重建過往狀態。兩者對齊後，透過誤差捷徑在重點區域開啟一場局部突觸重塑風暴，這正是由上述的 **快取逆向重播–鞏固器狀態重建** 迴路所驅動的。

當然，這個動態學習系統也裝了煞車調節機制。**重播頻率 (Replay Rate) 的抑制** 會緊緊跟隨網路對環境的熟悉度：
- 學習初期探索（表現尚未達標時） → 快取到鞏固器的逆向重播極為頻繁，系統不斷將短暫的經驗轉化為長期突觸變化。
- 學習完成越成熟（網路決策正確率大幅提升時） → 鞏固器網路內部會自然形成對應關鍵決策點的「位置細胞」（Place cells）表徵，同時 **重播事件的發生率會隨之陡降**，學習機制逐漸煞車並趨於穩定。
Figure 3 :  T型迷宮任務中位置細胞 (Place cells) 的形成

聲明:本文由ChatGPT協助撰寫及確認


撰稿人:周峻廷


Reference:Cheng, H., & Brown, J. W. (2025). "Replay as a basis for backpropagation through time in the brain." Neural Computation, 37(3), 403-436.

留言

張貼留言