我們真的需要連續編碼嗎？
在生物腦中，許多維持生存與導航的關鍵功能都仰賴對「連續變數」的精準編碼與記憶。例如動物在空間中移動時的頭方向感知、海馬體對空間位置的定位（如位置細胞與網格細胞）、眼球凝視角度的維持，以及感官訊息的累積與決策等，都是連續變化的類比訊號。然而，生物神經系統的基本構件——神經元與脈衝訊號——在物理本質上卻是離散的。一群由離散單元組成的神經網路，究竟是如何在內部表現出平滑、無縫且連續的動態記憶？這一直是大腦神經計算領域的核心謎題。
為了解答這個問題，Marcella Noorman 等人於 2024 年發表的論文《Maintaining and updating accurate internal representations of continuous variables with a handful of neurons》提出了果蠅中央複合體頭方向電路的精質解方。研究指出，即使只有極少數計算單元（如果蠅 EB 結構中的 EPG 神經元），透過將不同活躍神經元子集所維持的「線吸引子」無縫銜接，網路依然能在理論上營造出平坦的能量地貌，構建出環形吸引子來實現連續的頭方向編碼。然而，這個優雅解方高度依賴於神經突觸權重（例如局部興奮強度）的極度精細調製。在真實生物系統中，突觸權重永遠存在隨機擾動與雜訊；一旦權重偏離了完美設定，原本平坦的能量地貌就會出現起伏，導致連續流形發生分歧，坍塌成一組離散固定點，使網路失去了完美的連續表現能力。
發表於 NeurIPS 2024 的論文《Back to the Continuous Attractor》Back to the Continuous Attractor 正是關注到了連續吸引子這種極度脆弱的本質。作者群測試了多種經典的連續吸引子模型——包括受限線吸引子（Bounded Line Attractor）、Noorman 等人的分段線性模型、高斯 Bump 吸引子、低秩神經網路以及 EMPJ 矩陣模型等。他們透過在動態系統中加入微小參數擾動或有限網路規模效應進行測試，證實了無限微小的擾動確實會破壞理想的連續平衡點，使系統坍塌成由穩定固定點與鞍點交替組成的離散結構。但研究者進一步觀察發現：即便嚴格意義上的連續吸引子流形消失了，它依然會以「幽靈吸引子」（Ghost Attractor，或稱慢流形）的形式存續。傳統連續吸引子的流形上每一點都是完全靜止的平衡點（狀態變化率為零）、毫無漂移；而 Ghost Attractor 的流形法向依然保有強大的吸引力，但流形切向上的漂移速度則變得極度緩慢。因為在行為相關的時間尺度（如數秒至數十秒）內，這種極慢的漂移幾乎不影響記憶維持，因此它被視為一種「近似連續吸引子」（Approximate Continuous Attractor）。
作者利用 Fenichel 慢性流形理論進行數學推導，證明了慢流形上的記憶誤差上限與時間及流形上的最大漂移速度呈線性正比。但單靠數學推導還不夠，作者進一步訓練了神經網路模型（包含傳統 RNN、LSTM 與 GRU 等），讓網路執行兩種連續記憶任務：「角速度積分任務」（透過整合角速度來即時追蹤頭方向）與「記憶導向眼動任務」（記憶圓環上的目標位置並進行眼動轉向）。從訓練後的模擬結果中，研究者揭示了兩個關鍵的動態精髓：
1. 雙重時間尺度動態分工：無論執行哪種任務，神經網路都會自發形成一維環形的慢流形，並展現出顯著的時間尺度分離。垂直於流形的方向動態極快，能迅速將偏離軌道的雜訊拉回（感興趣的讀者可參考論文中的「法向超曲性 Normal Hyperbolicity」與「特徵值譜間隙 Eigenvalue Spectrum Gap」）；而沿著流形切線方向的動態則極慢，確保記憶資訊不會快速流失。
2. 短期平滑與長期穩定的平衡：在短時間內，網路展現出近乎平滑的連續記憶，誤差嚴格受限於慢流形上的漂移速度；而在拉長到極長時間的漸近行為下，狀態最終仍會落入流形上散佈的離散固定點。當固定點數量越多、密度越高時，記憶的極限偏差與資訊損失就越小（論文中透過「條件熵 Conditional Entropy」定量評估了記憶容量）。 這證實了神經網路在學習連續記憶任務時，會自然收斂到這種兼顧「短期平滑表現」與「長期幾何穩定」的慢流形解答。
這項研究帶給我們深刻的啟示：生物大腦或許根本不需要數學上「完美且精細調製」的連續吸引子。真實系統只需要處於連續吸引子的鄰域內，利用具有「法向強吸引、切向極慢漂移」的幽靈吸引子（Ghost Attractor），就能在實際行為時間內展現出極具韌性的連續記憶功能。連續吸引子依然是我們理解大腦類比記憶與導航計算不可或缺的通用理論模型。
聲明：本文章使用Gemini輔助編輯，已進行人工校稿
撰文：林明樺
參考論文：
1. Noorman, M., Hulse, B. K., Jayaraman, V., Romani, S., & Hermundstad, A. M. (2024). "Maintaining and updating accurate internal representations of continuous variables with a handful of neurons". Nature neuroscience, 27(11), 18.
2. Ságodi, Á., Martín-Sánchez, G., Sokół, P., & Park, I. M. (2024). "Back to the continuous attractor". Advances in neural information processing systems, 37, 66856-66906.
https://doi.org/10.52202/079017-2136
留言
張貼留言