海馬迴是其實是一張預測地圖

海馬迴的位置細胞被當成大腦的地圖近半個世紀，但這張地圖卻有很多不合常理的地方：位置場隨跑動方向偏斜、繞著障礙變形、往獎賞聚集，連沒有空間的任務也用得上。Stachenfeld、Botvinick 與 Gershman 從強化學習反過來問：如果目標是把未來獎賞算準，什麼空間表徵最有用？答案是後繼表徵：每個位置不記成座標，而記成「從這裡出發，接下來會經過哪些位置、各幾次」。這一個改動同時解釋了上述異常，也讓格狀細胞有了新身分：預測地圖的低維特徵向量，可以去噪，也可以切出子目標。

動物得預測久遠以後的獎賞才活得下去。強化學習 (reinforcement learning)（透過嘗試與回饋，學會哪些狀態與行動帶來獎賞的計算框架）給了兩種標準答案。模型式 (model-based)（先學環境的轉移規則，再模擬未來）學一張認知地圖 (cognitive map)（Tolman 提出的概念，指腦中對環境結構的內在表徵），每次決定都往前推演；它彈性，但推演代價極高。無模型 (model-free)（不學規則，直接記每個狀態值多少）用試誤學一張價值函數 (value function)（把每個狀態對應到預期未來總獎賞），查表就可以了，很方便，不過代價是獎勵位置改變後就必須重新學習。

作者主張海馬迴走第三條路：學一張預測地圖 (predictive map)（把每個狀態用它的後繼狀態來表示）。它足以算出長期獎賞、可用簡單規則學會，也解釋大量海馬迴資料。主角是位置細胞 (place cell)（動物處在特定位置時才放電的海馬迴神經元）：傳統認為它們合起來是一張空間地圖；預測地圖觀點則認為它們編碼「未來會到哪裡」，與獎賞預測相乘才得到價值。

狀態 s 的價值，是從 s 出發未來每步獎賞的期望總和，每往後一步乘上折扣因子 (discount factor) γ（0 與 1 之間的數，讓越遠的獎賞越不值錢）。作者把它拆成兩個因子的內積：V(s) 等於「從 s 出發預期在每個狀態 s′ 停留的折扣次數」M(s, s′) 乘上獎賞 R(s′)，對所有 s′ 加總。矩陣 M 就是後繼表徵 (successor representation, SR)（Dayan 於 1993 年提出，把每個狀態表示成它未來會到達的狀態之折扣加權分布）。

圖一、換獎賞不必換地圖。(a) 七格直線軌道，老鼠在 s4；SR 的第四列給出從 s4 出發各格的預期造訪次數，自己最高 1.5，向兩側遞減到 0.1。(b) 水在 s1 時，s4 的價值是 0.1。(c) 食物改放 s6，SR 完全不動，價值重算成 0.4。(d) 多處獎賞同樣只是一次內積，得到 0.98。(取自原論文 Figure 1)

這樣拆有兩個好處。第一，獎賞一變不必重學環境：圖一的獎賞從 s1 的水換成 s6 的食物，價值只是同一列 SR 與新獎賞向量再做一次內積；無模型學習者得重學每格的價值，模型式學習者得重新搜尋。第二，SR 可用時間差分學習 (temporal difference learning)（每觀察到一次轉移，就用預測與實際的差修正估計）線上學會：把獎賞預測誤差換成「後繼預測誤差」，形式完全相同，模擬預設學習率 η = 0.1。轉移矩陣 (transition matrix) T（每列是從某狀態一步到各狀態的機率）已知時也有解析解 M = (I − γT)−1。兩個導向相似未來的狀態必然價值相似，所以 SR 天生適合讓價值泛化；它對任何馬可夫決策過程 (Markov decision process)（由狀態、行動、轉移機率與獎賞構成的決策問題）都有定義，空間與非空間任務共用同一套架構。

作者的核心主張是海馬迴以群體放電率編碼 SR：動物在狀態 s 時，群體編碼矩陣的第 s 列，每顆神經元代表一個未來狀態 s′，放電率正比於在目前策略 (policy)（動物在每個狀態選行動的規則）下從 s 出發預期造訪 s′ 的折扣次數；單一神經元的位置場 (place field)（一顆位置細胞放電最強的區域）就是矩陣的第 s′ 欄。開放環境、隨機漫步之下，SR 位置場與教科書一樣是圓形漸弱的峰；差異出現在環境有結構或行為有偏向時。作者比較三個模型：歐氏高斯位置場 (Euclidean Gaussian place field)（放電率隨與場中心的直線距離衰減，不管經驗與地形）、測地線位置場 (geodesic place field)（隨繞過障礙的最短路徑長度衰減），以及 SR。

圖二、三種位置場模型的分歧點。(a)–(c) 上排是有固定行進方向的一維軌道，下排是有一道障礙的二維房間。歐氏高斯模型兩種情境都是對稱圓形；測地線模型繞過障礙但對方向無感；SR 既繞過障礙，在軌道上又逆著行進方向偏斜。(d) 群體向量 (population vector)（同一時刻所有細胞放電率排成的向量）是矩陣的列，往前方偏。(e) 單一細胞的位置場是矩陣的欄，往後方偏。(取自原論文 Figure 2)

障礙那一題，測地線與 SR 都答對：牆兩側的狀態不會在時間上相鄰。方向那一題只有 SR 答得出來：一顆細胞要「預測性地」放電，就得在動物到達它編碼的位置之前先放電，於是位置場往後偏。兩個對照模型都沒有讓行為策略影響表徵的管道。

圖三、行為如何改寫位置場。(a) Mehta 等人 2000 年的紀錄：反覆同向跑後，對稱的位置場（紅）變成逆向偏斜（藍）。(b) SR 模擬：向右轉移機率 90% 時逆向偏斜。(c)–(e) Alvernhe 等人 2011 年的 Tolman 繞道迷宮：靠近障礙的 CA1 位置場改變顯著多於遠處。(f)–(h) SR 模擬重現同樣的局部性。(i)–(j) 模擬的環形水迷宮：獎賞段與前一段的 SR 場較高。(k)–(l) 位置不確定時峰值往後移。(取自原論文 Figure 3)

三組動物實驗對應 SR 的三個預測。第一，倒偏 (backward skew)（位置場往行進方向的反方向延伸）：Mehta 等人讓老鼠反覆單向奔跑，位置場從對稱變成逆向偏斜；SR 模擬把向右轉移機率設成 90%，就得到定性上相同的圖樣。

第二，局部重映射 (local remapping)（只有環境改變處附近的位置場重組）。Alvernhe 等人在 Tolman 繞道迷宮放一道障礙逼老鼠繞路，靠近障礙的位置場改變顯著多於遠處（P < 0.001）。SR 模擬裡，障礙主要改變被擋那條路附近的最佳策略，所以場在近處改變多、在策略不受影響的遠處改變少（近、遠各 8 個狀態）；這種局部性來自折扣因子。

第三，獎賞聚集。Hollup 等人在環形水迷宮藏一個固定平台，發現平台所在段落的位置場最多，前一段第二多。作者把環形狀態鏈的逆向轉移機率設成 0、在獎賞附近提高停留機率，模擬出獎賞段與前一段放電較高（獎賞段 20 個狀態、非獎賞段 100 個）。倒偏讓位置場更容易疊到前一段而非下一段；位置不確定時峰值還會往後移（雜訊核 (noise kernel)（模擬位置不確定時用來把場抹平的高斯核）寬度從 0° 加到 90°）。

Schapiro 等人讓受試者看一串碎形圖片，順序由一張圖上的隨機漫步決定，圖裡有幾個社群 (community)（彼此連結緊密、對外稀疏的一群節點）。fMRI（功能性磁振造影，以血氧訊號間接量腦區活動）顯示海馬迴對同社群刺激的表徵相似度高於社群之間。SR 的解釋很直接：同社群的狀態在時間上接近、互相預測，矩陣呈區塊對角。

圖四、非空間任務裡的社群結構。(a) Schapiro 等人 2015 年的任務圖，三個社群以顏色區分。(b)–(d) 海馬迴的模式相似度，社群內高於社群間（雙側與左側海馬迴達顯著）。(e) 同一任務上學到的 SR 矩陣呈區塊對角。(f)–(g) SR 的多維尺度法 (multidimensional scaling)（把相似度矩陣攤成二維圖、越像的越近）與相似度分析重現同樣的社群結構。(取自原論文 Figure 4)

模擬裡社群內 50 對狀態的 SR 相似度，一致高於社群間 150 對。

第二個例子把空間與時間放進同一張地圖。Deuker 等人讓受試者在虛擬城市裡往返取物，某些地點之間可以傳送，另一些只有長路相連，歐氏距離與行走時間因此脫鉤。結果不論在空間或時間上接近的物件，海馬迴模式相似度都上升，各自控制另一方後仍顯著（P < 0.05）。SR 本來就預測這種整合：傳送門讓兩個遠處的狀態互相預測。

格狀細胞 (grid cell)（內嗅皮質 (entorhinal cortex)（海馬迴旁、與它互相連結的皮質區）裡放電場呈六角週期排列的神經元）原本被認為提供歐氏座標。作者主張格狀場反映 SR 的低維特徵分解 (eigendecomposition)（把矩陣拆成一組特徵向量 (eigenvector)（矩陣作用後方向不變、只被縮放的向量）與對應的特徵值）。直接推論是：邊界不同的環境裡，格狀細胞應該長得不一樣。

Krupic 等人正好測了這件事：正方形環境裡格狀方位對齊邊界，圓形裡變異大得多；移到梯形環境，左右兩半的格狀參數變得不同。作者在同樣的幾何環境算 SR 特徵向量（120 個），得到相同圖樣：圓形裡方位高度變異，因為特徵向量受圓的旋轉對稱影響；方形裡幾乎總是對齊邊界；方形兩半相似、梯形兩半不相似。方形旋轉時格狀跟著邊界而非遠處線索，在這個模型裡是內建的：格狀錨定在轉移結構上，轉移結構由邊界決定。

髮夾迷宮裡格狀場的碎裂 (grid fragmentation)（六角格狀被走廊切成段、在交替走廊重複）也一樣：Derdikman 等人記錄到的棋盤狀走廊相關圖，在 100 個特徵向量的模擬裡同樣出現。

圖八、多房間環境裡格狀場從局部走向全局。(a)–(c) Carpenter 等人 2015 年的雙房間環境；兩房間格狀場的空間相關 (spatial correlation)（在空間各點上算的 Pearson 相關）隨訓練下降，單一細胞的例子從 0.6206 降到 0.5259。(d)–(f) 局部模型（兩房間重複同一格狀）的擬合度隨訓練下降，全局模型上升。(g)–(l) 64 個特徵向量的模擬重現同樣的走勢，兩房間相關從 1.0 掉到接近 0。(取自原論文 Figure 8)

最有意思的是 Carpenter 等人的多房間實驗。格狀細胞起初在兩個相連房間各畫一套一樣的格狀，幾天探索後逐漸收斂成更全局的格狀，規則度與兩房間相似度同時下降；原作者結論是格狀細胞終將形成跨越整個圍場的規則歐氏度量。Stachenfeld 等人的讀法不同：場收斂的對象不是全局規則格狀，而是任務結構的預測地圖。模擬先用局部特徵向量初始化，再放開「兩房間必須相同」的限制學整個環境：兩房間相似度降到接近 0，格狀也比單一長方形圍場裡更不規則，正對應觀察到的規則度下降，因為隔牆把拓樸 (topology)（狀態之間誰連著誰的結構）從連續二維網格扭開了。還有一個性質：SR 的特徵向量與折扣因子無關，不同時間尺度的 SR 共用同一組特徵向量，折扣越大，權重越往大尺度移。

為什麼要低維投影？第一是譜正則化 (spectral regularization)（只用低頻、大特徵值的成分重建矩陣，濾掉高頻雜訊）：學到一半的 SR 有很多空格，用低頻特徵向量重建可以填上空格、收斂更快。這呼應一項資料：格狀輸入不是位置場出現的必要條件，但位置場的穩定依賴它。

第二是子目標 (subgoal)（長任務中途要先到達的中繼點）。好的子目標是瓶頸狀態 (bottleneck state)（連接兩大群狀態、很多最佳路徑都得經過的狀態），而尺度最大的特徵向量正好沿瓶頸把環境切成兩半；圖論裡這叫正規化最小割 (normalized min-cut)（把圖切成幾塊、使跨塊的邊最少），用圖拉普拉斯 (graph Laplacian)（描述圖連結結構的矩陣，與 SR 共用特徵向量）的特徵向量門檻化就是近似解。模擬裡切出的子目標傾向落在門口與決策點附近；Schapiro 等人的受試者把序列切成事件時，也常在拓樸瓶頸處斷開。

海馬迴是一張認知地圖講了快五十年，Stachenfeld 等人並不反對，只是把這張地圖換了定義：不是標出你在哪，而是標出你接下來會在哪。一個轉移矩陣、一個折扣因子、一次特徵分解，就把倒偏、繞牆、往獎賞聚集的位置場，非空間任務的社群結構，格狀場對邊界的敏感與多房間裡從局部到全局的收斂，全部收進同一個框架。作者的結論是：海馬迴與內嗅皮質的多重功能，可以理解為服務同一個上位目標，預測。

下次你在熟悉的路上走神，腳卻自己拐進了常去的那家店，不妨想想你腦中那張地圖亮起的也許從來不是「你在哪」，而是「你接下來會在哪」。

撰文：曾得睿

原始論文：Stachenfeld, K. L., Botvinick, M. M., & Gershman, S. J. (2017). "The hippocampus as a predictive map". Nature neuroscience, 20(11), 1643-1653.

https://doi.org/10.1038/nn.4650