海馬迴是其實是一張預測地圖
海馬迴的位置細胞被當成大腦的地圖近半個世紀，但這張地圖卻有很多不合常理的地方：位置場隨跑動方向偏斜、繞著障礙變形、往獎賞聚集，連沒有空間的任務也用得上。Stachenfeld、Botvinick 與 Gershman 從強化學習反過來問：如果目標是把未來獎賞算準，什麼空間表徵最有用？答案是後繼表徵：每個位置不記成座標，而記成「從這裡出發，接下來會經過哪些位置、各幾次」。這一個改動同時解釋了上述異常，也讓格狀細胞有了新身分：預測地圖的低維特徵向量，可以去噪，也可以切出子目標。 動物得預測久遠以後的獎賞才活得下去。強化學習 (reinforcement learning)（透過嘗試與回饋，學會哪些狀態與行動帶來獎賞的計算框架）給了兩種標準答案。模型式 (model-based)（先學環境的轉移規則，再模擬未來）學一張認知地圖 (cognitive map)（Tolman 提出的概念，指腦中對環境結構的內在表徵），每次決定都往前推演；它彈性，但推演代價極高。無模型 (model-free)（不學規則，直接記每個狀態值多少）用試誤學一張價值函數 (value function)（把每個狀態對應到預期未來總獎賞），查表就可以了，很方便，不過代價是獎勵位置改變後就必須重新學習。 作者主張海馬迴走第三條路：學一張預測地圖 (predictive map)（把每個狀態用它的後繼狀態來表示）。它足以算出長期獎賞、可用簡單規則學會，也解釋大量海馬迴資料。主角是位置細胞 (place cell)（動物處在特定位置時才放電的海馬迴神經元）：傳統認為它們合起來是一張空間地圖；預測地圖觀點則認為它們編碼「未來會到哪裡」，與獎賞預測相乘才得到價值。 狀態 s 的價值，是從 s 出發未來每步獎賞的期望總和，每往後一步乘上折扣因子 (discount factor) γ（0 與 1 之間的數，讓越遠的獎賞越不值錢）。作者把它拆成兩個因子的內積：V(s) 等於「從 s 出發預期在每個狀態 s′ 停留的折扣次數」M(s, s′) 乘上獎賞 R(s′)，對所有 s′ 加總。矩陣 M 就是後繼表徵 (successor representation, SR)（Dayan 於 1993 年提出，把每個狀態表示成它未來會到達的狀態之折扣加權分布）。 圖一、換獎賞不必換地圖。(a) 七格直線軌道，老鼠在 s4；S...
