「當你讀取我的思考，是否能重現我的體驗」類腦運算的逆向工程 - ESN 的無需標籤輸入重構
前言：
想像一個狀況，你回憶起小時候的暑假常在一個金黃色的稻田中奔跑，和煦的微風，刺眼的陽光撒在臉龐，腳底還有點濕黏，遺落在田中的橡膠拖鞋等。這些畫面的碎片透過大腦的連結、神經可塑性加固，讓你在長大後也能回憶起一些感受。一個聚餐中大家談論起小時候的體驗，身處田野的你與身處都市的他總幻想著對方的童年卻始終模糊地勾勒猜想出不一致的想像。如果我說，若知道大腦當時的狀態（參數、權重、神經元數量...）即可回推那時的輸入畫面與感受，逆解碼大腦這個操作聽起來很虛幻對吧？當然，我們對大腦還是一知半解，還無法完全了解透徹與模擬，但這篇來自 2026 的論文《Unsupervised Learning in Echo State Networks for Input Reconstruction 》對儲備池計算（Reservoir Computing）做了一個有趣且耐人尋味的研究，對輸入重構 IR提供了一些新想法。
迴聲狀態網路（Echo State Network, ESN）Reservoir Computing 的一種，長期扮演著一個觀察者的角色，它具備隨機且固定的內部結構，能將時序輸入映射至高維狀態空間，但其輸出端（Readout Layer）卻始終依賴一位「導師」——即監督式學習（Supervised Learning）所提供的目標信號，來告知網路其所見為何。這種設定在進行「輸入重構」（Input Reconstruction）任務時顯現出一種邏輯上的冗餘，如果網路的任務僅是還原驅動自身的輸入信號，而我們在訓練階段又必須餵給它同樣的信號作為答案，那麼這種學習過程是否真的觸及了系統的內在動力學？而近期關於 ESN 數學基礎的研究指出，只要我們不再將儲備池視為全然不可知且無法解釋的「黑盒子」，這些網路其實具備某種程度的「本體感覺」，能在完全缺乏外部標籤的情況下，僅憑內部的迴聲邏輯找回消失的輸入。
研究動機：
我們知道 RC 的效能主要基於兩項時間序列處理的特性，在 RC 內部對輸入時間序列的「可保存性（preservability）」與「可轉換性（transformability）」，而在輸入重建（IR）中輸入時間序列本身就作為目標，是 RC 中最簡單卻也最基礎的任務之一。儘管他很簡單，但 RC 中的 IR 已足以用來學習一個能產生輸入時間序列的動態系統，所以此研究專注於 IR，並深入探討 RC 的基本屬性。IR 常透過兩種非監督式學習的方法進行探討：1.雜訊過濾（noise filtering，圖1(b)）2.盲信號分離（blind source separation，圖1(c)）。雜訊過濾方法像是卡爾曼濾波器（Kalman filter），它依賴於「支配輸入時間序列的系統模型」的先驗知識，而這項先驗知識被用來透過充滿雜訊的觀測值，重建原始的輸入時間序列或系統狀態。相對地，盲信號分離不需要明確的系統模型，而是利用訊號的統計特性，包含主成分分析（PCA）、獨立成分分析（ICA）以及慢特徵分析（SFA）與雜訊過濾相比，盲信號分離通常透過恢復原始輸入的「重新排列與縮放版本」來提供近似的 IR，此方法依賴於最少的假設，並旨在從觀察到的混合物中推論出未觀察到的來源訊號。儘管 IR 在概念上與非監督式學習 (UL) 相關，但 RC 中的標準方法仍然是對讀出層進行監督式學習 (SL)（圖 1(a)），從非監督式 IR 的角度來看，RC 中盛行的問題構建方式，似乎在概念上與雜訊過濾及盲信號分離的基礎目標不一致，因為後兩者並不假設 IR 需要監督。所以，此研究的目標是改進並推進 RC 中 IR 的問題構建方式，提出一種基於 UL 的全新 IR 構建方式，旨在將「能取得未觀察到的原始輸入時間序列」的傳統假設，替換為「具備滿足特定條件的 RC 參數先驗知識」，（圖 1(d)）。這種構建方式使得 IR 的定義能獨立於任何輸入時間序列，從而作為 RC 框架內 IR 的標準構建方式。為了說明此觀點的實用性，此研究開發了用於動態系統複製與雜訊過濾的演算法，這些演算法並不明確依賴原始的輸入時間序列。也進行了數值實驗，以證明所提出方法的可行性與有效性。
 |
| 圖1：在 ESNs 中所提出的輸入重建構建方式之概述。a. 在典型的水庫運算框架（例如 ESNs）中，訓練讀出層需要「期望輸出的時間序列」的監督資料。因此，ESNs 中的輸入重建傳統上一直被構建為一個監督式學習問題。b. 在雜訊過濾中，藉由利用系統與觀測模型的先驗知識，從充滿雜訊的觀測值中重建系統狀態。c. 在盲信號分離中，在假設混合過程為可逆的情況下，從混合訊號中重建來源訊號。d. 在本研究中，我們提出了一種 ESNs 中輸入重建的新穎「非監督式」構建方式。這種方法依賴於兩個關鍵假設：可逆性，以及可取得用於學習的 ESN 模型。 |
研究方法：
本研究的核心突破在於將輸入重構從監督式學習的枷鎖中解放出來。研究團隊指出，只要 ESN 的啟動函數具備可逆性（如常見的 tanh），且其輸入權重矩陣滿足滿秩條件，每一時刻的輸入信號其實已完整地刻劃在儲備池狀態的演變之中。從直覺上看，這如同將網路的狀態更新視為可逆的物理過程，當我們掌握了儲備池的內部結構參數（A 與 B 矩陣），便能透過數學上的逆運算，從狀態的迴聲中反推並找回消失的輸入驅動力。
在具體實驗設計上，研究者利用遞迴最小平方法（RLS）開發出一套無需標籤的自主學習演算法，並將其應用於混沌系統複製與雜訊濾波兩大挑戰。結果顯示，在 Lorenz-63 混沌系統的任務中，該模型即便從未看過標準答案，仍能精準地捕捉到動力系統的蝴蝶吸引子拓撲特徵（圖2）。更令人驚艷的是，透過與系集卡爾曼濾波（EnKF）的結合，模型在處理高強度雜訊時展現了極強的韌性。即便輸入信號遭受非高斯分佈（如具備極端離群值的柯西分佈）的干擾，網路仍能憑藉內部學到的動力學特徵作為先驗知識，有效地清洗雜訊並還原信號（圖3）。雖然在面對 ReLU 這類資訊會發生塌陷的非可逆結構時，重構精度會有所下降，但實驗證實其表現依然顯著優於隨機水準。有趣的是，在某些數值不穩定的邊界條件下，這種基於內部邏輯的自主學習方案，甚至展現出比傳統監督式學習更穩健的數值表現。
貢獻與啟發：
總結來說，此研究的貢獻，從數學機制的直覺來看，在於將網路的「狀態更新」視為一種可逆的物理過程。若 ESN 的啟動函數可逆，且其輸入權重矩陣滿足滿秩條件，那麼每一時刻的儲備池狀態演變事實上已經鎖定了輸入信號的唯一解。研究者提出了一種無需監督的學習定理：藉由已知的網路參數，我們可以將「尋找輸出權重」的問題，轉化為對儲備池內部動力學誤差的最小化過程。這意味著，原本需要比對「輸出與目標」的損失函數，現在變成了比對「當前狀態與內部預測」的自洽性。在實際應用中，這種方法甚至能與卡爾曼濾波（Kalman Filter）結合，利用網路自身學到的動力學特徵作為先驗知識，在輸入信號遭受劇烈雜訊污染時，依然能精準地「洗掉」混亂，還原出底層的信號本質。
這項研究在理論深度上與神經科學中的「預測編碼」（Predictive Coding）理論產生了迷人的共振。它提示我們，感知或許並非單純的特徵映射，而是一種系統內部對外部刺激的自組織重構過程。然而，作為研究者，我們必須保持嚴謹：這種方法對啟動函數可逆性的依賴，意味著在面對如 ReLU 這類非可逆結構時會面臨精度損失，這反映了系統資訊處理能力與結構對稱性之間的權衡。未來的研究方向或將聚焦於如何將此框架擴展至參數未知的物理儲備池（Physical Reservoir），或是更複雜的非平穩雜訊環境中。歸根結底，這項進展告訴我們，智慧的產生未必總是需要外部的教導，有時僅僅需要系統對自身的「迴聲」有足夠深刻的理解，便能從雜訊的迷霧中，重新勾勒出世界的輪廓。
AI使用聲明：本文有透過 AI 翻譯與摘要，但內容與架構皆透過本人審視與編排
撰文：林祥吉
原始論文：
Yamada, T., Katori, Y., & Fujiwara, K. (2026). Unsupervised learning in echo state networks for input reconstruction. Neural Computation, 38(2), 198-227.
留言
張貼留言