液體狀態機左右互打越練越強？(液體狀態機與強化式學習)
前言： 大家好，今日要介紹的文章為 2025 由 Krenzer 與 Bogdan 等人，刊登於 Frontiers 期刊的文章【Reinforced liquid state machines—new training strategies for spiking neural networks based on reinforcements】，主要是在探討回饋機制對於類神經網路的影響，作者提出了一個有趣的框架把 Liquid State Machine（液體狀態機）搭配 Reinforcement Learning（強化式學習） 觀察在各種回饋情形下，RLSM（Reinforced liquid state machines）架構是否可以優於無監督式學習的 LSM？我們開門見山先講結論， 在把語音數字（0–9，英/德文）轉成脈衝事件的聽覺資料集 Spiking Heidelberg Digits（SHD）上是可以優於無監督式學習的 LSM！接下來就來一起看看強化式的液體狀態機是如何處理這些任務的吧！我會先簡單講解一些強化式學習的概念讓大家比較好帶入與了解，液體狀態機的部分可以去觀看我上一篇的《 脈衝神經網路可以自己分類?--液體狀態機與無監督式學習 》的 LSM 背景處。 ----------------------------------------------------------------------------------------------- 強化式學習： 提到強化式學習（RL）時，我們可以用一種簡單的方式理解，相信大家都有玩電腦遊戲的經驗吧，我們把強化學習（RL）想成「玩遊戲的練功系統」：電腦（代理人）在環境裡嘗試各種動作，拿到分數（回饋），慢慢摸索出能「長期拿高分」的做法（策略）。它不告訴你正解，只告訴你做得「好不好」，所以特別適合需要連串決策、結果常延遲的問題，例如機器人控制、推薦系統或自動駕駛，架構觀念如（圖一：RL基礎架構源）。 然而這種看似沒有固定答案的學習模式為什麼會被大家使用呢？原因很好理解，其實是因為現實世界很少有完整標籤資料，但仍可以觀察到行為後果；就如同研究神經科學時，透過行為模式去回推背後的生理機制。RL 同樣在互動中一邊探索一邊學，學到做什麼會更好，也強調模式選擇後的長期報酬，避免只為眼前利益而做出短視決策。 RL 發...
