讓機器手臂用「脈衝大腦」自己學會精準伸手
開場 你伸手去拿桌上的杯子，這個動作看似簡單，大腦其實瞬間完成了一連串精密計算——而且幾乎不費電。大腦靠的是神經元「一次次放電」的脈衝訊號。能不能讓機器手臂也用這種省電的方式，自己學會精準伸手？ 研究背景 目前讓機器手臂學控制，多半靠傳統人工神經網路，效果好但很耗電。大腦用的「脈衝神經元」理論上超省電，可惜一直有個硬傷：非常難訓練。因為脈衝是「有或無」的跳動訊號，不像連續數值那樣平滑，電腦慣用的學習方法（需要平滑的「梯度」來一步步修正）根本用不上。於是過去只能用簡化方法，或乾脆避開「學習」。這篇研究要挑戰的，就是讓一個「全脈衝」網路能從頭到尾被訓練，完成真正的連續控制。 主要發現 研究用的是「漏積分發放神經元」（LIF，模擬神經細胞累積電荷、到門檻就放電）。系統由兩個脈衝網路合作：一個是「預測網路」，學習手臂的物理——現在的姿勢加上出力命令，下一刻會移動到哪；另一個是「策略網路」，學習控制——看現在與目標位置，該下什麼命令。 最關鍵的突破是「代理梯度」（surrogate gradient）：訓練時，把那個不平滑、無法微分的脈衝函數，暫時換成一條平滑的近似曲線，讓電腦慣用的「反向傳播」學習法得以運作。如此一來，整個脈衝系統就能端到端地一起訓練。 圖 一｜SLoN 的雙網路架構：預測網路學物理、策略網路學控制。預測網路（上方）學習手臂動作的物理規律，策略網路（下方）學習控制命令，兩者均採用漏積分發放（LIF）神經元進行端到端訓練。文獻 Fig 1。 讀圖小撇步：把兩個網路想成「預言家」與「指揮官」——預言家（上方預測網路）說「這樣動會到哪」，指揮官（下方策略網路）據此決定「該怎麼動」，右邊放大的是單顆脈衝神經元。 圖 二｜訓練過程中手臂動作由亂到穩的變化。呈現控制政策在不同訓練回合（Iteration 0 至 200）下，機器手臂軌跡從雜亂無序逐漸收斂至平滑穩定目標地點的過程。文獻 Fig 4。 讀圖小撇步：看手臂軌跡隨訓練回合（Iteration 0→200）從雜亂抖動，逐漸變成平順、穩定地到達紅色目標；下排的「距離」也越降越快，就是「學會了」的證據。 成果上，這套全脈衝系統成功控制了一支 6 個關節（6 自由度）的真實型號機器手臂（Franka Panda）完成到達任務，效能可與傳統網路相比，參數卻更精簡。研究也誠實指出：這種訓練對「超參數」極度敏感——在 2D ...
