深入解析昆蟲視覺與機器人導航：類腦運算如何幫助機器人穿越障礙？

如果機器人可以像昆蟲一樣靈活地穿越森林、建築物甚至人群，那需要如何設計它們的導航技術？

一篇發表於Nature Communications的研究《Finding the Gap: Neuromorphic Motion-Vision in Dense Environments》，使用了神經形態視覺技術（Neuromorphic Vision）來幫助機器人學習昆蟲的避障能力。這種技術可應用於無人機、自動駕駛、倉儲物流機器人等領域，使它們能夠安全、高效地穿越複雜環境。許多研究指出，昆蟲（如蜜蜂、蒼蠅）能夠輕鬆穿越森林、草叢、建築等縫隙，而且幾乎不會發生碰撞的原因在於昆蟲主要使用光流（Optic Flow, OF）來進行導航。

光流是什麼？
光流（OF）是當動物移動時，環境中物體在視網膜上產生的相對運動。它包含：
橫向光流（Translational OF）：昆蟲前進時，最近的物體移動最快，遠處的物體則移動較慢。
旋轉光流（Rotational OF）：當昆蟲轉彎時，所有物體都會隨著視角變化而旋轉。
而昆蟲主要利用以下幾種策略來避免碰撞：
-- 左-右光流平衡法：如果兩側的光流不平衡，昆蟲會調整方向，保持在中間。
-- 前景-背景光流對比：如果物體移動得比背景快，表示它靠得很近，可能是障礙物。
-- 時間倒數策略（TTC, Time-To-Collision）：如果光流變大，表示障礙物靠近，昆蟲會減速或轉彎。

傳統機器人導航技術（如雷射雷達 LiDAR、深度相機）需要大量計算資源，這對於低功耗無人機、倉儲機器人、穿越複雜環境的自動駕駛來說並不實用。因此，該研究團隊採用了神經形態計算（Neuromorphic Computing），開發了一款模仿昆蟲視覺的類腦機器人。

研究方法：Neuromorphic 影像處理
1. 事件驅動相機（Event-Based Camera, EBC）
事件相機不同於傳統相機，它不會連續拍攝圖像，而是僅在亮度變化時產生事件（event），這大大降低了計算量。
其數學模型為：
$$ \left | \frac{dL(x,y,t)}{dt}\right |>C_{threshold}$$
當像素亮度變化超過閾值$C_{threshold}$時才會觸發事件
優點：
（1）超低功耗（23mW），適合無人機等設備
（2）毫秒級反應時間，比傳統相機更快
（3）不受光線影響，在強光或黑暗環境下都能運作
圖一、事件相機的運作原理，每個白色點表示亮度變化所觸發的事件。

2. 類腦神經網絡：Spiking Neural Network（SNN）
研究團隊使用脈衝神經網絡（SNN） 來處理事件相機數據，並決定機器人的運動方向。
Spiking Elementary Motion Detector（sEMD）
該模型模仿昆蟲視覺神經元（T4/T5 神經元），用來偵測光流。
sEMD 負責計算物體移動速度：
$$V=\frac{d}{\Delta t}$$
𝑉：物體的運動速度
𝑑：相鄰像素間的距離
Δt：為兩事件發生的時間差
當速度越快，Δt越小，產生的脈衝數（spikes）越多，能夠低功耗計算光流。

3. 決策機制：逆 Winner-Take-All (Inverse WTA)
該研究採用了逆 Winner-Take-All（WTA） 網路來選擇機器人應該移動的方向。
傳統WTA：選擇輸入最強的方向
逆WTA：選擇「視覺運動最小」的方向（即沒有障礙物的通道）
$$direction=arg\,  \underset{\theta }{min}\sum_{x,y}^{}OF(x,y,\theta )$$
該公式表示：選擇光流值最小的方向，這通常代表「開闊區域」。

4. 運動控制與速度調整
如果有安全通道，機器人向該方向移動，如果沒有安全通道，則進行逃避動作（Escape Turn）
速度調整（Adaptive Speed Control）：
$$v=v_{max}\times (1-\overline{OF})$$
環境越擁擠，$\overline{OF}$變大，速度𝑣變小，這樣機器人就能根據環境密度動態調整速度，類似昆蟲在穿越障礙時的行為。

(圖二)為本研究的整體避障網路
圖二、首先，事件驅動相機作為感測器，僅在亮度變化時產生事件，降低計算負擔。輸入訊號經過時空關聯過濾層（SPTC），以過濾視覺噪聲並進行降維處理，保留有意義的視覺資訊。ONSET 神經元層則進一步將2D視覺輸入轉換為1D，並透過自抑制機制降低不必要的神經元活動。接著，時間差編碼器（TDE）透過計算時間差來轉換為脈衝頻率和脈衝間隔，整合層（INT）進行空間卷積，從64個神經元縮減至16個神經元，模擬較長時間常數的神經動態。逆競爭性網路（WTA）則負責檢測最小視覺光流的方向，代表開闊通道，若無法找到安全方向，逃避轉向層（ET）將觸發避障轉向動作。運動控制層（MOT）決定機器人的轉向方向與持續時間，而光流整合層（OFI）則根據視覺光流強度動態調節機器人速度，模仿昆蟲在障礙密集區減速的行為。此外，泊松脈衝生成器（POIS）透過泊松分布驅動決策過程，增加決策的隨機性，使機器人具備靈活的探索行為，而全域抑制層（GI）則負責抑制競爭失敗的神經元，確保 WTA 及 ET 只執行最優決策。

研究結果：
成功率97%：機器人能自動避開障礙物(圖三)
圖三、實驗結果：機器人在狹窄通道內從左向右進行十次移動測試。點與線表示機器人的質心軌跡，藍色區域則代表20厘米寬的機器人在所有測試過程中所覆蓋的範圍，顏色從深藍到淺藍顯示機器人在該區域出現的頻率。此外，在較寬通道內，機器人的運動軌跡同樣被記錄並分析。在狹窄通道的情況中，機器人的避障網路中記錄了脈衝活動，其中時間差編碼器（TDE）產生的脈衝標示了牆壁的位置，而逆競爭性網路（WTA）產生的脈衝則標示機器人即將執行轉向的方向。

這項研究展示了類腦計算如何幫助機器人學習昆蟲的視覺導航能力，未來這項技術可應用於低功耗、自主避障機器人，為自動駕駛與無人機導航帶來新突破！


撰文：余雪淩


原始論文：Schoepe, T., et al., Finding the gap: neuromorphic motion-vision in dense environments. Nature Communications, 2024. 15(1): p. 817.

留言

張貼留言