跳到主要內容

發表文章

精選

看見像素的運動:單眼無人機如何靠「光流」穿越障礙叢林?

在密林之中,當無人機以每秒6公尺的速度穿越樹幹與細枝間的狹縫時,它如何判斷該左轉還是右閃?沒有雷達、也不靠立體鏡頭,僅用一台普通的單眼攝影機,它能安全飛行、甚至比人還靈活。來自上海交通大學的一項最新研究提出一種仿昆蟲視覺的創新方法,讓無人機透過「看」像素的運動,也就是光流(optical flow),來學會避開障礙、維持平衡,並完成高速飛行任務。在自主飛行領域,大多數無人機會仰賴雷射雷達或立體相機來建構環境的3D地圖,並規劃路徑。但這些感測器體積大、耗電高、價格不斐,對小型空中載具來說並不理想。 相對地,大自然中蒼蠅與蜜蜂等昆蟲靠一對單眼,就能完成快速閃避與飛行。這背後的關鍵正是「光流」:當一台攝影機移動時,畫面中的每個像素會隨環境中物體的遠近產生不同的移動速度與方向,這就是光流。就像開車時,旁邊的路燈飛快向後掠過、遠處的山頭幾乎不動,我們大腦就可感知速度與深度。 研究團隊設計了一套從頭學習的避障系統,不是靠傳統手工規則,而是讓無人機直接從光流學會怎麼飛。他們建構了一個端對端的學習架構,包含三個核心技術: 1. 光流注意力系統:他們發現,畫面中間的光流訊息最關鍵,將高解析光流的中央區域與整體低解析度光流結合,提升算法對重要區域的感知能力。就像人開車時眼睛專注看前方,無人機也能對畫面中央給予更高的關注權重。(圖一) 圖一、光流注意力系統:若畫面中央無空間可前進,則可透過轉向重新探索,結合注意與感知雙策略提升決策能力。 2. 主動感知策略:除了「看」,無人機還會調整自己的視角,把攝影機主動朝向前進方向,確保關鍵資訊在正中間。 3. 可微分物理模擬器:他們打造了一套能快速模擬飛行軌跡、光流與控制結果的模擬器,主要用來模擬無人機的動態與控制過程,使訓練過程可以直接進行「梯度下降」優化,快速收斂控制策略。(圖二) 圖二、可微模擬器(differentiable simulator) 這裡使用的是一個點質量模型(point mass model),這種模型把無人機視為一個質點,不考慮旋轉或空氣動力等複雜因素,只模擬質點位置與速度的變化(左半)。 黑色箭頭表示模擬器的正向模擬流程:輸入控制參數 → 計算機體位置與速度的變化 → 得到下一時刻的狀態。紅色箭頭表示梯度反傳(gradient backpropagation)的流程:用來計算控制策略的參數如何影響最終表現(例如是否成功避...

最新文章

「固定不動的果蠅大冒險」:虛擬實境中的視覺導航與學習解密!

多巴胺神經元的複雜性更甚過往的認知

男性實驗人員的氣味影響小鼠實驗結果

受損但仍能適應的神經網絡:從生物修復到仿生機器人

自我進化的Transformer架構

理解意識:比較兩大領先理論的突破性研究

睡覺不只是放空!睡眠時的 cAMP 週期會影響記憶鞏固

The Cerebellum as a Time-delayed Adaptive Filter

果蠅的嗅覺:邊緣系統的訊號前處理

鈣濃度導引可塑性:FPLR模型解碼BTSP學習機制