無人機飛越快,看得越清楚?

事件相機(Event Camera)因其高速、低延遲、不怕動態模糊的特性,在機器人領域越來越受到關注。賓州大學與蘇黎世大學的研究團隊在 CoRL 2024 發表成果,首次實現僅靠單眼事件相機就能讓無人機自主避開靜態障礙物,如森林中的樹木。

以往研究多著重於動態障礙物,因為靜態物體在事件流中訊號與自我運動糾纏,難以辨識。此外,事件相機訓練需仰賴高時間解析度資料,但模擬器如 Flightmare 幀率有限,難以生成連續事件流。

為克服這點,作者先在模擬器中用專家策略產生低幀率影像與控制資料,再用 Vid2E 轉為事件流,做為模擬訓練輸入。雖然這樣產生的事件流較稀疏,但仍足以訓練有效模型。

模型架構中,事件資料會被轉為「二值事件遮罩」(Binary Event Mask, BEM),輸入模型後先預測深度圖,再推論側向閃避速度。這種將深度作為中介表示的設計,不僅提升避障效果,也讓模擬到真實的轉移更穩定。

一個特別的發現是:這套方法在高速飛行下表現更佳。傳統相機在高速時常因模糊失效,但事件相機反而因視野中障礙物變化更快,產生更多事件,有助模型辨識與避開障礙。

這項研究展現事件相機的潛力,尤其在光線變化大、場景複雜或高速飛行中,能提供穩定且高效的視覺導航解決方案,為未來自主機器人鋪路。

聲明:本文使用AI(GPT4o)協助撰寫


撰文:葉宸甫


參考資料:A. Bhattacharya, M. Cannici, N. Rao, Y. Tao, V. Kumar, N. Matni, and D. Scaramuzza, “Monocular Event-Based Vision for Obstacle Avoidance with a Quadrotor,” in Proceedings of the 8th Conference on Robot Learning (CoRL), Munich, Germany, 2024.

留言