瞭解生物與機器的導航策略
如何辨別週遭環境以及自己的位置是一件基本且重要的事情。一些昆蟲像是蜜蜂、果蠅等會利用腦中的中央複合體(Central complex)幫助理解距離與方向等資訊，舉凡步伐的積分(integration of steps)、視覺的光流法(optical flow)、環形吸引子(ring attractor)，都是牠們的策略。
不過只靠本體感覺(proprioception)的話，導航系統很容易受到噪音的影響而變得不準；這時辨認外在的地標(像是太陽、月亮、顯眼的物體)就變得重要了，而近期也有研究支持腦內蕈狀體(mushroom body)作爲SNN(脈衝神經網絡)是有可能辨認與記憶視覺提示的(一般而言蕈狀體比較多嗅覺的記憶)。
視覺即時定位與地圖構建(Visual Simultaneous Localization and Mapping, V-SLAM)：
小昆蟲們會採取緩慢搜索，快速往返(食物及巢穴)的策略，但是當機器在執行搜索救援任務時，地形往往是未知的；這個時候同時理解自己位置及週遭環境的SLAM技術就變得熱門了。
視覺SLAM的關鍵在於瞭解相機與真實世界之間的關係。只要知道相機的焦距、解析度(內部參數)、真實世界的座標與相機座標(外部參數)、失真程度(像是魚眼鏡頭)，我們就能在「大腦」中建構對於地形的認知，甚至進一步知道自己如何移動。一些常用的方法像是藉由運動推斷結構(Structure from Motion, SfM)、特徵點(feature point)截取等，都是很好的工具。有時我們也需要其他的感應器互相配合，像是加速度/陀螺儀就對快速變化比較敏感。
綜合來看，機器對精準的3D建模較擅長，昆蟲對事物認知比較有效率；如何結合兩者的優點將會是一個有趣的題目。
順道一提，這裏有一部瑞士蘇黎世理工的影片，用來展示機器是怎麽用事件導向型攝影(event-based camera)來進行3D重建的：https://youtu.be/EUX3Tfx0KKE
撰寫：葉宸甫
參考文章：
Heinze, S., Narendra, A., & Cheung, A. (2018). Principles of Insect Path Integration. Current Biology, 28(17).
Ardin P, Peng F, Mangan M, Lagogiannis K, Webb B (2016) Using an Insect Mushroom Body Circuit to Encode Route Memory in Complex Natural Environments. PLOS Computational Biology 12(2): e1004683.
H. Rebecq, G. Gallego, D. Scaramuzza EMVS: Event-based Multi-View Stereo British Machine Vision Conference (BMVC), York, 2016.
Rebecq, H., Horstschaefer, T., Gallego, G., & Scaramuzza, D. (2017). EVO: A Geometric Approach to Event-Based 6-DOF Parallel Tracking and Mapping in Real Time. IEEE Robotics and Automation Letters, 2(2), 593-600.
Vidal, A. R., Rebecq, H., Horstschaefer, T., & Scaramuzza, D. (2018). Ultimate SLAM? Combining Events, Images, and IMU for Robust Visual SLAM in HDR and High-Speed Scenarios. IEEE Robotics and Automation Letters, 3(2), 994-1001.
不過只靠本體感覺(proprioception)的話，導航系統很容易受到噪音的影響而變得不準；這時辨認外在的地標(像是太陽、月亮、顯眼的物體)就變得重要了，而近期也有研究支持腦內蕈狀體(mushroom body)作爲SNN(脈衝神經網絡)是有可能辨認與記憶視覺提示的(一般而言蕈狀體比較多嗅覺的記憶)。
視覺即時定位與地圖構建(Visual Simultaneous Localization and Mapping, V-SLAM)：
小昆蟲們會採取緩慢搜索，快速往返(食物及巢穴)的策略，但是當機器在執行搜索救援任務時，地形往往是未知的；這個時候同時理解自己位置及週遭環境的SLAM技術就變得熱門了。
視覺SLAM的關鍵在於瞭解相機與真實世界之間的關係。只要知道相機的焦距、解析度(內部參數)、真實世界的座標與相機座標(外部參數)、失真程度(像是魚眼鏡頭)，我們就能在「大腦」中建構對於地形的認知，甚至進一步知道自己如何移動。一些常用的方法像是藉由運動推斷結構(Structure from Motion, SfM)、特徵點(feature point)截取等，都是很好的工具。有時我們也需要其他的感應器互相配合，像是加速度/陀螺儀就對快速變化比較敏感。
綜合來看，機器對精準的3D建模較擅長，昆蟲對事物認知比較有效率；如何結合兩者的優點將會是一個有趣的題目。
順道一提，這裏有一部瑞士蘇黎世理工的影片，用來展示機器是怎麽用事件導向型攝影(event-based camera)來進行3D重建的：https://youtu.be/EUX3Tfx0KKE
撰寫：葉宸甫
參考文章：
Heinze, S., Narendra, A., & Cheung, A. (2018). Principles of Insect Path Integration. Current Biology, 28(17).
Ardin P, Peng F, Mangan M, Lagogiannis K, Webb B (2016) Using an Insect Mushroom Body Circuit to Encode Route Memory in Complex Natural Environments. PLOS Computational Biology 12(2): e1004683.
H. Rebecq, G. Gallego, D. Scaramuzza EMVS: Event-based Multi-View Stereo British Machine Vision Conference (BMVC), York, 2016.
Rebecq, H., Horstschaefer, T., Gallego, G., & Scaramuzza, D. (2017). EVO: A Geometric Approach to Event-Based 6-DOF Parallel Tracking and Mapping in Real Time. IEEE Robotics and Automation Letters, 2(2), 593-600.
Vidal, A. R., Rebecq, H., Horstschaefer, T., & Scaramuzza, D. (2018). Ultimate SLAM? Combining Events, Images, and IMU for Robust Visual SLAM in HDR and High-Speed Scenarios. IEEE Robotics and Automation Letters, 3(2), 994-1001.
留言
張貼留言