當相機學會像神經元一樣「放電」：事件相機如何讓會飛的機器，在高速與黑暗中依然看清自己怎麼動
故事的開頭是這樣的：一隻蒼蠅在你伸手要拍牠的那一瞬間，總是能算準你的手是從哪個方向、用多快的速度逼近，然後搓搓手從容閃開。牠的腦袋明明只有針頭大、神經元數量比你手機裡的電晶體少了不知幾個數量級，卻能在毫秒之內解算出「我和這隻手的相對運動」。反觀鴿子的腦袋有一顆葡萄乾大，卻不知道牠會不會苦惱自己的腦容量太小…不，我是說，反觀我們花大錢做的無人機，叫它「只靠一顆相機，告訴我你現在自己飛得多快、轉得多急」，它在光線好、飛得慢的時候還行，一旦飛快一點、或鑽進忽明忽暗的環境，畫面就糊成一團，當場「天黑請閉眼」給你看。
差別到底在哪？這篇要談的，就是一群研究者怎麼讓相機「別再用拍照的方式看世界，改用神經元的方式看世界」，而這個研究方向最近真的很夯。
一、先講老地基：相機是怎麼「感覺到自己在動」的
要讓機器知道自己怎麼動，最便宜的辦法是「光流 (optical flow)」：看畫面上的紋理往哪個方向、流多快，然後反推出「我自己」自身是怎麼平移、怎麼旋轉的。這套思路的數學地基，是 1981 年 Lucas 與 Kanade 立下的（沒錯，雖然不是宋朝人，但仍然比在座很多讀者都老）。它的第一塊磚叫「亮度恆定假設」，也就是假設畫面中同一個點，這一幀和下一幀的亮度並不會改變。把它做一階泰勒展開，會得到一條乾淨的式子：Ix u + Iy v + It = 0 （這邊Ix, Iy 是空間上的亮度梯度，It 是兩幀相減的時間梯度，(u, v) 是我們想求的流。）這條式子怎麼來的，本系列就不在這裡推導了，畢竟篇幅字數限制又不是三十萬字，建議各位若真的好奇，下次去機車行更換機油時，順口請師傅一邊鎖螺絲一邊幫你展開即可。
 |
| 圖一、孔徑問題示意圖 (aperture problem，圖案取自維基百科https://en.wikipedia.org/wiki/Motion_perception#The_aperture_problem) |
但這條式子有個要命的地方：「一個像素只有一條方程，卻有兩個未知數」。施文彬說過：「其實一個人的生活也不算太壞，只是要兩個人才能夠談戀愛[1]」，這就是著名的「孔徑問題 (aperture problem) 」：透過小孔看一條移動的直線，你永遠分不清它到底是往哪滑。對此Lucas–Kanade 的解法很務實：「啊那不然我們就假設一小塊鄰域裡大家動得一樣好了！」。於是窗內幾十個像素湊成一堆方程，用最小二乘一次解掉。能不能解得穩，取決於這塊區域是不是「角點」（兩個方向都有花紋），如果是就so good；但如果是平坦的牆面或單調的邊緣就會解糊掉，so sad。這也正是為什麼後來 Shi & Tomasi（1994）會專門研究「哪些點才值得追」，開發了演算法要特別去挑角點。否則三千道工序只為煮一粒米，米還是臭掉的就真的是很傷心。
值得一提的是：這套 40 多年前的老招到今天還活得好好的！筆者自己最近正在玩弄的無人機光流估計，跑在機上的就是 Lucas–Kanade 的金字塔版本（金字塔版本，指的是先在縮小的粗畫面抓大方向，再逐層細修，處理大位移。並不是在紙莎草書上讀𓃭𓏲𓎡𓄿𓋴𓀀𓎡𓄿𓈖𓄿𓂧𓇋𓀀演算法這樣）。所以如果你問我，這個老地基，穩！那老狗需不需要學新把戲，這個再看看。（不應該在文章中透漏太多私人訊息，否則大家以後都知道筆者真實身分，其實是一隻住在木柵動物園冰天雪地區的海獺，會用石頭敲貝殼之外還會敲打鍵盤就糟糕了）
二、老招的死穴：它假設世界「不糊、不過曝」
可惜的是，Lucas–Kanade 的一切都建立在「亮度恆定」這個沙堡上。而真實世界有兩把鏟子專門來拆它：
1. 運動模糊：相機是靠「曝光一段時間、把光累積起來」成像的。若是無人機飛快一點，曝光期間景物已經移動，畫面糊掉，亮度恆定直接破功。
2. 動態範圍不足：一般相機的動態範圍大約 60 dB。從亮處飛進陰影、或迎著光，畫面不是死白就是死黑，根本沒有紋理可追。
這並不是演算法不夠聰明，而是感測器的物理形式從根本上就不適合高速、極端光照。要治本，不是要補腦、而是要顧眼睛。看來只得動用金錢的力量，也就是換掉相機本身。
三、換顆「像視網膜一樣放電」的眼睛：事件相機
於是有了「事件相機 (event camera)」，又叫動態視覺感測器 (Dynamic Vision Sensor, DVS)。它的設計哲學，當然不是抄天體黑洞的事件視界，而是抄隔壁「視網膜」同學的作業：
傳統相機是「整班同學每隔 33 毫秒一起交一次考卷」（固定幀率、整張畫面）。事件相機則是「每個像素各自當一顆神經元」：它獨立、非同步地盯著自己看到的對數光強，只要變化超過一個設定的對比門檻 (contrast threshold)，就立刻吐出一個帶微秒級時間戳的「事件」(ON 表示變亮、OFF 表示變暗)；沒變化就完全不出聲。(見表一、圖二、圖三)
 |
| 圖二、傳統幀式相機vs事件相機對比示意圖 |
 |
| 表一、各種事件相機分類比較表 |
 |
| 圖三、事件相機的原理從視網膜中獲取靈感 |
這個「像神經元放電」的仿生設計，換來四個一般相機求之不得的特性：微秒級時間解析與低延遲、高動態範圍 >120 dB（逆光、暗處都還看得到細節）、天生不會運動模糊（因為它根本不靠曝光積分）、以及超低功耗（只傳變化、不傳整張畫面）。
當然沒有人天天在過年的，天下沒有白吃的午餐，事件相機這種運作方式常常吐出來的是一團稀疏、嘈雜、沒有穩定「外觀」的事件流，傳統那套為「整齊畫面」設計的演算法全部得砍掉重練。這也是為什麼這個領域這幾年才真正熱起來。順帶一提，這可不是學術圈一群科學怪人在那邊自嗨而已，目前 Sony 的 IMX636 事件感測晶片（與新創 Prophesee 的神經形態演算法 IP 合作）已商用化，iniVation 也在 2025 年 3 月推出了支援區域 HDR 的新一代 Aeveon 感測器。（註：本文並無接上述公司業配，請勿過度聯想，我們也不可能因為Canon還是Nikon給我們錢我們就改口說IMX636是他們做的）
四、2025 年的新成果：讓事件相機在黑夜裡也能算出自己飛多快
主角研究來了。Zhong 等人 2025 年提出的 Stereo-DEVO（深度事件視覺里程計），要回答的正是本文開頭那個問題：只靠（雙目）事件相機，即時且準確地估出自己的 6 自由度運動。
它的流水線很有意思，等於把前面我們講到的那套老地基改編成事件版：先把一段時間內的事件堆成「體素 (voxel) 表徵」，在上面估光流（對，還是光流的精神，換湯不換藥）、建立可靠的特徵塊對應，再把這些塞進一個「緊耦合的集束調整 (bundle adjustment)」一起優化，吐出帶公制尺度的位置&姿態資訊(位姿)。重點是：它能即時處理 VGA 解析度的事件資料，是的，不是等我回去翻一翻答案再來回答你這樣，是「即時」。而且，最關鍵的賣點是，在大尺度的夜間高動態範圍場景下，依然能夠穩定地估算出位姿。換成一般相機，這種場景早就一片死黑、什麼都追不到了。
如果各位機器視覺大師、圖形辨識演算法匠人、或是自駕俱樂部要員們，認為這篇文章只是懶人包裡面的懶、嫌棄我們這邊講得太淺，想要去看看更多內容的「有點勤勞」人包，OK，我們推薦可以去看2026 年一篇登在 ACM Computing Surveys 的綜述文章（Wang et al.）老樣子是給你全套最完整千禧白金典藏紀念終極天碟版，把 2014–2025 整個「事件相機用在會移動的機器上」的領域，沿著四根支柱梳理了一遍：事件怎麼表徵 (Abstraction)、感知演算法 (Algorithm)（視覺里程計、追蹤、光流、3D 重建）、軟硬體加速 (Acceleration)（怎麼塞進資源受限的機上裝置）、以及實際應用 (Application)。這篇文章也誠實點出三大痛點：噪訊事件多、缺乏穩定的語意資訊、資料量龐大。總之對任何想踏進這個坑的人，這是一張很好的地圖，看完修為可以增加二重天。
五、為什麼這條路，正是「仿生」的本命
把鏡頭拉遠，各位讀者會發現這整件事漂亮地閉環了。
事件相機本身就是一個「神經形態 (neuromorphic) 」元件，它才不是什麼「比較好的相機」這種膚淺的概念，而是「把視網膜的非同步脈衝編碼搬進矽晶片」。而本文開頭那隻蒼蠅，牠的視覺神經網路下游其實只用了少數幾顆神經元，就能從光流解算出自身運動。換句話說，生物老早就示範了「稀疏、事件驅動、極省能」這條路可行；事件相機 + 輕量解碼，等於是工程界終於追上演化的腳步。什麼？你們從剛剛心中就有疑問，想說那為什麼不講蚊子或是果蠅嗎？因為他們反應比較慢一點，雖然也會算光流，可是會被打到，聽起來就比較遜一點，我們還是把這些疑問悄悄放下就好。
好，我們拉回來繼續講。這也是為什麼這個方向在產業界正快速升溫：除了車用先進駕駛輔助（ADAS，被看好是成長最快的應用），無人機幾乎是事件相機的天選場景：動態避障、高速導航、強光弱光交替、以及 GPS 收不到時的自我定位，全是傳統相機的痛點、事件相機的主場。連美國國防高等研究計畫署（DARPA）都設立了 FENCE 計畫，專門開發給國防用途、嵌入運算的事件式神經形態相機，FENCE是什麼？就是 Fast Event-based Neuromorphic Camera and Electronics 的縮寫！而據市場研究公司 SNS Insider 估計，整個事件相機市場規模有望從 2024 年的約 25 億美元，成長到 2032 年的約 62 億美元！視網膜花了幾億年演化出來的把戲，如今成了一門生意。
結語
讓我們把這趟旅程收束成三個 take-home：
1. 「感覺自己怎麼動」的數學地基很老、很穩：Lucas–Kanade 1981 的亮度恆定 + 小窗最小二乘，今天還跑在無人機上；但它的命門是「假設世界不糊、不過曝」。
2. 要治本得換感測器，不是換演算法：事件相機仿視網膜，每個像素獨立對對數光強的變化放電，換來微秒延遲、>120 dB 動態範圍、不模糊、超省電，但代價是資料形式全變、演算法得重寫。
3. 2025 的 Stereo-DEVO 證明它真的能打：在連一般相機都瞎掉的夜間高動態範圍場景，事件相機仍能即時、穩定地估出自己的 6 自由度運動；而這整條路，本質上就是生物（那隻蒼蠅）幾億年前就走通的「稀疏脈衝視覺」。
留一個問題給各位餘味：當感測器、運算、甚至解碼網路都越來越「神經形態」，會飛的機器最終是不是會像生物一樣，徹底用脈衝、而不是用「畫面」來看世界？到那天，或許我們該擔心的不是無人機看不清自己怎麼動，而是它閃避我們伸出去的手，搞不好閃得比蒼蠅還快！我手還沒伸向桌上的鉛筆，它已經幫我把今天的數學作業都寫完了，真危險。
AI 使用聲明：部分內文由Claude協助編輯
撰文：鄭主佑
原始論文：
-Zhong, S., Niu, J., & Zhou, Y. (2025). "Deep visual odometry for stereo event cameras". in IEEE Robotics and Automation Letters 10(11), pp.11078-11085.
-Chen, G., Cao, H., Aafaque, M., Chen, J., Ye, C., Röhrbein, F., ... & Knoll, A. (2018). "Neuromorphic vision based multivehicle detection and tracking for intelligent transportation system". Journal of advanced transportation, 2018(1), 4815383.
-Wang, H., Guo, R., Ma, P., Ruan, C., Luo, X., Ding, W., ... & Chen, X. (2026). "Event camera meets mobile embodied perception: abstraction, algorithm, acceleration, application". ACM Computing Surveys, 58(8), 1-41.
-Lucas, B. D., & Kanade, T. (1981). "An iterative image registration technique with an application to stereo vision". In IJCAI'81: 7th international joint conference on Artificial intelligence (Vol. 2, pp. 674-679).
留言
張貼留言