可以計算光流的相機：VD56G3

https://www.notion.so/VD56G3-b48ef311f4684cfcbb9d6966b0987318

光流的計算時常需要耗費相當多資源，因此若在有限的硬體上，如微型無人機，可能會碰上許多挑戰，像是承重較輕、外型較迷你、需要低功耗等挑戰。本文介紹由 STMicroelectronics 設計，可以運算光流的感測器，名為 VD56G3 。其解析度為1124*1364，fps高達88幀/秒，若是更低解析度，可以到達300幀/秒。

圖一： VD56G3 影像感測器，會同時輸出影像以及光流資訊。

此感測器的光流計算是藉由特徵追蹤，來得知物體的位移。它採用了 FAST 演算法作為特徵感測器，並用 BRIEF 演算法產生特徵的描述符(descriptor)，透過比較漢明距離(Hamming distance)，找到連續幀中最匹配的結果；一個光流向量會輸出前一幀的位置、光流向量、以及兩個最佳的Hamming score。感測器限制在16*16 pixel內的描述符數量，最後感測器可以預測2048個光流向量。圖二顯示光流的精準度預測結果。

圖二：在不同的相機參數設置下，光流追蹤的結果。

創造一個低延遲、低功耗並實現於邊緣裝置上的光流法，對於無人機飛行、或者AR與VR的應用都相當重要， VD56G3 展現了其低延遲、低功耗、且擁有足夠精準度的特性，具有潛力運用在上述的應用中。

撰文：吳芯瑀

原文：Kühne, Jonas, Michele Magno, and Luca Benini. "A Fast and Accurate Optical Flow Camera for Resource-Constrained Edge Applications." arXiv preprint arXiv:2305.13087 (2023).