從時間維度輔助光流計算

上次介紹了coarse to fine的技巧，是從空間維度輔助光流計算，這次來介紹使用時間維度輔助光流計算的技巧。想要使用這種技巧，欲計算的光流需要滿足兩個前提：時間的連續性、運動的平滑性。換句話說，frame n-1的光流與frame n的光流是差不多的。為了更好的理解這一問題，不妨先看看特定情況的例子，然後逐漸拓展到一般情況。

首先想樣一種情況：觀察者（攝影機）以法線方向等速朝一個很大的平面前進，那麼frame n-1的光流與frame n的光流就是完全相同的。在這種情況下，使用frame n-1的光流當作frame n的估計值就是一個非常好的估計。

圖一、以法線方向等速朝一個很大的平面前進，若忽略圖像的不連續性，光流就會是HSV圓餅（的一部分）。

上述的估計法就是最簡單的「直接取用」估計，而直接取用在實際情況中會遇到一些問題：攝影機運動方向可能會改變、frame n-1的影像與frame n的影像不會恰好重複、物體的遠近不同而且有邊界。對於攝影機運動方向的改變，我們可以基於運動平滑性的假設，當成它改變很小，予以忽略。至於剩下問題就沒那麼好解決了。

圖二、模擬真實情況的場景（左）和正確光流（右）。攝影機運動方向大致是往前。

在圖二的例子裡，地面的部分仍可使用直接取用估計，可以觀察到它的光流和HSV圖長得很像，但樹木的部分就不行了，可以觀察到它的光流是與旁邊區域顯著不同的。由於攝影機的運動，樹在畫面中的位置會改變，使得光流異質區塊的座標改變，同時樹和攝影機的距離、方向也發生改變，使得光流異質區塊內的數值也有所不同。在這種情況下，如果還使用直接取用的估計，就會造成很多誤差。

圖三、經過一個frame，樹在畫面中的位置、與攝影機的距離都改變了。

對於上一段提到的兩個問題，在時間連續性、運動平滑性的前提下，可以透過類似warping的方式來盡量減少誤差。關於warping，之前在coarse to fine的文章裡已經有介紹過。在這邊，我們要做的就是把每個座標點只有一個數字的灰度圖像換成每個座標點有兩個數字的向量場，除此之外的操作皆相同。於是，我們對frame n-1的每一個向量，以它自己為移動，進行warping變換，就可以得到frame n光流的估計值。不過，透過warping的方式得到的估計只解決了位置問題，並未解決深度問題。也就是說光流的方向可以猜得比較準，但長度會有誤差。

所以，在現存的光流演算法中，時間維度的輔助技巧往往不會單獨使用，而是與其它技巧結合。比較知名的演算法有：Farneback、PWC-Net、LK-Tracking、SIFT-Flow，以及許多使用了深度學習的演算法也都會運用時間維度的資訊。並且這些演算法往往會需要多次迭代以逐步減小誤差，比直接做warping複雜許多。而時間維度扮演的角色也不僅是估計pre-flow，也有降噪等功能，例如Temporal Flow Smoothing技巧。

總而言之，以時間維度的資訊輔助光流計算，具有提高光流估計的準確性和穩定性、處理運動模糊和遮擋問題等優點，同時也要注意計算量增加、累積誤差等問題。

撰稿人：劉徹

參考資料

1. Farnebäck, G. (2003). Two-Frame Motion Estimation Based on Polynomial Expansion. In: Bigun, J., Gustavsson, T. (eds) Image Analysis. SCIA 2003. Lecture Notes in Computer Science, vol 2749. Springer, Berlin, Heidelberg. https://doi.org/10.1007/3-540-45103-X_50

2. D. Sun, X. Yang, M. -Y. Liu and J. Kautz, "PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume," 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 2018, pp. 8934-8943  https://doi.org/10.1109/CVPR.2018.00931

3. Z. Li, Y. Su and W. Ma, "An improved spatio-temporal context tracking algorithm combining LK optical flow," 2017 10th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI), Shanghai, China, 2017, pp. 1-7 https://doi.org/10.1109/CISP-BMEI.2017.8301901

4. C. Liu, J. Yuen and A. Torralba, "SIFT Flow: Dense Correspondence across Scenes and Its Applications," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no. 5, pp. 978-994, May 2011  https://doi.org/10.1109/TPAMI.2010.147