應用UDA實現夜間影像的語意分割
語意分割(semantic segmentation)是一種將影像中所有像素進行分類的方法，分類後的結果通常會以色塊呈現。在影像辨識相關領域中，通常是取用日間(daytime)拍攝的影像進行訓練及測試。而在自駕車的應用上，夜間的影像辨識也一樣重要，只是夜間影像有一些訓練上的困難，如：亮度低、訓練資料較少等等，因此研究團隊應用「非監督式領域適應(unsupervised domain adaptation, UDA)」，降低日間領域和夜間領域之間的差異。這個方法叫做Domain Adaptation Network with Image Alignment (DANIA)，以三個領域(domain)作為訓練時的輸入資料：(1)日間標記、(2)日間未標記以及(3)夜間未標記，其中(2)和(3)是成對的影像，在同樣地點拍攝日夜不同的景象。藉由(2)建立起(1)和(3)之間的橋樑，學習日間影像的物體標記並應用到夜間影像中。也因此，訓練這三個領域時會進行權重共享(Fig. 1)。
在進入UDA之前，需進行亮度重新調整的前處理，以降低語意分割步驟對於亮度的敏感度。這個步驟稱為Image Relighting。透過亮度和圖片特性的運算後，產生性質相近的影像(Fig. 1 的Rs、Rtd、Rtn)。
在語意分割的步驟，使用三種方法：Deeplab-v2、RefineNet和PSPNet。在分類像素時，有些物件所佔的像素比例比較少，像是：燈桿、交通號誌，因此調整分類判斷的權重有助於提高語意分割的準確度；調整過的權重可以使小物件的權重提高(Fig. 1 的Ps、Ptd、Ptn；GT為ground truth)。最後的鑑別器(discriminator)用以判斷語意分割步驟預測出來的圖，「生成」來源是(1)，還是(2)或(3)。
 |
| Fig. 1 DANIA架構圖 |
Fig. 2呈現了DANIA和其他方法的測試結果之比較，最右邊的直欄是資料的ground truth，黑色表示沒有分類資訊。在DANIA方法中，物件邊界和植被的判斷表現比較佳。mIoU (mean of category-wise intersection-over-union) 是常用於評估語意分割表現的指標，數值越大、表現越好，在Fig. 3中呈現。除了夜間影像的訓練與測試，研究團隊也訓練及測試了一些天氣狀況的影像，例如：雪、霧、雨；視覺化的結果在Fig. 4。在Fig. 5的數值化結果可以發現，DANIA(RefineNet)在夜間(night)、雪(snow)以及四種情境混合(“all”)中表現最好，藉此可知，DANIA在不同情境之下，仍能有不錯的表現。
 |
| Fig. 2 視覺化結果：DANIA 以及一些方法的比較 (dataset: Dark Zurich) |
 |
| Fig. 3 mIoU結果：DANIA 以及一些方法的比較 (dataset: Dark Zurich) |
 |
| Fig. 4 視覺化結果：DANIA在夜間影像以及一些天氣狀況的判斷 (dataset: ACDC) |
 |
| Fig. 5 mIoU結果：DANIA在夜間影像以及一些天氣狀況的判斷 (dataset: ACDC) |
撰文：楊采綾
Reference:
X. Wu, Z. Wu, L. Ju and S. Wang, "A One-Stage Domain Adaptation Network With Image Alignment for Unsupervised Nighttime Semantic Segmentation," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 45, no. 1, pp. 58-72, 1 Jan. 2023, doi: 10.1109/TPAMI.2021.3138829.
留言
張貼留言