使相機在黑黑中看見東西

Bayer-Filter是一種常使用在相機感測器中的濾鏡，用於幫助相機產生出彩色的圖像，但使用濾鏡會讓傳入感測器的光減弱，需要增加曝光時間，使產生出的圖像更正常。另外，使用Bayer-Filter會使產生出的彩色圖像的像素間產生空隙，需要使用其他的算法補全其中。當然現代的技術已有許多其他類型的濾鏡，可以幫助相機產生更高解析度的彩色圖像。

在這次要介紹的研究中，作者希望可以使低曝光時間產生出的圖像轉換成更清晰的彩色圖像，而不是一片黑色，肉眼難以辨別的圖像。要達成這樣的效果，他們需要使用未使用Bayer-Filter的相機產生出的灰階圖像，以及使用Bayer-Filter使用各種曝光時間產生出的彩色圖像，一同送進神經網路進行訓練，並在最後的測試中，只使用一張彩色圖像，將其通過神經網路轉換為去除Bayer-Filter的灰階圖像，最後同樣使這兩項資訊製作出正常曝光時間的，清晰的彩色圖像，從圖一中可以看見，其產生出的彩色圖像與預期產生的圖像非常接近。

圖一

在評估的部分中，也可以看到與過去的研究相比，除了架構上增加了灰階圖像的輸入，提升穩定性，最終的誤差也是最低的(圖二)。

圖二

但從網路的架構可以看到，這樣的複雜且深層的網路架構是無法做到real-time的轉換，作者也提到未來需要開發更輕量化的網路來做到這件事情。

撰文：唐朝洋

Reference:

X. Dong et al., "Abandoning the Bayer-Filter to See in the Dark," 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA, 2022, pp. 17410-17419, doi: 10.1109/CVPR52688.2022.01691.