HDR影像融合--仿神經網路相機與傳統相機之應用

高動態範圍(High Dynamic Range, HDR)是指影像的曝光範圍大，在亮度較暗和較亮的部分都能看清楚紋路。但是想用傳統相機拍攝出同時具有高畫質、彩色以及HDR的影像並不容易，因此研究團隊嘗試融合傳統相機的高畫質、彩色影像，以及透過仿神經網路相機產生的影像的HDR特性，產生HDR彩色高畫質影像，並且再進一步產生HDR影片。

仿神經網路相機產生的影像是黑白色調，基本上是只呈現亮度的影像資訊，但同時可以清楚呈現亮度很亮和很暗的部分(HDR)。傳統相機除雖然沒有HDR的特性，其拍攝的影像是彩色且畫質較高 (Fig. 1)。

Fig. 1  NeurImg-HDR+的輸入影像，由仿神經網路相機以及傳統相機提供

在融合之前，先處理HDR亮度圖(intensity map)。由於尺寸比傳統相機影像小，所以需要拉大尺寸，此過程使用upsampling。因為影像尺寸拉大代表著像素值的數量增加，但增加的這些像素原先沒有數值，此時可以取相鄰的原圖像素值的平均，或是其他計算方法來決定他們要填的數值 (Fig. 2 Upsampling network)。同時，傳統相機影像的圖從RGB轉換成YUV格式，Y負責亮度資訊，而U和V負責色彩資訊。接著取Y頻道的亮度圖，與處理好的HDR亮度圖(XSR)，進行3*3卷積以及應用U-net神經網路計算，融合成一張HDR亮度資訊圖(H¬¬Y) (Fig. 2 Luminance fusion network)。

Fig. 2  NeurImg-HDR+ 神經網路架構

有了處理好的亮度資訊，最後一步是要融入色彩：取U、V頻道的圖與亮度圖H¬¬Y融合。由於亮度圖和色彩圖像素數值的精密度不同，U、V需各自先取residual再與HY融合，最後轉回RGB格式。補色步驟採用GAN，其主要目的是讓呈色更自然。(Fig. 2 Chrominance compensation network)

Fig. 3展示NeurImg-HDR+和不同的方法的結果，其中第3直行是NeurImg-HDR+。可以看到嚴重曝光的部分(第二組的綠框-窗戶) 以及較陰暗的部分(第一組的紅框-側臉) 皆仍能清楚物體的外框及紋路。

Fig. 3  各種方法的結果比較

Fig. 4是兩種仿神經網路相機的影像處理結果。DAVIS和Vidar分別是event camera和spike camera (相機資訊請見Table 1) 。Fig. 4中，每組影像的箭頭左側是傳統相機和仿神經網路相機的原始輸入影像，箭頭右側是經過融合的HDR亮度圖以及最後產生的彩色HDR影像。一樣可以比對各組原始輸入和最後結果的紅框，在嚴重曝光和過於陰暗的部分都能調整成清楚的影像。

Table 1  相機資訊

Fig. 4  兩種仿神經網路相機的結果：虛線左側是DAVIS相機，右側是Vidar相機

撰文：楊采綾

Reference: J. Han et al., "Hybrid High Dynamic Range Imaging fusing Neuromorphic and Conventional Images," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 45, no. 7, pp. 8553-8565, 1 July 2023, doi: 10.1109/TPAMI.2022.323133.

https://ieeexplore.ieee.org/document/10036136