如果沒有防⼿震,怎麼解決抖動造成的影像模糊呢?

科技⽇新⽉異,不論是數位相機還是智慧型⼿機,拍照鏡頭都已經搭載了電⼦防⼿震的功能,解決了⼤多數拍照時因為鏡頭晃動造成影像模糊的問題!但如果更⼤的晃動,無法避免影像的模糊,就只能依靠AI來還原清晰的影像。⼀篇來⾃烏克蘭天主教⼤學的研究,基於條件對抗式⽣成網路,去除圖像上的動態模糊,請⾒圖⼀所⽰:
圖一:左邊是模糊影像,中間是⽣成網路預測的清晰圖,右邊為清晰影像(對照答案)

這裡所使⽤的條件對抗式⽣成網路結構⾒圖⼆(⽣成器),DeblurGAN ⽣成器的部分:類似⾃編碼,中間有九個Resblock,每⼀個Resblock還各有⼀組跳躍連結(⾒圖三)。跳躍連結可以不經額外運算,將數據與卷積後的資訊合併,如此可以降低多次卷積所造成的資訊損失。這個⼤模型為了能對圖像的細節有更詳細的計算,採⽤較深的卷積(較多次的卷積次數)
圖⼆

圖三

介紹完⽣成器的部分,介紹關於條件式⽣成對抗網路的整個訓練流程(圖四)。將模糊影像輸入⽣成器,會產⽣出清晰圖像,對比Sharp(清晰影像答案),計算預測的圖片與答案之間的損失值,反覆訓練模型。
圖四

圖五可以看到其他模糊影像經模型預測的結果和其他⽅法的對比(Nah),中間的影像是先前其他研究提出的⽅法Nah,右邊是DeblurGAN還原的程度更好。
圖五

最後比較過往三種動態模糊影響處理的模型與DeblurGAN的準確度以及預測所需時間(⾒圖六),PSNR峰值信噪比表現第⼆,還原的影像SSIM結構相似性分數最⾼,所需的預測時間僅為0.85秒。
圖六

快速的將模糊影像處理為清晰影像,有助於需要短時間偵測物體的功能的監視器,常⾒於道路監視器或是⾼速公路監視器。⾒圖七,可發現經過模型預測後的清晰影像可以幫助YOLO偵測到更多的物件。
圖七


撰文:許楷翊


參考⽂獻:
Kupyn, Orest, et al. "Deblurgan: Blind motion deblurring using conditional adversarial networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018

留言