以漸進式語境整合方法修復破損圖片

想要修補破損的圖片，現有的方法是借助破洞周圍的照片資訊，補齊破洞的部分，但是如果破洞範圍太大，這個方法能做到的修補有限。因此，研究團隊想透過「漸進式」的方式修補這些大洞。

把原圖降低為多張較低解析度的圖，從最低解析度的圖開始，參考周遭的資訊，因為解析度低，破洞範圍的像素也會比較少。隨著解析度提高，但是前一階段的圖與後一階段的圖相近，比起一下子就要修補原圖的大範圍，可以參考的資訊更為可靠。此步驟稱為progressive restoring network (圖一)。

圖一 progressive restoring network 示意圖

各個解析度的圖完成修補後，從最大的解析度(原圖)開始，利用pixel-wise dense detector的鑑別器比較全域性和區域性的真偽，目的是要讓生成的修補區塊調整成更接近原圖的性質(圖二)。

圖二 pixel-wise dense detector 示意圖

最後藉由merge block將所有解析度的圖片整合成一張圖。為了減少不同圖片的結構不連續性，透過STM (structural transfer module)來銜接各個圖片的差異並且合成在一起。(圖三)

圖三 merge block (STM) 示意圖

在圖四中，最左的兩個直欄分別是破損的圖片以及原本的圖片(ground-truth)，最右邊直欄的是本文方法的結果，而中間的是其他圖片修補方法的測試結果。相比於其他組的結果，雖然會因為破損的部分影響到與ground-truth的相似度，本文方法修補的結果看起來比較自然也比較完整。圖五的表中紀錄了用五個評估方法測試所有方法在三種資料集的表現，粗體字表示為最佳。

圖四 本文方法與其他圖片修復方法對照結果

圖五 不同方法與三種資料集的表現(粗體為最佳表現)

即使現有的其他圖片修補方法也能做到一定程度的修補，在遇到破損範圍大的圖片時仍然能力有限，因此本文提出的方法希望可以解決大範圍，同時還能維持修補品質。

撰文：楊采綾

Reference: J. Kim, W. Kim, H. Oh and S. Lee, "Progressive Contextual Aggregation Empowered by Pixel-Wise Confidence Scoring for Image Inpainting," in IEEE Transactions on Image Processing, vol. 32, pp. 1200-1214, 2023, doi: 10.1109/TIP.2023.3238317.

https://ieeexplore.ieee.org/document/10038694