打開AI的黑箱「解釋模型的黑箱作業」

我們知道AI擅長於預測，包含臉部辨識、自動駕駛技術中的物件偵測等等。但如果要了解AI模型預測準確的原因就需要靠其他方法去解釋模型。

今天介紹的這篇論文透過遮擋的方法，改變輸入模型的影像並分析其對模型的預測結果影響，預期如果遮擋著不重要的位置（特徵）並不會影響模型的預測結果，反之遮擋重要的特徵，會嚴重影響模型預測的結果。

圖1：可以看到模型預測圖片中有長笛，預測為長笛的機率高達：99.73%，但如果用模糊濾鏡遮住長笛，預測機率下降至0.07%，意味著模型完全認不出圖片是否有長笛。

圖1

圖2：使用三種增加影像雜訊的方式，並且隨著遮擋範圍變大，繪製出模型預測的機率曲線，可以看到隨著遮擋住越多範圍，預測準確率會逐漸下降。

圖2

圖3：這個案例可以清楚看到移動遮擋位置，可以觀察到模型對巧克力跟卡車的預測機率。遮擋住巧克力罐模型預測機率從61% 下降至35.1%，但如果遮擋著湯匙的位置準確率從61%下降至1.5%，從此可知模型判斷圖片是否為巧克力醬的主要原因來自於圖片中的湯匙。然而從卡車的圖片可以觀察到車頭是模型判斷圖片使否存在卡車的重要部位。

圖3

過往人們認為AI模型是黑箱作業，但透過改變輸入的圖像，可以解釋模型，並進一步改善模型，使模型的預測能力更強大。

撰文：許楷翊

參考文獻：

Fong, R. C., & Vedaldi, A. (2017). Interpretable explanations of black boxes by meaningful perturbation. In Proceedings of the IEEE international conference on computer vision (pp. 3429-3437).