驚！深度學習模型原來也可以放入這種東西


深度學習模型，大家稱之為黑盒子。

既然是黑盒子，那麼，裡面有什麼，大家便不得而知了。對於深度學習模型，大家始終保持著神秘。

直到有天，有三個白駭客在深度學習模型中塞進了惡意程式。

這篇研究報告[1]指出，如果把惡意程式塞進一些 AI 的深度學習模型中，那麼，可以在幾乎不影響這些深度學習模型的情況下，讓惡意程式也正常運作。從該研究報告中看來，這些惡意程式的檔案格式至少包括 *.dll、*.exe 和 *.xls 格式，看起來大概都可以在 Windows 系統中運作，檔案大小也小，都幾十 KB 而已。白駭客們表示，在植入惡意程式後，這些深度學習模型的確度並不會因此而大幅降低，頂多減少個 1% 左右，有時甚至會發現確度不減反增。這也表示，如果我們將惡意程式嵌入深度學習模型中，那麼同一專案裡同一模型的其他使用者將難以察覺——這大大的提升了使用者發現惡意程式的難度。

研究報告中，白駭客們使用了幾種不同的深度學習模型來放入惡意程式。由於使用的是 PyTorch 模組，因此可以透過 requires_grad = False 這類的設定來將惡意程式放入模型裡較不需要更新的 neurons。除了上一段敘述的結果，他們也同意如果在手刻深度學習模型時，有處理好程式安全，那麼這樣的問題就比較不容易發生了；然而，也絕不是每個人都這麼有經驗，因此，這樣的問題，或許還是會發生。而事實上，除了這篇研究報告鎖提供的資料，翻閱 CVE[2] 也會發現不少在 Tensorflow 和 PyTorch 上的資安漏洞。也許，當我們在使用 AI 深度學習時，需要格外謹慎。


撰稿｜郭彥伶


參考資料
1. Wang, Liu and Cui (2021). EvilModel: Hiding Malware Inside of Neural Network Models. arXiv:2107.08590v4 [cs.CR]. https://arxiv.org/abs/2107.08590

留言

張貼留言