積分神經網路

在近期的研究中，實際投入應用的深度學習模型都是以離散的狀態訓練以及推理，但過去也有一些研究嘗試使用連續的捲積核或是ODE的方式來建立連續的神經網路。

在2023的CVPR中，Kirill Solodskikh等人設計了了一個叫做INN(Integral Neural Network)的網路模型，其核心的概念就如同標題，使用積分的方式在連續的空間中表示傳統神經網路離散的權重值，並替代Summation的作用。

作者在研究中也提出了各種不同的方式來將傳統神經網路的架構(Fully Connected or CNN)轉換為以積分的方式來表示，但更有趣的地方在於，這樣連續的架構可以重新轉換為離散的神經網路來推理，並且因為連續的特性，可以轉換為各種不同Scale的神經網路，且不會失去過多的準確度。(圖一)

圖一

在後續的結果中，可以看到這樣的INN不只表現不會輸給離散的神經網路，並且因為連續的特性，即使修剪神經網路的40%的參數量，也不會造成大量的性能損失。(圖二、圖三)

圖二

圖三

總之，這篇研究提出了一種新的方式來建構神經網路，並且可以大量修剪且保持穩定性，也可能可以運用在邊緣裝置的運算之中。

撰文：唐朝洋

Reference:

Kirill Solodskikh, Azim Kurbanov, Ruslan Aydarkhanov, Irina Zhelavskaya, Yury Parfenov, Dehua Song, Stamatios Lefkimmiatis; Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 16113-16122