HaSiST模型

目前，已證明在特定情況下，以硬體方式實現的脈衝神經網路（Spiking Neural Network, SNN）能展現出比傳統人工神經網路（Artificial Neural Network, ANN）更高的能效比和速度。然而，訓練SNN所需的時間比訓練ANN所需的時間長，且其精確度也不如ANN。

Ali Siddique, Mang I. Vai和Sio Hang Pun等人在2023年提出了一種新的，基於反向傳播的SNN訓練算法，並且提出了一種低成本且輕量化的硬體SNN模擬器。該模擬器使用HaSiST（Hard-Sigmoid-based SNN training）算法進行Online learning。

文章中的設計使用了Verilog語言進行描述。他們提出的HaSiST算法非常適合硬體應用，因為它不需要進行任何複雜的數學運算(圖一)，並且只需要使用少量的乘法器和加法器，就可以表示神經元的狀態以及網路之間的連接(圖二)。

圖一

圖二

作者提出的Online learning神經網路模擬器可以訓練ANN，也可以訓練SNN，這取決於使用者的選擇。並且，HaSiST訓練SNN所需的時間比使用ReLU反向傳播的SNN所需的時間少很多。這是因為Hard Sigmoid和SNN激活函數都可以由Sigmoid函數描述，並且可以互相轉換。

最後，他們在8x8的MNIST數據集中，使用Online learning的方式，在BrainChip開發的Akida開發板中獲得97.5的準確度，更詳細的資訊可以參考原始論文。

我認為本文的亮點在於他們開發的HaSiST算法，因為這個算法即使在軟體層面的驗證上也比其他算法來的更快，使用起來也更輕量。

撰文: 唐朝洋

潤稿: ChatGPT

Reference:

Siddique, A., Vai, M.I. & Pun, S.H. A low cost neuromorphic learning engine based on a high performance supervised SNN learning algorithm. Sci Rep 13, 6280 (2023).