受意識理論啟發的無監督式學習

神經可塑性幾十年來一直是一個重要的話題，最近由於機器學習研究的興起而獲得了更多關注。使脈衝神經網絡（SNN）學習的一種方法是脈衝時序依賴可塑性（STDP），而這種方法已經有了各種適應和改進。

盡管我們對意識的認識還有很多未解的謎題，但它也能在不同領域上激發新的思考方向。受整合資訊理論（IIT）的啟發，(Yadav, Chaudhary, and Kumar 2024)提出了意識驅動STDP（CD-STDP）。與固定的LTP/LTD係數不同，CD-STDP使用從IIT得出的係數，正係數衡量當前狀態給定的過去狀態的不確定性減少，反之則為負係數。較高的正系數表明應加強來自前一層的連接，而較高的負系數則表明需要調整到下一層的權重以減少對學習的負面影響。

作者在MNIST、FashionMNIST和CALTECH數據集上展示了較高的準確性，同時保持了較少的參數數量。作者也提出了STDP在深度網路上的短版（註），並期望未來能夠使用不同的角度審視提出的模型。

註：STDP經常被認為是一種較局部（local）的學習方式，而不能像向後傳播一樣進行跨多層的學習。常用的手法為結合STDP與向後傳播的混合學習。

撰文｜葉宸甫

參考資料

Sushant Yadav, Santosh Chaudhary, and Rajesh Kumar. 2024. “Consciousness Driven Spike Timing Dependent Plasticity.” arXiv. http://arxiv.org/abs/2405.04546.