演化可塑性人工神經網絡的展望

生物神經網絡是由進化,發展和終身學習塑造的非凡計算能力的系統。這些元素的相互作用導致了生物智能的出現。受到如此復雜的自然現象的啟發,演化可塑性人工神經網絡(EPANNs)。進化計算的研究,特別是神經進化領域的研究,主要集中在具有固定神經權重的靜態系統或網絡的演化上:進化被視為學習規則的替代方法,以在人工神經元中搜索最優權重。

進化計算的一個中心思想是進化過程,類似於在數十億年的過程中發生的進化過程  ,可以用計算機軟件模擬。然而,演化的智能軟件的出現並不像最初希望的那樣容易。進展緩慢的原因尚不完全清楚,但已經確定了許多問題,可能與進化算法的早期實現的簡單性和高計算要求有關。

在EPANN實驗中,進化可以被視為一種元學習過程。因此,用於人工神經網絡建立學習規則通常被用作成分進化用於搜索良好的參數配置,規則和網絡拓撲結構,新的功能較新穎的學習規則有效組合等EPANN實驗。

學習規則和神經架構的相互依賴性導致了實驗,其中進化在網絡設計上具有更大的自由度。人工神經網絡中架構的演變可能涉及搜索最佳數量的隱藏神經元,網絡中的層數,特定拓撲或模塊,連接類型以及網絡架構的其他屬性。在EPANN中,不斷發展的學習架構更具體地意味著發現架構和學習規則的組合,其協同匹配能夠實現特定的學習動態。

學習機制和神經架構是相互依存的,但是大量可用的動力學似乎有助於學習的發展。因此,復雜性和豐富的動態性,當手動網絡設計變得不太實用時,EPANN變得更加有效。


撰文者:王任權


參考文獻
Andrea Soltoggio, et al.(2018) Born to learn: The inspiration, progress, and future of evolved plastic artificial neural networks. Neural Networks
https://www.sciencedirect.com/science/article/pii/S0893608018302120#fig1

留言