預測編碼幫助記憶

隨時間推進，受生物啟發的機器學習技術也日新月異。根據(Whittington and Bogacz 2017)[3]，一個系統具備生物合理性(bio-plausible)必須符合以下條件：
  1. 本地運算(Local Computation): 神經只受上游神經控制
  2. 本地可塑性(Local Synaptic Plasticity): 突觸連結只受前後端神經的活動控制
  3. 外部計算最小化(Minimal External Computation): 盡量使內部計算自動化
  4. 合理架構(Plausible Architecture): 應與大腦皮質連結的限制條件一致
ANN 利用反向傳播(Backpropagation)來快速學習，但是受生物啟發的系統並不適用反向傳播，因為反向傳播是由全域變數控制的，並不符合「本地可塑性」的條件。
擁有本地特性的預測編碼可以作為反向傳播的一種估計方式，而這種方式可以讓神經網路同時具有分類與生成的功能[1]。可惜的是要讓經過監督學習的預測編碼網路生成特定的圖樣是不可能的，因為它是一個欠定(underdetermined)的系統，擁有無數個解，就跟八卦版有無數個金城武一樣。

根據加拿大滑鐵盧大學的模擬實驗[2]，使用生物中常見的「衰減」(Decay)——包括神經活動的衰減及突觸連結強度的衰減——就可以將系統塌陷到只有唯一解、幫助降低生成圖樣的不一致性、避免接近零的極值造成的不穩定，並增加網路收斂的速度。(圖一)

作者也指出，衰減並不是萬靈丹；有時隨然強的衰變會讓生成的數字變好看，卻也讓辨識模式的準確度下降了。
Local computation的概念也逐漸被非SNN的ANN所接納，詳情請閱讀朝洋寫的「笨蛋ANN不想忘記」。


撰文者：葉宸甫


參考資料：
[1]Orchard, Jeff, and Wei Sun. 2019. “Making Predictive Coding Networks Generative.” arXiv:1910.12151 [cs], October. https://arxiv.org/abs/1910.12151.
[2]Sun, Wei. n.d. “Decay Makes Supervised Predictive Coding Generative,” 121.
[3]Whittington, James C. R., and Rafal Bogacz. 2017. “An Approximation of the Error Backpropagation Algorithm in a Predictive Coding Network with Local Hebbian Synaptic Plasticity.” Neural Computation 29 (5): 1229–62. https://doi.org/10.1162/NECO_a_00949.

留言

張貼留言