神經網路竟然會主成分分析 ?

11/18/2021 08:00:00 上午

神經網路竟然會主成分分析 ?

https://mire-growth-131.notion.site/13f4012ed45f4ff7b141c1836e31d569

從出生到死亡，人類不停地學習並且適應環境，人類感官將外界刺激轉換成各式各樣的神經電位，但神經如何在複雜的神經電位中找到重要資訊並且學習? 加拿大心理學家 Donald Olding Hebb [1]給了我們一些可能的想法。首先先介紹甚麼是主成分分析(Principal Component Analysis, PCA)

主成分分析

主成分分析是將數據簡化的統計方法，在原本的資料分布中找的新的正交基底(orthogonal basis)。原始資料在新的基底下能清楚的表現出差異性，(圖1)[2]。若要深入了解背後的數學能參考[3][4]

圖1. 主成分分析的結果。新的基底(黑色箭頭)能表示資料的主要成分軸

線性赫布學習(Linear Hebbian learning)

赫布學習說明神經會有脈衝時序依賴可塑性(圖2)，神經之間的連結強度會根據突觸前後的神經狀況做調整，若連結後神經fire的時間比連接前神經晚，則連結強度上升。反之亦然。

接著來說明如何利用數學描述學習狀況[5]。公式1中(1)表示神經的總訊號(y)等於上游訊號(x)乘連接強度(w)。(2-1)表示連結強度的學習會正比與上下游神經的狀況，並且將y換成(1)式表示。(2-2)因為連接強度的時間常數大於上游訊號變化。(2-3)將兩個上游訊號以矩陣表示。公式2中(3)因為C矩陣是對稱矩陣，因此能找到特徵向量(E)和特徵值。