機器學習也能讓神經網路演化出真實的神經網路嗎？

演化催化出高度複雜的大腦神經網路結構，大腦利用這些結構進而去編碼和處理各種感官訊號，以及產生記憶等。老鼠和果蠅在5億年前就已經在演化上分支開。然而在處理嗅覺訊號時，為何能演化出類似的網路架構呢？為了解答這個問題，來自哥倫比亞大學的神經科學家們試著利用機器學習，讓一群神經元產生出果蠅嗅覺學習的網路結構。結果發表在Neuron。

果蠅的嗅覺神經網路(圖一A)是由50個嗅覺受器(OR)將訊息傳給特定的嗅覺神經元(ORN)，這些ORNs會再往下傳給約100個嗅覺投射神經元(PN)，PNs會再傳給約2000個KCs。在KC的這層，一般認為是主要的氣味編碼的地方，藉由每個氣味只活化約10%的KCs，這樣的稀疏編碼(sparse coding)去表徵氣味。最後的輸出神經元則代表了對於這個氣味的輸出行為結果(或是分類)。研究團隊首先大約按照這樣的數字就夠了這樣的前饋網路(feedforward)(圖一C)，建立全連接網路，也就是每一層之間的相連都是全連接的，任一顆PN都會連到任一顆KC。

接著作者人為的產生了100種氣味，而每個氣味都會在誘發50個OR不同程度的活化，藉由這100個”原型”(prototype)氣味，作者產生大量隨機的氣味，根據離最近的prototype氣味來分類(圖一B，如離中央三角形最近，那就是class D的氣味)。將這些氣味餵進圖一C的網路後，最終會在輸出層Readout layer活化神經元，而這100個輸出層神經元就是分別對應了這100種氣味。藉由人工神經網路的梯度下降(gradient descent)的學習，最終可以產生出類似實際的網路結構(圖一D-G)，特別的是前面的接近專一的一對一的對應關係，以及PN到KC的稀疏連結模式，和真實的果蠅網路連結具高度的一致性。而訓練後的網路的分類正確性約為75%。

圖一、(A)果蠅的嗅覺系統。(B)三角形為100種氣味的原型(prototype)，在50個ORN的活化程度的維度中，每個點代表一個隨機產生的氣味，類別則是看離哪個氣味原型最近。(C)從OR到KC，每一層的神經元都是接近原始果蠅的神經網路系統。而每一個W的初始狀態都是全連接，舉例來說，每個PN都會連到每個KC。訓練後則會產生專一的(D)OR到ORN、(E)ORN到PN的連結、(F)及有效的OR到PN的連結。(G)PN到KC的連結訓練後出現稀疏連結的特性，符合真實的果蠅連結。

在遞迴式網路(RNN)的設計中，每一個step會活化對應的神經元數量(圖二A，譬如在step 1只有500個神經元被活化，對應到圖一的ORN數量)。可看到前和圖一的前饋網路得到一樣的結果。

圖二、(A)RNN的網路設計。(B)Step 1到step 2的連結矩陣。(C) Step 2到step 3的連結矩陣。

最後他們又設計了天生喜惡和後天學習氣味種類兩種不同的標籤方式(圖三)，後者和第一個實驗相同，前者則是作者指定5個OR為喜歡的、5個討厭的、剩下的為中性的。透過訓練後，這個網路可以同時完成氣味的種類辨別與氣味的價值(喜惡)。特別的是當特別去抑制部分的KC的活性時，氣味辨別會受到影響，但價值仍可正確。因此作者認為是兩條獨立的神經迴路。

圖三、(A) 用兩種標籤方式分別標氣味的類型，一個是如圖一的方法標出氣味種類，右圖則是選出5個OR當作喜歡的(appetitive)，5個OR當作討厭的(aversive)，剩下的是中性的。(B)透過這樣的方式再去訓練網路

本文筆者認為研究團隊的實驗設計很有趣，然而真實的網路遠比這個網路複雜，包含不同的OR的反應模式差異大，PN到KC的連結度也差異極大，PN本身也有不同的類型，而ORN到PN的過程中也有很複雜的中間神經元的連結，KC本身也有至少7-10種。因此雖然這個研究非常有趣，提供了不同物種之間演化出類似的神經迴路的邏輯。然而是否能完全解釋果蠅神經網路的連結，仍需要更小心對待。譬如說在天生喜惡的網路中，作者將這群神經元對應到側角(later horn)神經元，但事實上，LHN的訊號大多還是直接來自PNs，而不是這個網路結構中的KCs。主要的學習和先天喜惡的訊號分軌是在PNs，而不是KCs。另外作者提到PNs到KCs的連結經過訓練後會是完全隨機的。這也是不符合現在的研究所知。

筆者: 強敬哲 C.C. Charng

參考資料: 

Wang, P. Y., Sun, Y., Axel, R., Abbott, L. F., & Yang, G. R. (2021). Evolving the olfactory system with machine learning. Neuron, 109(23), 3879-3892.