利用無監督神經網路探索大腦視覺奧秘
無監督神經網路是一種機器透過自我學習發現資料內在結構的方法。它不需要對資料大量label來進行訓練,而是透過分析資料之間的關係和模式來提取特徵和建立模型。與傳統的監督學習相比,無監督神經網路模型更接近人腦的學習方式,因為人類嬰兒在發展過程中無法獲得大量的標籤資訊。
一篇由史丹佛大學的發表的論文介紹了關於無監督神經網路模型在靈長類大腦背側視覺路徑中的應用。作者指出,雖然目前深度神經網路提供了靈長類背側視覺路徑中神經元反應模式的最佳定量模型,然而,由於這些網路的使用需要大量標籤的監督方法進行訓練,因此它們一直無法成為背側通路發展的模型。最近無監督學習的快速進展已經在很大程度上彌補了這一差距。透過使用深度無監督對比嵌入方法訓練的神經網路模型,在多個背側視覺皮層區域中實現了超過目前最佳監督方法得到的模型的神經預測準確性,並且這些網路模型的隱藏層對應到神經解剖上是一致的。
研究團隊使用了深度無監督對比嵌入方法來訓練神經網路模型。此方法使用了嬰兒頭戴攝影機收集的影像資料和靈長類大腦皮質中的神經元反應模式等資料集。透過最大化網路中不同影像圖片的相似性,來學習資料中的低維數據,再透過訓練神經網路模型,比較了使用不同訓練方法得到的模型在神經預測準確度上的差異(圖一)。
圖一、經訓練後的無監督神經網路對於大腦V1、V4、IT區域的神經反應預測,A部分是訓練方法,B部分是不同方法對於不同區域的準確性結果報告,標記n.s.的代表該資料具有顯著性,可以拿來與其他方法比較。可以發現部分無監督神經網路模型的表現確實比監督神經網路(黑色)好。 |
實驗結果發現,使用深度無監督對比嵌入方法訓練的神經網路模型在背側視覺皮層的多個區域中的神經預測準確性,表現幾乎相當甚至超過最佳監督學習方法獲得的模型。這些網路模型的隱藏層對應到神經解剖上是一致的,代表這些方法產生的特徵與大腦相似。此外,即使只使用真實人類兒童發育資料進行訓練,這些方法仍然能夠產生類似大腦的特徵,而半監督的深度對比嵌入方法也能夠利用少量的資料標記來改善神經網路運算出來的錯誤結果。
綜上所述,這項研究使用了深度無監督學習方法來建立了背側視覺路徑的神經網路模型,並且獲得了顯著成果,為靈長類感知學習提供了一個符合生物行為的計算理論,並展示了無監督學習在模擬大腦系統中的應用潛力。
圖二、本篇文章使用到的不同無監督學習方法介紹 |
撰文:余雪淩
原始論文:Zhuang, C., et al., Unsupervised neural network models of the ventral visual stream. Proceedings of the National Academy of Sciences, 2021. 118(3): p. e2014196118
留言
張貼留言