深度學習生成的圖片更能抓住我們的注意!?

本篇論文訓練一深度學習網路，給予一串影像編碼(數字)，此網路可以生成一張圖片影像。實驗，首先給予猴子40個上述網路由隨機編碼生成的影像刺激，猴子接收到刺激後，紀錄視覺迴路的神經活性，挑選出前10名反應性最好的圖像。每個圖像有各自的影像編碼，最後利用類似染色體突變與重組的概念，將前10名的圖像編碼進行突變與交換重組，生成新的30組影像編碼。最後透過上述深度學習，將30組新編碼+10組高反應性編碼，生成新的合成圖片，並重新給予猴子刺激，此步驟為一個循環，本實驗重複250次循環。

實驗結果，最後生成的合成圖片相比於自然圖像*，能給予視覺皮質更高的反應性，最終的影像似數個猴子臉部+眼睛+人臉+特殊圖像所組成的合成圖片。神奇的是一開始的刺激是隨機的圖片刺激(類似線條、方格、色塊)，透過一連串的刺激與圖片篩選生成，最後得到多個空間組織特徵、顏色與完整的對象。期望利用這種能給予視覺迴路神經高反應性地合成圖片，研究視覺迴路的神經機制。

*自然圖像：未經過人工修改的圖像


撰文：李堅百


論文引用：Ponce, C.R., et al., Evolving Images for Visual Neurons Using a Deep Generative Network Reveals Coding Principles and Neuronal Preferences. Cell, 2019. 177(4): p. 999-1009.e10.