讀心術演算法──從腦部活動重建眼中所見
利用fMRI資料比對受試者正在看的圖片的技術已經存在一段時間，然而都有技術上的限制，如圖片類型限制，或是需要一些基礎預先設定，還不能在沒有提示的情況下重建影像，大多都是讓電腦挑選一張最可能是答案的圖片。來自日本ATR計算神經科學實驗室和京都大學的研究團隊發展出深度圖像重建(Deep Image Reconstruction)，運用DNN(Deep Neural Network)類比為大腦的影像處理網路，在得到受試者的fMRI資料之後，電腦會隨機產生一張無意義圖片，並送入DNN，再將DNN得到的fMRI資料與實際資料比對，重複多次持續調整影像參數，使原本雜訊影像的fMRI特徵逐步接近受測者的fMRI特徵。除此之外，研究團隊開發另一個網路DGN(Deep Generator Network)，主要用來增強DNN產生影像的清晰度與真實度。
DNN的訓練過程是使用各類自然景象圖片與其相對fMRI資料完成的，然而在測試階段，不只是一般自然影像，人造符號一樣能經由DNN重建。甚至不須看見圖片，透過腦中想像人造符號，依然能藉由該系統重建，惟想像自然景物表現不佳。而且若將重建影像與兩個可能原始影像供一般人選擇，正確率高達99%。可見此研究的演算法具有廣泛適用的特性，且重建的圖像也具有一定的水準，是fMRI數據應用的一大進展。
附圖為論文中展現的其中一張圖片的實驗結果，上圖的花豹是受測者所見，下圖則是重建結果。
原始論文(preprint)：
Guohua Shen, Tomoyasu Horikawa, Kei Majima, Yukiyasu Kamitani (2017). Deep image reconstruction from human brain activity. bioRxiv 240317; doi: https://doi.org/10.1101/240317
參考文章：
Matthew Hutson. This ‘mind-reading’ algorithm can decode the pictures in your head. Science, Vol 359, Issue 6373; doi:10.1126/science.aas9681
DNN的訓練過程是使用各類自然景象圖片與其相對fMRI資料完成的，然而在測試階段，不只是一般自然影像，人造符號一樣能經由DNN重建。甚至不須看見圖片，透過腦中想像人造符號，依然能藉由該系統重建，惟想像自然景物表現不佳。而且若將重建影像與兩個可能原始影像供一般人選擇，正確率高達99%。可見此研究的演算法具有廣泛適用的特性，且重建的圖像也具有一定的水準，是fMRI數據應用的一大進展。
附圖為論文中展現的其中一張圖片的實驗結果，上圖的花豹是受測者所見，下圖則是重建結果。
原始論文(preprint)：
Guohua Shen, Tomoyasu Horikawa, Kei Majima, Yukiyasu Kamitani (2017). Deep image reconstruction from human brain activity. bioRxiv 240317; doi: https://doi.org/10.1101/240317
參考文章：
Matthew Hutson. This ‘mind-reading’ algorithm can decode the pictures in your head. Science, Vol 359, Issue 6373; doi:10.1126/science.aas9681
留言
張貼留言