通過手寫進行高性能的人機通信

什麼!!!人人都可以用念能力來寫字??不不不，實際上是學術界帶來了這個驚喜，今年5月發表在Nature上面的一篇研究，利用BCI植入(人機介面)，將植入物置於受試者的前運動皮質，以此來達到透過「想」來寫字的成果，還真的是想像就是你的超能力呢!

對於癱瘓人士來說，說話是種奢侈，溝通是種幻想，就連大家耳熟能詳的物理界泰斗霍金也是深受此苦，而霍金還能溝通，仰賴於尚可些微移動的右面頰肌肉，抽動它使眼鏡上的紅外線感應器收到信息後來選取，每抽動一下，浮標才可選定目標來緩慢的打字，那完全癱瘓的人呢?隨著科學家們努力思考，BCI的植入已經有許多研究，也在慢慢的在進步，而此篇研究就是透過在前運動皮質植入BCI，200個電極感受動作的變化，並且由一位正常的受試者手寫字母、文字，再透過之前其他小編也介紹過的主成分分析PCA進行解析，分群出不同字母手寫產生的不同種類的神經活動特徵，再透過AI訓練了一套遞歸神經網絡（recurrent neural network）來分析每個字母，最後做出一套準確度高達94%且每分鐘可生成90個字母，原本轉錄神經活動特徵錯誤率約5%，再因透過系統的AI學習使其修正修飾，最後的整體錯誤率僅僅只有1%

但結論上來說，研究人員認為整系統看似很完美，但是還是很多破綻的，因為作為最主要的AI模型訓練用的資料的手寫神經活動特徵是完全來自同一受試人的，所以無法解釋能否完整通用不同的人的腦脈衝，此外，研究並未使數字、大寫字母、標點符號…等其他不同的字符，所以以完整打出文章來說還是有困難的，不過不得不說，這是一個開頭，這套系統已經展現了超越以往技術的能力，溝通上速度提升、準確性佳，並且也無需全神貫注在「寫字」上，相對來說更接近一般人了。這樣的研究還有很長的路，但是隨著腦科學的深入研究、半導體來材料的縮小，電影中的情節將不再是幻想。

圖一
a 受試者按照螢幕上的指示來「想」與「寫」出字母
b 不同字母下紀錄的神經活動，圖中是d、e、m三個範例字母
c 進行time warping，來消除測試速度的變化，最後可看出同類字母會有一致的神經活動模式
d 解碼筆軌跡顯示所有31個測試字元
e 使用PCA分析，並使用t-SNE製作的神經活動2D可視圖，不同的字母自成一群，也可看出有些字母較難完全分析分群，所以後期要透過其他方式來校正整個系統

圖二
a解碼演算法的圖表，從電極端紀錄神經活動，RNN轉換辨識
b兩個範例及時顯示，證明RNN可以解碼未在訓練中看過的句子，紅色為標記錯誤
c 錯誤率和鍵入速度

圖三
Raw online output 為即時在線解碼
Online ouput + offline language 通過追朔性將語言模型在線解碼，模擬自動修正
Offline bidirectional RNN + language model 使用所有可用數據對線下解碼器進行再訓練獲得，同時應用語言模型。
數據中單詞錯誤率會遠高於單個字元，是因為單詞只要其中有任何一個字元錯誤，就直接判斷此單詞不正確

撰文：徐楷昕

Reference:

Willett, F.R., Avansino, D.T., Hochberg, L.R. et al. High-performance brain-to-text communication via handwriting. Nature 593, 249–254 (2021). https://doi.org/10.1038/s41586-021-03506-2