GPT-based增強器及相關技術對於區分阿茲海默症的準確率

GPT至今的發展已經大大影響了我們的生活。而本研究著重透過類似於GPT之語言模型，針對阿茲海默症（AD）與病患語言理解與表達能力的相關性進行研究。由於阿茲海默症會嚴重影響病患的語言能力，所以病患的語言可以作為這種疾病的指標。本研究採用DementiaBank Pitt數據庫中的病患語言和文字紀錄資料，探討各種用於檢測阿茲海默症的方法。

研究團隊測試4種方式。首先，他們使用了預訓練的語言模型和圖神經網路（GNN）建立語言紀錄的圖形，然後使用GNN來提取AD檢測特徵。第二，他們使用了包括同義詞替換、GPT-based增強器等數據增強技術，來解決數據集大小的問題，並再使用GNN來提取AD檢測特徵。第三，他們引入了音頻數據，並使用WavLM模型來提取音頻特徵，並結合上述文字資料，融合使用GNN來提取AD的檢測特徵。最後為CLIPPO，將語言紀錄轉換回tts音頻，並將其（文字轉換之音頻）用於與原始音頻做對比式學習。(圖1)

圖1，研究所使用之4種技術。第一為直接使用AD-GNN提取資料庫中語言記錄，並提取AD之語言特徵。第二為在使用AD-GNN前，將資料透過GPT-Based語言增強器擴充資料。第三為將上述資料融合語音資料，提取語言特徵。第四為使用CLIPPO，語音及文字不經過任何語言模型，直接轉換爲圖像以提取圖像特徵。其好處為不受語句斷句影響，文字因未經過語言模型，重要訊息不會丟失。

依據實驗結果，最後使用CLIPPO模型的準確率最高，為84.84%，而使用資料增强技術的準確率為其次。(圖2) 研究團隊推測這是因爲CLIPPO除了單純使用病患之語音外，也使用了病患的語言記錄因而增加了資料量，並且此方式也不需語言模型的介入。雖然使用GPT-based增強器的技術出來的準確率沒明顯較高，但這是值得關注的研究方向。如果將來GPT-based增強器能夠模擬出更貼合AD的語言特徵，這項技術的準確率將會比現有的所有技術還高，並且所需數據量也較其他技術來得低。

圖2，各個技術的準確率（Accuracy）。其中準確率最高的為下表整合文字及音頻的CLIPPO技術，其次為上表的一些純文字進行GPT資料增强的技術。

撰文：陳怡亨

原始論文：Cai, H., Huang, X., Liu, Z., Liao, W., Dai, H., Wu, Z., Zhu, D., Ren, H., Li, Q., Liu, T., & Li, X. (2023). Exploring Multimodal Approaches for Alzheimer's Disease Detection Using Patient Speech Transcript and Audio Data. ArXiv. /abs/2307.02514

https://arxiv.org/abs/2307.02514