透過人腦引導監督實現大型模型的認知泛化

深度神經網路（DNN）近年來在影像與自然語言理解方面展現卓越能力，但即使持續擴大模型參數與訓練資料量，在理解抽象概念、推理以及適應全新情境等複雜認知能力上仍遠不及人類。研究者發現，擴增DNN參數規模雖能改善具體概念（如襪子, 天鵝等50類物件）的單樣本分類表現，卻對抽象概念, 如服飾，鳥類等8個高階類別）幾乎沒有幫助，甚至出現性能下降。透過分析表徵不相似矩陣（RDM），研究者指出DNN缺乏捕捉概念間內在關聯的能力，無法像人腦高階視覺皮層（HVC，包括LOC、FFA、PPA等區域）那樣將概念組織成有意義的語義結構（如區分生物與非生物兩大群集），這正是DNN難以泛化至抽象概念的關鍵瓶頸。

為此，研究團隊提出心智表徵引導監督學習框架（Mental Representation- Guided Supervision），將人腦的概念結構直接轉移至DNN。該框架以圖匹配（graph matching）為核心，包含三個可學習模組：fMRI編碼器、影像編碼器與圖神經網路（GNN）。訓練過程以交替迭代方式進行兩個步驟，尋找DNN與人腦表徵之間的最優對應關係，及更新表徵以最大化結構相似性。以CLIP模型為例，僅使用150個具體物件類別進行腦—模型概念圖對齊，模型便能將所學的對齊結構良好地泛化至50個未見過的概念，訓練與未見概念的Gromov-Wasserstein距離均隨訓練進行而持續下降（R² = 0.86及0.83）。整個框架透過可微分設計，讓梯度從匹配層反向傳播至編碼器，使腦部認知結構以少量fMRI數據即可有效指導大型模型的表徵學習。

經心智表徵引導監督訓練後的模型在多項認知任務上展現顯著提升。在抽象概念理解方面，輪廓係數於中階概念從0.144提升至0.239、高階概念從0.044提升至0.127，且結構對齊程度與概念理解品質呈近線性相關。更引人注目的是，模型自發湧現出與WordNet高度一致的類人概念階層結構，即使訓練時並未明確要求匹配WordNet。在概念相似度三元組任務中，模型與人類判斷的一致率從43.74%提升至49.94%；在對抗攻擊魯棒性方面，抽象概念（3類）的對抗準確率從50.82%提升至68.95%。此外，該框架在少樣本/零樣本學習與分佈外識別等挑戰性任務上均帶來穩健的性能增益，且在SimCLR、CLIP與DINOv2等多種DNN架構上一致有效。這些結果表明，以少量腦信號引導的結構對齊可有效彌補僅靠資料與規模擴展所無法觸及的認知鴻溝，為開發具類人認知能力的人工智慧系統提供了嶄新方向。

圖一、心智表徵引導監督框架的整體架構與匹配流程。(a) 上半部為框架總覽：受試者觀看影像時的fMRI腦信號經fMRI編碼器轉換，同時影像經大型神經網路與影像編碼器提取嵌入表徵，兩組表徵分別建構為概念圖後，透過圖神經網路（GNN）進行圖匹配，目標是將DNN的概念結構對齊至人腦的概念結構，使模型習得類人的概念階層（如區分vehicle與bird等語義群集）。(b) 下半部為匹配程序細節：GNN以交替迭代方式重複兩個步驟——步驟1尋找最優節點對應關係（藍線為正確對應、紅線為錯誤對應），步驟2更新表徵以最大化結構相似性，逐步消除錯誤對應並強化正確匹配。(c) 右下方的訓練曲線顯示，隨訓練進行，訓練概念（橘色）與未見測試概念（綠色）的Gromov-Wasserstein距離均持續下降且遠低於隨機基準線（虛線），證明結構對齊具有良好的泛化能力。

圖二、心智表徵引導監督如何使模型湧現類人的概念階層結構。(a) 以WordNet語義結構作為人類概念階層的參考基準，其概念相似矩陣（CSM）清晰呈現hat、instrumentality、musical_instrument、vehicle、arthropod、bird、ungulate等語義群集。(b) 上排比較原始CLIP-base模型與經過三位受試者（S3、S2、S1）腦信號引導後的模型CSM：原始CLIP僅有模糊的群集結構，而經腦信號引導後的模型CSM逐漸趨近WordNet的語義結構，出現清晰的概念類別分群。(c) 下排進一步展示不同受試者引導的結果均能穩健地復現相似的概念階層。(d) 右側小提琴圖以矩陣層級（matrix-wise）與列層級（row-wise）的Pearson相關係數定量比較各模型與WordNet結構的一致性：經腦信號引導的模型（With brain, S3/S2/S1）在兩項指標上均顯著優於所有未引導的基線模型（DINOv2、SimCLR、CLIP各尺度），所有比較均達P < 0.0001的顯著水準。



撰文：陳怡亨


原始論文：Chen, J., Qi, Y., Wang, Y., & Pan, G. (2026). "Human-like cognitive generalization for large models via mental representation-guided supervision". Nature Communications.

留言

張貼留言