透過人腦引導監督實現大型模型的認知泛化
深度神經網路（DNN）近年來在影像與自然語言理解方面展現卓越能力，但即使持續擴大模型參數與訓練資料量，在理解抽象概念、推理以及適應全新情境等複雜認知能力上仍遠不及人類。研究者發現，擴增DNN參數規模雖能改善具體概念（如襪子, 天鵝等50類物件）的單樣本分類表現，卻對抽象概念, 如服飾，鳥類等8個高階類別）幾乎沒有幫助，甚至出現性能下降。透過分析表徵不相似矩陣（RDM），研究者指出DNN缺乏捕捉概念間內在關聯的能力，無法像人腦高階視覺皮層（HVC，包括LOC、FFA、PPA等區域）那樣將概念組織成有意義的語義結構（如區分生物與非生物兩大群集），這正是DNN難以泛化至抽象概念的關鍵瓶頸。 為此，研究團隊提出心智表徵引導監督學習框架（Mental Representation- Guided Supervision），將人腦的概念結構直接轉移至DNN。該框架以圖匹配（graph matching）為核心，包含三個可學習模組：fMRI編碼器、影像編碼器與圖神經網路（GNN）。訓練過程以交替迭代方式進行兩個步驟，尋找DNN與人腦表徵之間的最優對應關係，及更新表徵以最大化結構相似性。以CLIP模型為例，僅使用150個具體物件類別進行腦—模型概念圖對齊，模型便能將所學的對齊結構良好地泛化至50個未見過的概念，訓練與未見概念的Gromov-Wasserstein距離均隨訓練進行而持續下降（R² = 0.86及0.83）。整個框架透過可微分設計，讓梯度從匹配層反向傳播至編碼器，使腦部認知結構以少量fMRI數據即可有效指導大型模型的表徵學習。 經心智表徵引導監督訓練後的模型在多項認知任務上展現顯著提升。在抽象概念理解方面，輪廓係數於中階概念從0.144提升至0.239、高階概念從0.044提升至0.127，且結構對齊程度與概念理解品質呈近線性相關。更引人注目的是，模型自發湧現出與WordNet高度一致的類人概念階層結構，即使訓練時並未明確要求匹配WordNet。在概念相似度三元組任務中，模型與人類判斷的一致率從43.74%提升至49.94%；在對抗攻擊魯棒性方面，抽象概念（3類）的對抗準確率從50.82%提升至68.95%。此外，該框架在少樣本/零樣本學習與分佈外識別等挑戰性任務上均帶來穩健的性能增益，且在SimCLR、CLIP與DINOv2等多種DNN架構上一致有效。這些結果表明，以...
