Transformer 作爲模型預測分子表型
近來許多領域都使用Transformer模型取代傳統神經網絡，如CNN，RNN，並取得優異的效果。本研究介紹了一種名為核苷酸變換器（Nucleotide Transformer）的新型基礎模型，專為處理人類基因組學問題而設計。研究中開發了包含500萬到25億參數不等的多種模型，這些模型從人類及多物種基因組中提取數據進行預訓練，生成上下文相關的核苷酸序列表徵。核苷酸變換器在數據有限的情況下也能精確預測分子表型，並可通過低成本微調應用於多種基因組學任務。研究顯示，該模型能夠自動關注關鍵基因組元素，提升基因變異優先級排序的準確性。
研究中比較了核苷酸變換器與傳統BPNet架構及其他DNA基礎模型，結果表明，經過微調後的核苷酸變換器在18項基因組學任務中大多優於傳統模型，特別是在提升表現時，模型大小與數據多樣性均發揮了重要作用。此外，研究還開發了參數更少的優化版本模型（NT-v2），其性能與原始模型相當，卻顯著降低了運算成本。
本研究結果展示了核苷酸變換器在基因組學領域的潛力，不僅能提高分子表型預測的準確性，還能作為研究基因變異和疾病機制的新工具。
原始論文：Dalla-Torre, H., Gonzalez, L., Mendoza-Revilla, J. et al. Nucleotide Transformer: building and evaluating robust foundation models for human genomics. Nat Methods (2024).
留言
張貼留言