RNA-FM: 革命性的RNA基础模型及其在结构与功能预测中的应用

RNA-FM简介

RNA基础模型(RNA Foundation Model,简称RNA-FM)是一个针对RNA序列设计的大规模预训练语言模型。它由陈家阳等人于2022年提出,旨在通过自监督学习的方式,从大量无标注的RNA序列数据中学习RNA的通用表示。RNA-FM的出现为RNA结构和功能预测领域带来了革命性的进展。

RNA-FM模型概览

RNA-FM的核心思想是利用掩码语言建模(Masked Language Modeling, MLM)的预训练目标,在2370万条非冗余的非编码RNA序列上进行自监督学习。这种方法使得模型能够捕获RNA序列的内在规律和结构信息,而无需依赖昂贵的实验标注数据。

RNA-FM的技术细节

模型架构

RNA-FM采用了类似BERT的Transformer架构:

12层Transformer编码器
640维的隐藏层
20个注意力头
最大序列长度为1024

这种深层的神经网络结构使得RNA-FM能够学习到RNA序列的复杂特征和长程依赖关系。

预训练数据

RNA-FM使用了来自RNAcentral数据库的2370万条非冗余非编码RNA序列作为预训练数据。研究人员使用CD-HIT-EST工具对原始数据进行了去冗余处理,以确保数据的多样性和代表性。

预训练策略

RNA-FM采用了掩码语言建模(MLM)作为预训练目标。具体来说:

随机遮蔽15%的输入tokens
80%的被遮蔽tokens替换为特殊token <mask>
10%的被遮蔽tokens替换为随机nucleotide
10%的被遮蔽tokens保持不变

模型的任务是预测这些被遮蔽的tokens,从而学习RNA序列的上下文相关表示。

训练细节

硬件: 8块NVIDIA A100 GPU (80GB显存)
学习率: 1e-4
权重衰减: 0.01
学习率调度: 反平方根衰减
学习率预热: 10,000步

RNA-FM的应用

RNA-FM作为一个通用的RNA表示学习模型,可以应用于多种下游任务:

1. RNA二级结构预测

RNA-FM提取的特征可以直接用于预测RNA的二级结构。研究表明,基于RNA-FM的方法在多个RNA二级结构预测基准上都取得了显著的性能提升。

2. RNA功能预测

RNA-FM学习到的表示不仅包含了结构信息,还蕴含了丰富的功能相关特征。这使得它在RNA功能注释、RNA-蛋白质结合位点预测等任务上表现出色。

3. RNA家族分类

RNA-FM的表示可以用于RNA家族的聚类和分类任务。研究人员提供了专门的教程来展示如何利用RNA-FM进行RNA家族聚类和类型分类。

4. mRNA相关任务

最新版本的RNA-FM还发布了mRNA-FM变体,专门针对mRNA的编码序列(CDS)进行了预训练。这使得模型可以更好地处理与mRNA和蛋白质相关的任务。

RNA-FM的使用方法

RNA-FM提供了多种使用方式,以满足不同用户的需求:

1. 嵌入提取

用户可以使用以下命令来提取RNA序列的嵌入表示:

python launch/predict.py --config="pretrained/extract_embedding.yml" \
--data_path="./data/examples/example.fasta" --save_dir="./resuts" \
--save_frequency 1 --save_embeddings

这将生成形状为(L,640)的嵌入向量,其中L为序列长度。

2. RNA二级结构预测

RNA-FM还提供了直接进行RNA二级结构预测的脚本:

python launch/predict.py --config="pretrained/ss_prediction.yml" \
--data_path="./data/examples/example.fasta" --save_dir="./resuts" \
--save_frequency 1

预测结果将以概率图和二进制预测的形式保存。

3. 在线服务器

为了方便用户使用,研究人员还提供了RNA-FM在线服务器。用户可以直接在网页上提交任务,无需本地部署即可获得结果。

RNA-FM在RNA语言模型中的地位

RNA-FM作为首个面向通用目的的RNA语言模型,在RNA研究领域引起了广泛关注。下表对比了一些主要的RNA语言模型:

模型名称	发布时间	主要特点
RNA-FM	2022.04	首个通用目的RNA语言模型,23M样本
RNABERT	2022.02	专注于结构对齐和聚类
UNI-RNA	2023.07	更大规模(10亿样本)的通用模型
RNA-MSM	2023.03	直接利用多序列比对信息
SpliceBERT	2023.05	专注于前体mRNA剪接

可以看出,RNA-FM作为先驱工作,为后续的RNA语言模型研究奠定了基础。

结论与展望

RNA-FM的出现标志着RNA研究进入了一个新的时代。它不仅提高了RNA结构和功能预测的准确性,还为RNA序列的表示学习提供了一个强大的工具。未来,我们可以期待看到:

RNA-FM在更多RNA相关任务中的应用
基于RNA-FM的迁移学习和少样本学习方法
融合进化信息和实验数据的更强大的RNA语言模型
RNA-FM在药物设计、疾病诊断等领域的实际应用

随着研究的深入,RNA-FM无疑将成为推动RNA生物学和生物信息学发展的重要力量。

RNA-FM项目链接

如果您在研究中使用了RNA-FM,请引用以下论文:

@article{chen2022interpretable,
  title={Interpretable rna foundation model from unannotated data for highly accurate rna structure and function predictions},
  author={Chen, Jiayang and Hu, Zhihang and Sun, Siqi and Tan, Qingxiong and Wang, Yixuan and Yu, Qinze and Zong, Licheng and Hong, Liang and Xiao, Jin and King, Irwin and others},
  journal={arXiv preprint arXiv:2204.00300},
  year={2022}
}

RNA-FM的出现为RNA研究开辟了新的道路,相信它将继续推动这一领域的快速发展,为我们理解RNA的结构和功能提供更多洞见。🧬🔬🖥️