ByProt

ByProt是一款专注于蛋白质研究的通用工具包。它目前主要集中于基于结构的序列设计(又称固定主链)领域,提供以下关键功能:

高效的非自回归ProteinMPNN变体: ByProt提供了一种高效有效的非自回归ProteinMPNN变体,这是一个功能强大的固定主链蛋白质序列设计工具。
LM-Design的官方实现: ByProt是LM-Design的官方实现,这是一种最先进的蛋白质序列设计模型,发表在ICML 2023上(口头报告)。更多详情请参考论文。

LM-Design

我们正在不断扩展ByProt的功能,以涵盖更广泛的任务和特性。请关注我们的更新,我们将提供更全面的蛋白质研究工具包。

安装

# 克隆项目
git clone --recursive https://url/to/this/repo/ByProt.git
cd ByProt

# 创建conda虚拟环境
env_name=ByProt

conda create -n ${env_name} python=3.7 pip
conda activate ${env_name}

# 自动安装其他所有依赖
bash install.sh

基于结构的蛋白质序列设计(反折叠)

预训练模型权重 (Zenodo)

模型	训练数据	检查点
`protein_mpnn_cmlm`	cath_4.2	链接
`lm_design_esm1b_650m`	cath_4.2	链接
`lm_design_esm2_650m`	cath_4.2	链接
`lm_design_esm2_650m`	multichain	链接

数据

下载预处理的CATH数据集

CATH 4.2数据集由Generative Models for Graph-Based Protein Design (Ingraham et al, NeurIPS'19)提供
CATH 4.3数据集由Learning inverse folding from millions of predicted structures (Hsu et al, ICML'22)提供

bash scripts/download_cath.sh

检查configs/datamodule/cath_4.*.yaml并将data_dir设置为下载的CATH数据的路径。

下载PDB复合体数据(多链)

这个数据集整理了来自蛋白质数据库(PDB)的蛋白质(多链)复合体。它由Robust deep learning-based protein sequence design using ProteinMPNN提供。更多详情请参见他们的GitHub页面。

bash scripts/download_multichain.sh

检查configs/datamodule/multichain.yaml并将data_dir设置为下载的多链数据的路径。

准备好了一切,我们可以开始训练模型了。

训练

示例1: 非自回归(NAR) ProteinMPNN基线

使用条件掩码语言建模(CMLM)训练NAR ProteinMPNN

export CUDA_VISIBLE_DEVICES=0
# 或使用多GPU训练:
# export CUDA_VISIBLE_DEVICES=0,1

exp=fixedbb/protein_mpnn_cmlm  
dataset=cath_4.2
name=fixedbb/${dataset}/protein_mpnn_cmlm

python ./train.py \
    experiment=${exp} datamodule=${dataset} name=${name} \
    logger=tensorboard trainer=ddp_fp16

一些训练参数:

参数	用途
`experiment`	实验配置,请参见`ByProt/configs/experiment/`文件夹
`datamodule`	数据集配置,请参见`ByProt/configs/datamodule`文件夹
`name`	实验名称,决定了实验结果保存的目录路径,例如:`/root/research/projects/ByProt/run/logs/${name}`
`logger`	机器学习实验记录器的配置,例如tensorboard
`train.force_restart`	设置为`true`以强制在`${name}`下重新训练实验,否则将从最后一个检查点恢复训练

示例2: LM-Design

在ESM-1b 650M模型基础上训练LM-Design。

在一台A100 GPU上训练大约需要6个小时。

exp=fixedbb/lm_design_esm1b_650m
dataset=cath_4.2
name=fixedbb/${dataset}/lm_design_esm1b_650m

./train.py \
    experiment=${exp} datamodule=${dataset} name=${name} \
    logger=tensorboard trainer=ddp_fp16

使用exp=fixedbb/lm_design_esm2*在ESM-2系列上构建LM-Design。请检查ByProt/configs/experiment/fixedbb。

在验证/测试数据集上进行评估/推理

dataset=cath_4.2
# name=fixedbb/${dataset}/protein_mpnn_cmlm
name=fixedbb/${dataset}/lm_design_esm1b_650m
exp_path=/root/research/projects/ByProt/run/logs/${name}

python ./test.py \                                                                 
    experiment_path=${exp_path} \
    data_split=test ckpt_path=best.ckpt mode=predict \
    task.generator.max_iter=5

一些生成参数:

参数	用途
`experiment_path`	保存实验结果的文件夹(.hydra, checkpoints, tensorboard等)
`data_split`	`valid`或`test`数据集
`mode`	`predict`用于生成序列和计算氨基酸序列恢复率; `test`用于评估nll、ppl

`task.generator`	序列生成器/采样器的参数
- `max_iter=<int>`	最大解码迭代次数(默认: `5`用于LM-Design, `1`用于ProtMPNN-CMLM)
- `strategy=[denoise, mask_predict]`	解码策略(默认: `denoise`用于LM-Design, `mask_predict`用于ProtMPNN-CMLM)
- `temperature=<float>`	采样温度,设置为0以禁用随机采样并使用确定性采样(默认: `0`)
- `eval_sc=<bool>`	使用ESMFold额外评估scTM分数(默认: `false`)

在笔记本电脑上使用训练好的模型设计来自PDB文件的序列

示例1: ProteinMPNN-CMLM

from byprot.utils.config import compose_config as Cfg
from byprot.tasks.fixedbb.designer import Designer

# 1. 实例化设计器
exp_path = "/root/research/projects/ByProt/run/logs/fixedbb/cath_4.2/protein_mpnn_cmlm"
cfg = Cfg(
    cuda=True,
    generator=Cfg(
        max_iter=1,
        strategy='mask_predict',
        temperature=0,
        eval_sc=False,  
    )
)
designer = Designer(experiment_path=exp_path, cfg=cfg)

# 2. 从PDB文件加载结构
pdb_path = "/root/research/projects/ByProt/data/3uat_variants/3uat_GK.pdb"
designer.set_structure(pdb_path)

# 3. 从给定结构生成序列
designer.generate()

# 4. 计算评估指标
designer.calculate_metrics()
## 预测: SSYNPPILLLGPFAEELEEELVEENPERAGRPVPFTTEPPSPDETEGETYLYISSLEEAEELIESNRFLEAGEENNELVGISLEAIRSVARAGKLAILDTGGEAVEKLEEANIEPIVIFLVPKSVEDVRRVFPDLTEEEAEELTSEDEELLEEFKELLDAVVSGSTLEEVLEEIREVIEEASS
## 恢复率: 0.37158469945355194

示例2: LM-Design

from byprot.utils.config import compose_config as Cfg
from byprot.tasks.fixedbb.designer import Designer

# 1. 实例化设计器
exp_path = "/root/research/projects/ByProt/run/logs/fixedbb/cath_4.2/lm_design_esm2_650m"
cfg = Cfg(
    cuda=True,
    generator=Cfg(
        max_iter=5,
        strategy='denoise', 
        temperature=0,
        eval_sc=False,  
    )
)
designer = Designer(experiment_path=exp_path, cfg=cfg)

# 2. 从PDB文件加载结构
pdb_path = "/root/research/projects/ByProt/data/3uat_variants/3uat_GK.pdb"
designer.set_structure(pdb_path)

# 3. 从给定结构生成序列
designer.generate()
# 你可以通过传递generator_args来覆盖生成器参数,例如:
designer.generate(
    generator_args={
        'max_iter': 5, 
        'temperature': 0.1,
    }
)

# 4. 计算评估指标
designer.calculate_metrics()
## 预测: LNYTRPVIILGPFKDRMNDDLLSEMPDKFGSCVPHTTRPKREYEIDGRDYHFVSSREEMEKDIQNHEFIEAGEYNDNLYGTSIESVREVAMEGKHCILDVSGNAIQRLIKADLYPIAIFIRPRSVENVREMNKRLTEEQAKEIFERAQELEEEFMKYFTAIVEGDTFEEIYNQVKSIIEEESG
## 恢复: 0.7595628415300546

** 示例3: 补全 **
对于某些用例，您可能只想对感兴趣的某些片段进行补全,而蛋白质的其余部分保持不变(例如, 设计抗体 CDRs)。 以下是使用 `inpaint` 接口的一个简单示例:

```python
pdb_path = "/root/research/projects/ByProt/data/pdb_samples/5izu_proc.pdb"
designer.set_structure(pdb_path)

start_ids = [1, 50] 
end_ids = [10, 100]

for i in range(5):
    out, ori_seg, designed_seg = designer.inpaint(
        start_ids=start_ids, end_ids=end_ids, 
        generator_args={'temperature': 1.0}
    )
    print(designed_seg)
print('Original Segments:')
print(ori_seg)

输出如下:

loading backbone structure from /root/research/projects/ByProt/data/pdb_samples/5izu_proc.pdb.
[['MVKSLFRHRT'], ['DEPIEEFTPTPAFPALQRLSSVDVEGVAWRAGLRTGDFLLEVNGVNVVKVG']]
[['MTKALFRHQT'], ['ETPIEEFTPTPAFPALQHLSSVDVEGAAYRAGLRTGDFLIEVNGVNVVKVG']]
[['STESLFRHAT'], ['ETPIEEFTPTPAFPALQHLSSVDVEGVAWRAGLRTGDFLIEVNGINVVKVG']]
[['ATARMFRHLT'], ['ETPIEEFTPTPAFPALQYLSSVDVEGVAWRAGLKTGDFLIEVNGVNVVKVG']]
[['ARKAKFRRYT'], ['ETPIEEFTPTPAFPALQVLSSVDVEGVAWRAGMRTGDFLLEVNGVNVVKVG']]
[['ADARLFREYT'], ['ETPIEEFTPTPAFPALQHLSAVDVEGVAWRAGLLTGDFLIEVNGVNVVKVG']]
[['ALRALFKHST'], ['DTPIEEFTPTPAFPALQYMSSVEVEGVAWRAGLRTGDFLIEVNGVNVVKVG']]
[['MLKMLFRHYT'], ['ETPIEEFTPTPAFPALQYLSSVDIDGMAWRAGLRTGDFLIEVNGDNVVKVG']]
[['ADKALFRHHT'], ['STPIEEFTPTPAFPALQYLESVDVDGVAYRAGLCTGDFLIEVNGVNVVKVG']]
[['AAAAAFRHST'], ['KTPIEEFTPTPAFPALQYLSRVEVDGMAWRAGLRTGDFLLEVNGVNVVRVG']]
Original Segments:
[['RTKRLFRHYT'], ['ETPIEEFTPTPAFPALQYLESVDVEGVAWRAGLRTGDFLIEVNGVNVVKVG']]

致谢

ByProt 对以下项目和个人表示感谢:

PyTorch Lightning 和 lightning-hydra-template 为我们的开发过程提供了坚实的基础。

ByProt 从以下存储库获得灵感并使用/修改实现:

jingraham/neurips19-graph-protein-design 用于预处理的 CATH 数据集和数据管道实现。
facebook/esm 用于他们的 ESM 实现、预训练模型权重和数据管道组件如 Alphabet。
dauparas/ProteinMPNN 用于 ProteinMPNN 实现和多链数据集。
A4Bio/PiFold 用于他们的 PiFold 实现。
jasonkyuyim/se3_diffusion 用于他们的自我一致性结构评估实现。

我们衷心感谢这些存储库的作者为 ByProt 的开发做出的宝贵贡献。

引用

@inproceedings{zheng2023lm_design,
    title={Structure-informed Language Models Are Protein Designers},
    author={Zheng, Zaixiang and Deng, Yifan and Xue, Dongyu and Zhou, Yi and YE, Fei and Gu, Quanquan},
    booktitle={International Conference on Machine Learning},
    year={2023}
}