foldcomp

foldcomp

高效压缩和索引大规模蛋白质结构数据集的开源工具

Foldcomp是一个开源的蛋白质结构压缩和索引工具。通过编码主链和侧链的扭转角,它将每个氨基酸残基压缩至13字节,大幅降低存储需求。Foldcomp支持单链PDB文件压缩,提供命令行和Python API接口,可进行压缩、解压缩、序列提取等操作。此外,Foldcomp还提供了多个预构建的大规模蛋白质结构数据库,如AlphaFoldDB和ESMAtlas,便于研究人员使用。

Foldcomp蛋白质结构压缩生物信息学数据存储氨基酸编码Github开源项目

Foldcomp

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/7900e864-4b7b-46c2-bb22-6379ded98378.png" max-height="300px" height="300" display="block" margin-left="auto" margin-right="auto" display="block"/> </p>

Foldcomp 通过扭转角有效地压缩蛋白质结构。它将主链原子压缩到 8 字节,侧链额外压缩到 4-5 字节每个残基,因此一个平均大小为 350 个残基的蛋白质只需要约 6kb。

Foldcomp 高效的压缩格式每个残基仅需 13 字节来存储蛋白质结构,与直接保存 3D 坐标相比,所需存储空间减少了一个数量级。我们通过将主链和侧链的扭转角编码到一个紧凑的二进制文件格式(FCZ)中来实现这种减少。

Foldcomp 目前仅支持压缩单链 PDB 文件

<br clear="right"/>
<p align="center"> <picture> <source media="(prefers-color-scheme: dark)" srcset="https://raw.githubusercontent.com/steineggerlab/foldcomp/master/.github/img/format_benchmark_dark.png"> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/9a32e12d-4911-4c0c-93a9-fa4082dc0869.png" alt="左图:Foldcomp 数据格式,每个氨基酸残基占 13 字节。右上图:Foldcomp 解压速度与 gzip 相当。右下图:Foldcomp 压缩比高于 pulchra 和 gzip。" max-width="720px" max-height="400px" width="auto" height="auto"> </picture> </p>

发表文献

Hyunbin Kim, Milot Mirdita, Martin Steinegger, Foldcomp: a library and format for compressing and indexing large protein structure sets, Bioinformatics, 2023;, btad153,

演示视频

我们在 ISMB/ECCB2023 上展示了 Foldcomp。观看视频:

<a href="https://www.youtube.com/watch?v=aFtqH0VqE7w" target="_blank"> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/0c8b7188-a6de-4293-9373-0280451c2b8a.png" alt="Foldcomp 在 ISMB/ECCB2023 上的演示" max-width="720px" max-height="400px" width="auto" height="auto"> </a>

使用方法

安装 Foldcomp

# 安装 Foldcomp Python 包
pip install foldcomp

# 下载 Linux 静态二进制文件
wget https://mmseqs.com/foldcomp/foldcomp-linux-x86_64.tar.gz

# 下载 Linux (ARM64) 静态二进制文件
wget https://mmseqs.com/foldcomp/foldcomp-linux-arm64.tar.gz

# 下载 macOS 二进制文件
wget https://mmseqs.com/foldcomp/foldcomp-macos-universal.tar.gz

# 下载 Windows (x64) 二进制文件
wget https://mmseqs.com/foldcomp/foldcomp-windows-x64.zip

可执行文件

# 压缩
foldcomp compress <pdb|cif> [<fcz>]
foldcomp compress [-t number] <dir|tar(.gz)> [<dir|tar|db>]

# 解压
foldcomp decompress <fcz|tar> [<pdb>]
foldcomp decompress [-t number] <dir|tar(.gz)|db> [<dir|tar>]

# 解压 Foldcomp 数据库的子集
foldcomp decompress [-t number] --id-list <idlist.txt> <db> [<dir|tar>]

# 提取序列或 pLDDT
foldcomp extract [--plddt|--amino-acid] <fcz> [<fasta>]
foldcomp extract [--plddt|--amino-acid] [-t number] <dir|tar(.gz)|db> [<fasta_out>]

# 检查
foldcomp check <fcz>
foldcomp check [-t number] <dir|tar(.gz)|db>

# RMSD
foldcomp rmsd <pdb|cif> <pdb|cif>

# 选项
 -h, --help               打印帮助信息
 -v, --version            打印版本信息
 -t, --threads            文件夹/tar 文件(解)压缩的线程数 [默认=1]
 -r, --recursive          递归查找目录中的文件 [默认=0]
 -f, --file               输入是文件列表 [默认=0]
 -a, --alt                使用替代原子顺序 [默认=false]
 -b, --break              保存绝对原子坐标的间隔大小 [默认=25]
 -z, --tar                保存为 tar 文件 [默认=false]
 -d, --db                 保存为数据库 [默认=false]
 -y, --overwrite          覆盖现有文件 [默认=false]
 -l, --id-list            要处理的 ID 列表文件(仅适用于数据库输入)
 --skip-discontinuous     跳过含有不连续残基的 PDB(仅适用于批量压缩)
 --check                  检查 FCZ 并跳过有错误的条目(仅适用于批量解压)
 --plddt                  提取 pLDDT 分数(仅适用于提取模式)
 -p, --plddt-digits       提取指定位数的 pLDDT 分数(仅适用于提取模式)
                          - 1: 单位数(类 fasta 格式),2: 2 位数(00-99; tsv),3: 3 位数,4: 4 位数(最大)
 --fasta, --amino-acid    提取氨基酸序列(仅适用于提取模式)
 --no-merge               不合并输出文件(仅适用于提取模式)
 --use-title              使用 TITLE 作为输出文件名(仅适用于提取模式)
 --time                   测量压缩/解压时间

下载数据库

我们为多个大型预测蛋白质结构集提供预构建的数据库,并提供一个 Python 辅助程序来下载数据库文件。

你可以使用以下命令下载 AlphaFoldDB Swiss-Prot:

python -c "import foldcomp; foldcomp.setup('afdb_swissprot_v4');

目前我们提供以下数据库:

  • ESMAtlas 完整版(v0 + v2023_02):foldcomp.setup('esmatlas')

  • ESMAtlas v2023_02:foldcomp.setup('esmatlas_v2023_02')

  • ESMAtlas 高质量版:foldcomp.setup('highquality_clust30')

    注意: 我们跳过了所有具有不连续残基或其他问题的结构。 这里是受影响的预测列表: 完整版(约 2100 万), 高质量版(约 10 万), v2023_02(约 1 万)

  • AlphaFoldDB Uniprot: foldcomp.setup('afdb_uniprot_v4')

  • AlphaFoldDB Swiss-Prot: foldcomp.setup('afdb_swissprot_v4')

  • AlphaFoldDB 模式生物: foldcomp.setup('h_sapiens')

    • a_thaliana, c_albicans, c_elegans, d_discoideum, d_melanogaster, d_rerio, e_coli, g_max, h_sapiens, m_jannaschii, m_musculus, o_sativa, r_norvegicus, s_cerevisiae, s_pombe, z_mays
  • AlphaFoldDB 聚类代表: foldcomp.setup('afdb_rep_v4')

  • AlphaFoldDB 聚类代表(暗聚类): foldcomp.setup('afdb_rep_dark_v4')

如果您需要其他预构建数据集,请通过我们的GitHub问题与我们联系。

如果您在下载数据库时遇到问题,可以直接访问我们的下载服务器并下载所需文件。例如 afdb_uniprot_v4, afdb_uniprot_v4.index, afdb_uniprot_v4.dbtype, afdb_uniprot_v4.lookup, 以及可选的 afdb_uniprot_v4.source

Python API

您可以在示例笔记本中找到更多使用Foldcomp Python接口的深入示例: <a href="https://colab.research.google.com/github/steineggerlab/foldcomp/blob/master/foldcomp-py-examples.ipynb" target="_blank" rel="noopener"><img src="https://yellow-cdn.veclightyear.com/ab5030c0/7d6e1d6f-ed9d-43d7-b9b0-b1c0959d3457.svg" alt="在Colab中打开"/></a>

import foldcomp # 01. 处理FCZ文件 # 打开fcz文件 with open("test/compressed.fcz", "rb") as fcz: fcz_binary = fcz.read() # 解压缩 (name, pdb) = foldcomp.decompress(fcz_binary) # pdb_out[0]: 文件名, pdb_out[1]: pdb二进制字符串 # 保存为pdb文件 with open(name, "w") as pdb_file: pdb_file.write(pdb) # 以字典形式获取数据 data_dict = foldcomp.get_data(fcz_binary) # foldcomp.get_data(pdb) 也可以 # 键: phi, psi, omega, torsion_angles, residues, bond_angles, coordinates data_dict["phi"] # phi角 (C-N-CA-C) data_dict["psi"] # psi角 (N-CA-C-N) data_dict["omega"] # omega角 (CA-C-N-CA) data_dict["torsion_angles"] # 主链扭转角列表 (phi + psi + omega) data_dict["bond_angles"] # 主链键角列表 data_dict["residues"] # 氨基酸残基字符串 data_dict["coordinates"] # 主链坐标列表 # 02. 遍历FCZ文件数据库 # 打开foldcomp数据库 ids = ["d1asha_", "d1it2a_"] with foldcomp.open("test/example_db", ids=ids) as db: # 遍历数据库 for (name, pdb) in db: # 将条目保存为单独的pdb文件 with open(name + ".pdb", "w") as pdb_file: pdb_file.write(pdb)

数据库子集

如果您处理的是数百万个条目,我们建议使用mmseqs2createsubdb命令来创建数据库子集。 以下命令可用于使用给定ID创建AlphaFold Uniprot DB的子集。

# mmseqs createsubdb --subdb-mode 0 --id-mode 1 id_list.txt input_foldcomp_db output_foldcomp_db mmseqs createsubdb --subdb-mode 0 --id-mode 1 id_list.txt afdb_uniprot_v4 afdb_subset

请注意,afdb_uniprot_v4中的ID格式为AF-A0A5S3Y9Q7-F1-model_v4

社区贡献

贡献者

<a href="https://github.com/steineggerlab/foldcomp/graphs/contributors"> <img src="https://contributors-img.firebaseapp.com/image?repo=steineggerlab/foldcomp" /> </a>

编辑推荐精选

问小白

问小白

全能AI智能助手,随时解答生活与工作的多样问题

问小白,由元石科技研发的AI智能助手,快速准确地解答各种生活和工作问题,包括但不限于搜索、规划和社交互动,帮助用户在日常生活中提高效率,轻松管理个人事务。

热门AI助手AI对话AI工具聊天机器人
Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等,都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。

讯飞智文

讯飞智文

一键生成PPT和Word,让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级,全面对标OpenAI o1

科大讯飞的星火大模型,支持语言理解、知识问答和文本创作等多功能,适用于多种文件和业务场景,提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台,涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能,能为不同需求的用户提供便捷高效的帮助,助力用户轻松获取信息、解决问题,满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目,由多个知名机构联合参与。该项目提供了高效的 LLM(大语言模型)驱动的语音合成方案,支持语音克隆和语音创建功能,可通过命令行界面(CLI)和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数,生成高质量的语音。该项目适用于多种场景,如有声读物制作、智能语音助手开发等。

Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
咔片PPT

咔片PPT

AI助力,做PPT更简单!

咔片是一款轻量化在线演示设计工具,借助 AI 技术,实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT,提供海量模板、智能美化、素材替换等功能,适用于销售、教师、学生等各类人群,能高效制作出高品质 PPT,满足不同场景演示需求。

讯飞绘文

讯飞绘文

选题、配图、成文,一站式创作,让内容运营更高效

讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
材料星

材料星

专业的AI公文写作平台,公文写作神器

AI 材料星,专业的 AI 公文写作辅助平台,为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能,支持 30 + 文稿类型生成,助力快速完成领导讲话、工作总结、述职报告等材料,提升办公效率,是体制打工人的得力写作神器。

openai-agents-python

openai-agents-python

OpenAI Agents SDK,助力开发者便捷使用 OpenAI 相关功能。

openai-agents-python 是 OpenAI 推出的一款强大 Python SDK,它为开发者提供了与 OpenAI 模型交互的高效工具,支持工具调用、结果处理、追踪等功能,涵盖多种应用场景,如研究助手、财务研究等,能显著提升开发效率,让开发者更轻松地利用 OpenAI 的技术优势。

下拉加载更多