Curated Transformers: 可组合的最先进Transformer模型库

Curated Transformers: 构建最先进的Transformer模型

Curated Transformers logo

Curated Transformers是一个为PyTorch提供最先进Transformer模型的开源库。它由Explosion公司开发,旨在提供一套可组合、可重用的Transformer模型组件,使研究人员和开发者能够轻松构建和定制各种Transformer架构。

主要特性

Curated Transformers具有以下几个突出特点:

支持多种先进模型: 该库支持包括BERT、RoBERTa、ALBERT、XLM-RoBERTa等编码器模型,以及Falcon、GPT-NeoX、Llama等解码器模型。它还提供了Dolly v2等生成器包装器。
模块化设计: 每个模型都由一系列可重用的构建块组成。这种设计带来了多方面的好处:
- 实现新功能或修复bug时可以惠及所有模型
- 添加新模型到库中变得简单高效
- 可以轻松尝试新的Transformer架构,如带旋转位置编码的BERT编码器
类型注解: 所有公共API都有一致的类型注解,可以获得IDE的良好编码支持,并与现有的类型检查代码很好地集成。
教育价值: 由于构建块易于学习和理解,该库非常适合教育目的。
依赖最小化: 该库尽量减少了外部依赖,使其更加轻量和易于集成。

支持的模型架构

Curated Transformers支持多种流行的Transformer模型架构:

编码器模型:

ALBERT
BERT
CamemBERT
RoBERTa
XLM-RoBERTa

解码器模型:

Falcon
GPT-NeoX
Llama 1/2
MPT

生成器包装器:

Dolly v2
Falcon
Llama 1/2
MPT

所有类型的模型都可以从Hugging Face Hub加载。

安装

可以通过pip轻松安装Curated Transformers:

pip install curated-transformers

对于需要CUDA支持的用户,可以按照以下方式安装带CUDA 11.8支持的PyTorch:

pip install torch --index-url https://download.pytorch.org/whl/cu118

使用示例

以下是一个简单的使用示例,展示了如何使用Curated Transformers加载预训练模型并进行文本生成:

import torch
from curated_transformers.generation import AutoGenerator, GreedyGeneratorConfig

generator = AutoGenerator.from_hf_hub(name="tiiuae/falcon-7b-instruct", device=torch.device("cuda"))
prompts = ["What is Python in one sentence?", "What is Rust in one sentence?"]
responses = generator(prompts, GreedyGeneratorConfig())

for prompt, response in zip(prompts, responses):
    print(f"Prompt: {prompt}")
    print(f"Response: {response}\n")

这个示例展示了如何加载Falcon-7B-Instruct模型并使用贪婪解码生成回答。

量化支持

Curated Transformers支持通过bitsandbytes库进行动态8位和4位量化。要使用量化功能,可以安装带量化支持的版本:

pip install curated-transformers[quantization]

与spaCy集成

Curated Transformers可以通过spacy-curated-transformers包与spaCy无缝集成。这使得在spaCy管道中使用Curated Transformers模型变得非常简单。

文档

如需更详细的使用说明和API参考,可以查阅Curated Transformers的官方文档:

结语

Curated Transformers为研究人员和开发者提供了一个强大而灵活的工具,用于构建和定制最先进的Transformer模型。通过其模块化设计、广泛的模型支持和易用的API,它为自然语言处理领域的创新和实验提供了坚实的基础。无论您是想要在生产环境中部署高性能模型,还是在研究中探索新的架构,Curated Transformers都是一个值得考虑的选择。

随着深度学习和自然语言处理技术的不断发展,Curated Transformers也将持续更新和改进,为用户提供最新、最强大的Transformer模型工具。欢迎访问GitHub仓库了解更多信息,并为这个开源项目做出贡献。