bert4torch: 优雅的PyTorch版transformers实现

bert4torch

bert4torch: 优雅的PyTorch版transformers实现

bert4torch是一个基于PyTorch的transformers库,旨在提供简洁优雅的API接口,支持加载各种预训练模型进行微调,并提供丰富的示例和实用功能。该项目由Tongjilibo开发维护,目前在GitHub上已获得1.2k stars。

主要特性

支持加载多种预训练模型

bert4torch支持加载BERT、RoBERTa、ALBERT、ELECTRA、GPT、T5等多种主流预训练模型,包括中文预训练模型如BERT-wwm、MacBERT、NEZHA等。用户可以方便地加载这些模型进行下游任务的微调。

简洁优雅的API设计

bert4torch提供了类似Keras风格的简洁API,使用起来非常方便。例如加载预训练模型只需一行代码:

model = build_transformer_model(config_path, checkpoint_path)

丰富的示例

项目提供了丰富的示例代码,涵盖了文本分类、序列标注、关系抽取、文本生成等多种NLP任务。用户可以参考这些示例快速上手使用bert4torch。

实用的训练功能

bert4torch集成了对抗训练、梯度累积等常用的训练技巧,可以即插即用。同时还提供了训练进度条、TensorBoard可视化等便捷功能。

支持大语言模型

最新版本已支持加载ChatGLM、LLaMA、Baichuan等开源大语言模型,可用于推理和微调。

一键部署服务

提供命令行工具可一键部署大语言模型服务,支持命令行交互、网页demo和OpenAI API格式。

快速上手

安装

pip install bert4torch

加载预训练模型

from bert4torch.models import build_transformer_model

model = build_transformer_model(
    config_path='bert_config.json',
    checkpoint_path='bert_model.ckpt',
    model='bert', 
)

微调

model.fit(
    train_generator,
    steps_per_epoch=1000,
    epochs=10,
    callbacks=[evaluator]  
)

总结

bert4torch为用户提供了一个简单易用的PyTorch版transformers实现,支持加载各种预训练模型进行下游任务的微调。其简洁的API设计、丰富的示例和实用功能,可以帮助用户快速上手使用预训练模型,提高NLP任务的开发效率。未来bert4torch还将继续完善功能,支持更多的模型和应用场景。