happy-transformer

项目介绍：Happy Transformer

简介

Happy Transformer 是一个强大的工具库，专为简化自然语言处理（NLP）中的 Transformer 模型的微调和推理而生。借助 Happy Transformer，用户可以轻松地对文本生成、文本分类、词预测等任务进行操作，无需深入了解复杂的底层构造。

核心功能

版本 3.0.0 更新

Happy Transformer 3.0.0 版本引入了一系列功能和改进：

• DeepSpeed 支持：用于加速模型训练的技术。
• Apple 的 MPS 支持：在 Apple 设备上进行训练和推理。
• WandB 功能：用于跟踪训练过程，以便于分析和优化。
• 数据自动分割：提供的训练数据自动分为训练集和验证集。
• 模型推送：能够直接将模型推送至 Hugging Face 的 Model Hub。

支持任务

Happy Transformer 支持以下 NLP 任务，并且在大部分任务中均支持推理和训练：

• 文本生成：生成自然语言文本。
• 文本分类：对文本进行分类，比如判断文本的主题。
• 词预测：基于上下文预测词语。
• 问答：从文本中提取并回答问题。
• 文本到文本：处理各类文本输入输出需求。
• 下一句预测：预测后续发生的句子（只支持推理）。
• 标记分类：进行 token-level 分类（只支持推理）。

快速入门

要开始使用 Happy Transformer，只需简单安装：

pip install happytransformer

然后在 Python 中执行以下代码可以体验基础功能：

from happytransformer import HappyWordPrediction

happy_wp = HappyWordPrediction()  # 默认使用 distilbert-base-uncased 模型
result = happy_wp.predict_mask("I think therefore I [MASK]")
print(result)  # [WordPredictionResult(token='am', score=0.10172799974679947)]
print(result[0].token)  # 输出预测的词 'am'

项目维护者

• Eric Fillion：首席维护者
• Ted Brownlow：维护者

教程资源

Happy Transformer 提供了一系列教程，帮助用户快速上手：

• [GPT-Neo 文本生成与训练教程]
• [文本分类训练教程，例如检测仇恨言论]
• [情感分析教程]
• [借助 DistilBERT 和 RoBERTa 进行词预测与训练教程]
• [顶级 T5 模型参考指南]
• [语法纠正相关教程]

每一个教程都提供了使用 Happy Transformer 进行特定任务的详细步骤，帮助用户快速掌握和应用模型。

借助 Happy Transformer，NLP 任务再也不是一件复杂的事情，每个人都能轻松实现强大的文本处理功能。