How-to-use-Transformers

项目介绍：How-to-use-Transformers

Transformers 项目是由 Hugging Face 公司开发的一个开源 Python 库，支持加载几乎所有当前主流的预训练语言模型。随着 BERT、GPT 等模型的普及，Transformers 库已成为构建自然语言处理（NLP）应用的重要工具。本项目是《Transformers 库快速入门》教程的代码仓库，旨在帮助开发者快速上手和利用该库。

库快速入门教程

教程主要分为以下四个部分：

第一部分：背景知识

1. 自然语言处理 - 了解 NLP 的基本概念和应用。
2. Transformer 模型 - 深入探讨Transformer架构的工作原理。
3. 注意力机制 - 理解核心的注意力机制是如何提升模型性能的。

第二部分：初识 Transformers

4. 开箱即用的 pipelines - 学习如何快速应用预训练模型的功能。
5. 模型与分词器 - 了解如何加载和使用模型以及分词器。
6. 必要的 Pytorch 知识 - 掌握必要的深度学习框架知识。
7. 微调预训练模型 - 学习如何微调模型以提升任务性能。

第三部分：Transformers 实战

8. 快速分词器 - 使用高效的分词方法。
9. 序列标注任务 - 执行命名实体识别等任务。
10. 翻译任务 - 应用 seq2seq 模型进行语言翻译。
11. 文本摘要任务 - 生成简洁的文本摘要。
12. 抽取式问答 - 实现抽取信息的问答系统。
13. Prompting 情感分析 - 进行情感分析任务。

第四部分：大语言模型时代

14. 大语言模型技术简介 - 初识大语言模型的基本技术。
15. 预训练大语言模型 - 理解预训练技术在大语言模型中的应用。
16. 使用大语言模型 - 学习如何在特定任务中应用大语言模型。
17. 指令微调 FlanT5 模型。
18. 指令微调 Llama2 模型。

示例代码

项目中包含丰富的示例代码，涵盖了各类任务的实现：

• pairwise_cls_similarity_afqmc：处理句子对分类任务用于金融同义句判断。
• sequence_labeling_ner_cpd：执行命名实体识别任务。
• seq2seq_translation：实现中英翻译任务。
• seq2seq_summarization：生成文本摘要。
• sequence_labeling_extractiveQA_cmrc：构建抽取式问答系统。
• text_cls_prompt_senti_chnsenticorp：进行情感分析任务。

重要更新

项目会不断进行更新和完善，以加入最新的技术和功能。以下是最近的重要更新：

• 2024-07-06：优化了自然语言处理章节的内容，增加图文并增加大语言模型的介绍。
• 2024-07-27：完成了大语言模型技术简介的初稿，涵盖第14至第16章内容。

通过本项目，开发者能够更好地理解和应用 Transformers 库，加速 NLP 应用的开发和落地。