LLM-Finetuning

简介

LLM-Finetuning 项目，或称为 PEFT (Pretraining-Evaluation Fine-Tuning) 项目，致力于利用 LoRA 和 Hugging Face 的 transformers 库高效地微调大型语言模型。该项目的主要目标是通过方便的工具和指南，让用户能够有效地训练和调整自己的语言模型。

微调笔记本

为了帮助用户更好地理解和应用微调过程，项目提供了一系列详细的笔记本指南。以下是一些核心笔记本及其内容概述：

1. 使用 LoRA 和 Hugging Face 高效训练大型语言模型

这个笔记本提供了有关使用 LoRA 和 Hugging Face 高效训练大型语言模型的详细信息和代码。

2. 在 Colab 笔记本中微调您的 Llama 2 模型

该指南为用户如何在 Colab 上微调他们的 Llama 2 模型提供了详细步骤。

3. 使用 LLaMA-7B 模型的 Guanaco 聊天机器人演示

该部分展示了一个由 LLaMA-7B 模型驱动的聊天机器人演示。

4. PEFT 微调 Bloom-560m 标签器

此项目细节涵盖了如何使用 PEFT 微调 Bloom-560m 标签器。

5. 使用 PEFT 从零微调 Meta OPT-6-1b 模型

说明了如何结合 PEFT 和 Bloom-560m 标签器微调 Meta OPT-6-1b 模型。

6. 使用 BNB 自监督训练微调 Falcon-7b

此指南讲解了如何使用 BNB 自监督训练方法来微调 Falcon-7b。

7. 使用 QLoRa 微调 LLaMa2 7B 模型

该笔记本指导用户通过 PEFT 库和 QLoRa 方法微调 Llama 2 7B 预训练模型。

8. 在 Colab 中微调 Stable Vicuna13B_8bit

该指南介绍了如何在 Colab 中对 Vicuna 13B_8bit 模型进行微调。

9. 使用 bfloat16 精度训练 GPT-Neo-X-20B

提供了如何使用 bfloat16 精度训练 GPT-NeoX-20B 模型的指南。

10. MPT-Instruct-30B 模型训练

MPT-Instruct-30B 是来自 MosaicML 的一种大型语言模型，可用于遵循指令、回答问题以及生成文本。

11. 使用 RLHF 训练任何 LLM 模型

该部分展示了如何在任意 LLM 模型上使用自定义数据集进行 RLHF 训练。

12. 在定制数据集上微调 Microsoft Phi 1.5b

说明了如何使用定制数据集对 Microsoft Phi 1.5b 进行微调。

13. 微调 OpenAI GPT3.5 Turbo

该指南涵盖了如何使用个人数据对 GPT 3.5 进行微调。

14. 使用 AutoTrain-Advanced 微调 Mistral-7b 模型

指导用户如何使用 AutoTrain-Advanced 微调 Mistral-7b。

15. 使用 LangChain 进行 RAG 教程

解释了如何使用 LangChain 进行 RAG (Retrieve-then-Answer Generation) 操作。

16. 使用 LangChain 构建知识图谱

展示了如何使用 pdf 问答功能构建知识图谱。

17. 从文本构建知识图谱

该指南描述了如何将文本或 PDF 文档转化为知识图谱，并结合问答功能。

18. 使用 Langchain 和 OpenAI 将文档转换为知识图谱

此指南帮助用户了解如何轻松地将任何文档转换为知识图谱以供 RAG 应用使用。

19. 使用 LLMs 训练 1-bit 模型

介绍了如何使用 hqq 框架通过 1-bit 和 2-bit 量化方法训练模型。

20. 松弛两倍速度微调 Alpaca_和_Gemma2_9b

此部分帮助用户了解如何训练典型模型 Gemma2 9b。

21. 使用 MLFLOW 评价 RAG 管道

该笔记本提供了使用 MLFLOW 来评价 21 RAG 管道的指南，遵循最佳行业实践。

22. 使用 mlflow.evaluate() 评估 Hugging Face LLM

这部分为用户提供了使用 mlflow.evaluate() 评估 Hugging Face 语言学习模型的详细指南。

贡献

本项目欢迎任何形式的贡献。如果希望为项目做出贡献，可以提交 ISSUE 或发起 PULL REQUEST。

许可证

该项目遵循 MIT 许可证。

本项目由 Ashish 用 ❤️ 创建。