xtuner

xtuner 项目介绍

xtuner 是一个高效、灵活且功能全面的大模型微调工具包。它由上海人工智能实验室开发,旨在为研究人员和开发者提供便捷的大模型微调解决方案。

高效性

xtuner 在效率方面有以下几个特点:

支持在几乎所有 GPU 上进行大语言模型(LLM)和视觉语言模型(VLM)的预训练和微调。它能够在单个 8GB 显存的 GPU 上微调 7B 参数的大模型,同时也支持多节点微调超过 70B 参数的模型。
自动调度高性能算子,如 FlashAttention 和 Triton kernels,以提高训练吞吐量。
兼容 DeepSpeed,可以轻松利用各种 ZeRO 优化技术。

灵活性

xtuner 在灵活性方面有以下优势:

支持多种主流大语言模型,如 InternLM、Mixtral-8x7B、Llama 2、ChatGLM、Qwen、Baichuan 等。
支持视觉语言模型 LLaVA。其中 LLaVA-InternLM2-20B 模型的性能表现尤为出色。
设计了灵活的数据处理流水线,可以适应任何格式的数据集,包括但不限于开源和自定义格式。
支持多种训练算法,如 QLoRA、LoRA、全参数微调等,让用户可以根据需求选择最合适的方案。

功能全面

xtuner 提供了全面的功能支持:

支持连续预训练、指令微调和 agent 微调。
支持使用预定义模板与大模型进行对话。
输出的模型可以无缝集成到部署和服务工具包(如 LMDeploy)以及大规模评估工具包(如 OpenCompass、VLMEvalKit)中。

使用方法

xtuner 的使用非常简便:

安装:可以通过 pip 安装或从源代码安装。
微调:提供了多种现成的配置文件,用户可以直接使用或根据需求修改。支持单 GPU 和多 GPU 训练。
对话:提供了与预训练或微调后模型进行对话的工具。
部署:可以将微调后的模型与其他框架(如 LMDeploy)集成部署。
评估:推荐使用 OpenCompass 进行全面系统的大模型评估。

总的来说,xtuner 是一个功能强大、易用性高的大模型微调工具包,为大模型的研究和应用提供了便利。它的高效性、灵活性和全面的功能使其成为大模型微调领域的重要工具之一。

markdown 格式

## xtuner 项目介绍

xtuner 是一个高效、灵活且功能全面的大模型微调工具包。它由上海人工智能实验室开发,旨在为研究人员和开发者提供便捷的大模型微调解决方案。

### 高效性

xtuner 在效率方面有以下几个特点:

- 支持在几乎所有 GPU 上进行大语言模型(LLM)和视觉语言模型(VLM)的预训练和微调。它能够在单个 8GB 显存的 GPU 上微调 7B 参数的大模型,同时也支持多节点微调超过 70B 参数的模型。

- 自动调度高性能算子,如 FlashAttention 和 Triton kernels,以提高训练吞吐量。

- 兼容 DeepSpeed,可以轻松利用各种 ZeRO 优化技术。

### 灵活性

xtuner 在灵活性方面有以下优势:

- 支持多种主流大语言模型,如 InternLM、Mixtral-8x7B、Llama 2、ChatGLM、Qwen、Baichuan 等。

- 支持视觉语言模型 LLaVA。其中 LLaVA-InternLM2-20B 模型的性能表现尤为出色。

- 设计了灵活的数据处理流水线,可以适应任何格式的数据集,包括但不限于开源和自定义格式。

- 支持多种训练算法,如 QLoRA、LoRA、全参数微调等,让用户可以根据需求选择最合适的方案。

### 功能全面

xtuner 提供了全面的功能支持:

- 支持连续预训练、指令微调和 agent 微调。

- 支持使用预定义模板与大模型进行对话。

- 输出的模型可以无缝集成到部署和服务工具包(如 LMDeploy)以及大规模评估工具包(如 OpenCompass、VLMEvalKit)中。

### 使用方法

xtuner 的使用非常简便:

1. 安装:可以通过 pip 安装或从源代码安装。

2. 微调:提供了多种现成的配置文件,用户可以直接使用或根据需求修改。支持单 GPU 和多 GPU 训练。

3. 对话:提供了与预训练或微调后模型进行对话的工具。

4. 部署:可以将微调后的模型与其他框架(如 LMDeploy)集成部署。

5. 评估:推荐使用 OpenCompass 进行全面系统的大模型评估。

总的来说,xtuner 是一个功能强大、易用性高的大模型微调工具包,为大模型的研究和应用提供了便利。它的高效性、灵活性和全面的功能使其成为大模型微调领域的重要工具之一。