LLaMa2lang

LLaMa2lang 项目介绍

项目背景

LLaMa2lang 是一个用于微调大型语言模型，以便其更好地支持除英语以外的其他语言对话的项目。大多数像 LLaMa3 这样的基础模型主要以英语数据进行训练，因此即使它们可以处理其他语言，其性能仍与英语存在差距。通过 LLaMa2lang 项目，用户可以有效地调整这些模型，使其在多语言环境下更具适应性。

项目特点

微调能力

LLaMa2lang 提供了一系列方便的脚本，帮助用户微调 LLaMa3-8B 及其他基础模型。这些脚本除了能够针对特定目标语言进行微调，还可结合 RAG（检索增强生成）技术，以进一步提升模型在多语言对话中的表现。详情可以访问我们的 RAG Me Up 仓库。

支持的翻译模型和基础模型

• 翻译模型：
  • OPUS，M2M，MADLAD，mBART，NLLB，Seamless，Tower Instruct 等
• 基础数据集：
  • OASST1，OASST2
• 基础模型：
  • LLaMa3，LLaMa2，Mistral，Mixtral 8x7B（非官方）

使用步骤

1. 安装依赖：首先确保安装了项目所需的所有依赖。

   pip install -r requirements.txt

2. 翻译数据：将基础数据集翻译为目标语言。

   python translate.py m2m target_lang checkpoint_location

3. 组合检查点：将检查点文件合并为一个可用的数据集。

   python combine_checkpoints.py input_folder output_location

4. 模型微调：使用 LoRA 和 PEFT 技术对基础模型进行微调。

   python finetune.py tuned_model dataset_name instruction_prompt

5. 强化微调（可选）：通过 DPO（类似 RLHF）技术增强模型能力。

   python finetune_dpo.py tuned_model dataset_name instruction_prompt

6. 运行推理：使用已训练的模型进行推理。

   python run_inference.py model_name instruction_prompt input

项目挑战与解决方案

LLaMa2lang 项目旨在突破语言模型仅能高效处理英语的限制，力求通过微调技术和多种翻译手段，使模型能够流畅地处理不同目标语言的任务。项目中的各项功能设计都通过贴近用户实际需求，实现对多语言处理的支持。

未来规划

• 与其他库的互操作性：调查与其他库如 Axolotl、llamacpp 等的互联性。
• 支持各种量化技术：在 QLoRA 基础上，计划支持 GGUF、GPTQ、AWQ 等量化方式。
• 扩展词表及分词器：支持增加词汇表及分词器的词汇量。

项目运行成本

项目可在免费的 Google Colab T4 GPU 上运行，但翻译步骤耗时较长，约需 36 小时，因此建议分步进行。微调步骤则在 vast.ai 提供的 A40 环境下进行，单次模型微调成本不到一美元。

用户指引

确保 PyTorch 正确安装并支持 CUDA。然后根据提供的帮助信息及使用示例，设置和调整各个参数，以适应不同的语言需求和计算资源。

常见问题

1. 为何要翻译整个数据集？ 翻译完整数据集不仅利于创建高质量语言模型，同时也为社区提供丰富的多语言数据。
2. 微调性能如何？ 微调后，模型在生成非英语语言内容时的表现显著提升，不再出现语法错误。
3. 可否使用其他框架进行微调？ 可以，用户可以使用 Axolotl 等框架。