LESS学习资料汇总 - 选择有影响力数据进行目标指令调优

LESS项目简介

LESS (Selecting Influential Data for Targeted Instruction Tuning) 是一个用于选择有影响力数据进行目标指令调优的项目。该项目由普林斯顿大学自然语言处理实验室开发,旨在提出一种数据选择方法,以选择有影响力的数据来诱导目标能力。

快速链接

• GitHub代码库
• 论文链接
• 数据集

安装要求

要开始使用LESS,请按照以下步骤进行安装:

1. 确保已安装PyTorch。
2. 克隆项目并安装依赖:

git clone https://github.com/princeton-nlp/LESS.git
cd LESS
pip install -r requirement.txt

3. 以可编辑模式安装less包:

pip install -e .

数据准备

LESS项目使用了四个指令调优数据集:Flan v2、COT、Dolly和Open Assistant。评估数据集包括MMLU、Tydiqa和BBH。你可以在这里找到这些数据集的处理版本。

数据选择流程

LESS的数据选择流程包括以下几个步骤:

1. 预热训练
2. 构建梯度数据存储
3. 为特定任务选择数据
4. 使用选定数据进行训练

每个步骤的详细说明和示例脚本可以在GitHub仓库中找到。

评估

要评估在选定数据上训练的模型性能,请参考evaluation文件夹中的说明。

问题反馈

如果你有任何与代码或论文相关的问题,可以通过电子邮件联系Mengzhou (mengzhou@princeton.edu)。如果在使用代码时遇到问题或想报告bug,可以在GitHub上开一个issue。

引用

如果你在研究中使用了LESS,请引用以下论文:

@inproceedings{xia2024less,
   title={{LESS}: Selecting Influential Data for Targeted Instruction Tuning},
   author={Xia, Mengzhou and Malladi, Sadhika and Gururangan, Suchin and Arora, Sanjeev and Chen, Danqi},
   booktitle={International Conference on Machine Learning (ICML)},
   year={2024}
}

通过本文的资源汇总,希望能帮助读者快速了解LESS项目,并开始使用这一强大的数据选择工具进行目标指令调优。无论你是研究人员还是实践者,LESS都为提高模型性能提供了新的可能性。