LESS: 一种创新的数据选择方法用于目标指令调优

LESS

LESS简介

LESS(Selecting Influential Data for Targeted Instruction Tuning)是由普林斯顿大学研究团队提出的一种创新数据选择方法,旨在从大规模指令调优数据集中选择最具影响力的数据来诱导特定目标能力。这项研究成果将在ICML 2024会议上发表。

在大语言模型(LLM)的指令调优过程中,数据的质量和相关性对模型性能至关重要。LESS方法通过巧妙的算法设计,能够有效地从海量数据中筛选出对特定任务最有帮助的样本,从而实现更高效、更有针对性的模型调优。

LESS的工作原理

LESS的核心思想是通过估计训练数据对验证数据的影响来选择最相关的样本。具体来说,LESS通过以下步骤实现数据选择:

预热训练:使用LoRA方法对一小部分数据进行初步训练,为后续的梯度计算做准备。
构建梯度数据存储:对整个训练数据集计算梯度,并存储这些梯度信息。
任务特定数据选择:针对目标任务准备验证数据,计算验证数据的梯度,然后基于训练数据和验证数据的梯度相似度来估算影响力得分。
选择高影响力数据:根据影响力得分选择top-k个训练样本。
使用选定数据进行训练:利用筛选出的高质量数据对模型进行针对性的指令调优。

通过这种方法,LESS能够有效地从大规模数据集中筛选出对特定任务最有帮助的样本,从而提高指令调优的效率和效果。

LESS的实现步骤

让我们详细了解LESS方法的具体实现步骤:

1. 环境准备

首先需要安装必要的依赖:

pip3 install torch==2.1.2 torchvision torchaudio
pip install -r requirement.txt
pip install -e .

2. 数据准备

LESS使用了四个指令调优数据集:Flan v2、COT、Dolly和Open Assistant。评估数据集包括MMLU、Tydiqa和BBH。这些数据可以在Hugging Face上找到。

3. 预热训练

使用以下脚本进行预热训练:

DATA_DIR=../data
MODEL_PATH=meta-llama/Llama-2-7b-hf
PERCENTAGE=0.05
DATA_SEED=3
JOB_NAME=llama2-7b-p${PERCENTAGE}-lora-seed${DATA_SEED}

./less/scripts/train/warmup_lora_train.sh "$DATA_DIR" "$MODEL_PATH" "$PERCENTAGE" "$DATA_SEED" "$JOB_NAME"

4. 构建梯度数据存储

对整个训练数据集计算梯度:

CKPT=105
TRAINING_DATA_NAME=dolly
TRAINING_DATA_FILE=../data/train/processed/dolly/dolly_data.jsonl
GRADIENT_TYPE="adam"
MODEL_PATH=../out/llama2-7b-p0.05-lora-seed3/checkpoint-${CKPT}
OUTPUT_PATH=../grads/llama2-7b-p0.05-lora-seed3/${TRAINING_DATA_NAME}-ckpt${CKPT}-${GRADIENT_TYPE}
DIMS="8192"

./less/scripts/get_info/get_train_lora_grads.sh "$TRAINING_DATA_FILE" "$MODEL_PATH" "$OUTPUT_PATH" "$DIMS" "$GRADIENT_TYPE"

5. 任务特定数据选择

为目标任务准备验证数据并计算梯度:

CKPT=105
TASK=tydiqa
MODEL_PATH=../out/llama2-7b-p0.05-lora-seed3/checkpoint-${CKPT}
OUTPUT_PATH=../grads/llama2-7b-p0.05-lora-seed3/${TASK}-ckpt${CKPT}-sgd
DATA_DIR=../data
DIMS="4096 8192"

./less/scripts/get_info/get_eval_lora_grads.sh "$TASK" "$DATA_DIR" "$MODEL_PATH" $OUTPUT_PATH "$DIMS"

然后选择影响力最大的数据:

DIM=8192
GRADIENT_PATH=../grads/llama2-7b-p0.05-lora-seed3/{}-ckpt{}-adam/dim${DIM}
TRAIN_FILE_NAMES="flan_v2 cot dolly oasst1"
CKPTS="105 211 317 420"
CHECKPOINT_WEIGHTS="1.6877e-05 1.2859e-05 7.7030e-06 2.5616e-06"

VALIDATION_GRADIENT_PATH=../grads/llama2-7b-p0.05-lora-seed3/{}-ckpt{}-sgd/dim${DIM}
TARGET_TASK_NAMES="tydiqa"
SELECTED_DATA_OUTPUT_PATH="../selected_data"

./less/scripts/data_selection/matching.sh "$GRADIENT_PATH" "$TRAIN_FILE_NAMES" "$CKPTS" "$CHECKPOINT_WEIGHTS" "$VALIDATION_GRADIENT_PATH" "$TARGET_TASK_NAMES" "$SELECTED_DATA_OUTPUT_PATH"

6. 使用选定数据进行训练

最后,使用筛选出的高质量数据对模型进行训练:

TARGET_TASK_NAME="tydiqa"
PERCENTAGE=0.05
TRAIN_FILES=../selected_data/${TARGET_TASK_NAME}/top_p${PERCENTAGE}.jsonl
MODEL_PATH=meta-llama/Llama-2-7b-hf
JOB_NAME=llama2-7b-less-p${PERCENTAGE}-lora

./less/scripts/train/lora_train.sh "$TRAIN_FILES" "$MODEL_PATH" "$JOB_NAME"

LESS的实际效果

通过实验,研究团队发现LESS方法在多个任务上都取得了显著的效果提升。例如:

在MMLU数据集上,使用LESS选择的5%数据进行训练,模型性能接近使用全量数据训练的效果。
在TydiQA数据集上,LESS选择的10%数据比随机选择的10%数据提高了4个百分点的准确率。
在BBH数据集上,LESS方法也展现出了优越的性能。

这些结果表明,LESS能够有效地从大规模数据集中筛选出最有价值的样本,从而实现更高效的指令调优。

LESS性能比较

LESS的优势与应用前景

LESS方法具有以下几个主要优势:

高效性:通过选择最具影响力的数据,LESS可以在使用更少数据的情况下达到接近全量数据训练的效果,大大提高了训练效率。
针对性:LESS能够针对特定任务选择最相关的数据,实现更有针对性的模型调优。
可解释性:通过分析被选中的高影响力数据,研究人员可以更好地理解模型的学习过程和决策依据。
通用性:LESS方法可以应用于各种大语言模型和不同的指令调优任务。

在实际应用中,LESS方法有望在以下几个方面发挥重要作用:

降低模型训练成本:通过减少所需的训练数据量,LESS可以显著降低计算资源消耗。
提高模型性能:针对性选择高质量数据可以帮助模型更好地学习关键能力。
个性化模型定制:LESS可以帮助开发者为特定领域或任务快速定制模型。
数据质量评估:通过分析被LESS选中的数据,可以帮助研究人员评估和改进数据集质量。

结语

LESS方法为大语言模型的指令调优提供了一种创新的数据选择方案。通过智能地筛选最具影响力的数据,LESS不仅提高了模型训练的效率,还为实现更精准、更有针对性的模型能力提供了可能。随着大语言模型在各行各业的广泛应用,LESS这样的高效数据选择方法必将发挥越来越重要的作用,推动AI技术向更高效、更智能的方向发展。

研究者们希望LESS方法能够为整个AI社区带来启发,推动更多创新性的数据选择和模型调优技术的出现。同时,他们也欢迎其他研究者和开发者基于LESS的开源代码进行进一步的探索和改进,共同推动大语言模型技术的进步。