CritiqueLLM：面向大语言模型生成评估的信息丰富的批评生成模型

本仓库是论文 CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation 的官方实现。

环境要求

安装依赖：

pip install -r requirements.txt

下载

您可以在此处下载 CritiqueLLM-6B。

数据收集

部分训练数据样本位于 data/train 目录。训练数据格式如下：

id（整数）：实例的唯一标识符。
question（字符串）：实际的用户查询。
category（字符串）：问题所属的任务类别。任务分类可参考 AlignBench。
reference（字符串）：问题的参考答案。
response_1（字符串）：一个大语言模型对问题的回答。
response_2（字符串）：另一个大语言模型对问题的回答。

基于参考的逐点评分

要获取训练数据的基于参考的逐点评分结果，运行以下命令：

cd data
python pointwise_reference_based_judgement.py \
    --input_path <训练数据路径> \
    --output_path pointwise_reference_based.jsonl \
    --api_key <openai_api_key> \
    --api_base <openai_api_base> \

pointwise_reference_based_judgement_1 和 pointwise_reference_based_judgement_2 字段分别是 response_1 和 response_2 的基于参考的逐点评分结果。

从基于参考的逐点评分到基于参考的成对比较（路径#1中的 $f_{P2P}$）

要从基于参考的逐点评分结果获取基于参考的成对比较结果（论文中路径#1的 $f_{P2P}$），运行以下命令：

cd data
python P2P_1.py \
    --input_path pointwise_reference_based.jsonl \
    --output_path P2P_1.jsonl \
    --api_key <openai_api_key> \
    --api_base <openai_api_base> \

pointwise_reference_based_to_pairwise_judgement 字段是 response_1 和 response_2 的基于参考的成对比较结果。

从基于参考的成对比较到无参考的成对比较（路径#1中的 $f_{R2RF}$）

要从基于参考的成对比较结果获取无参考的成对比较结果（论文中路径#1的 $f_{R2RF}$），运行以下命令：

cd data
python R2RF_1.py \
    --input_path P2P_1.jsonl \
    --output_path R2RF_1.jsonl \
    --api_key <openai_api_key> \
    --api_base <openai_api_base> \

pairwise_reference_based_to_reference_free_judgement 字段是 response_1 和 response_2 的无参考的成对比较结果。

从基于参考的逐点评分到无参考的逐点评分（路径#2中的 $f_{R2RF}$）

要从基于参考的逐点评分结果获取无参考的逐点评分结果（论文中路径#2的 $f_{R2RF}$），运行以下命令：

cd data
python R2RF_2.py \
    --input_path pointwise_reference_based.jsonl \
    --output_path R2RF_2.jsonl \
    --api_key <openai_api_key> \
    --api_base <openai_api_base> \

pointwise_reference_free_judgement_1 和 pointwise_reference_free_judgement_2 字段分别是 response_1 和 response_2 的无参考的逐点评分结果。

从无参考的逐点评分到无参考的成对比较（路径#2中的 $f_{P2P}$）

要从无参考的逐点评分结果获取无参考的成对比较结果（论文中路径#2的 $f_{P2P}$），运行以下命令：

cd data
python P2P_2.py \
    --input_path R2RF_2.jsonl \
    --output_path P2P_2.jsonl \
    --api_key <openai_api_key> \
    --api_base <openai_api_base> \

pointwise_reference_free_to_pairwise_judgement 字段是 response_1 和 response_2 的无参考的成对比较结果。

推理

逐点评分

AlignBench 的部分测试样本位于 data/evaluation/pointwise 目录。您可以参考这些文件来预处理自己的评判样本。

评判样本的格式如下：

id（整数）：实例的唯一标识符。
question（字符串）：实际的用户查询。
category（字符串）：问题所属的任务类别。您可以使用自己的任务分类，并参考 inference/config/category2type_alignbench.json 准备一个 category2type.json。
reference（字符串）：问题的参考答案（如果采用基于参考的设置）。
response（字符串）：大语言模型对问题的回答。
human_score（浮点数）：人工对大语言模型回答的评分。

运行以下命令，使用 CritiqueLLM 进行逐点评分判断：

cd inference
python inference.py \
    --model_path <critiquellm路径> \
    --input_path <评判样本路径> \
    --output_path <结果文件路径> \
    --output_name <结果文件名称> \
    --pointwise True \
    --reference_free <是否使用无参考设置> \
    --maps <category2type.json路径>

成对比较

AUTO-J (Eval-P)、LLMEval 的测试样本和 AlignBench 的部分测试样本位于 data/evaluation/pairwise 目录。您可以参考这些文件来预处理自己的评判样本。

评判样本的格式如下：

id（整数）：实例的唯一标识符。
question（字符串）：实际的用户查询。
category（字符串）：问题所属的任务类别。您可以使用自己的任务分类，并参考 inference/config/category2type_alignbench.json 准备一个 category2type.json。
reference（字符串）：问题的参考答案（如果采用基于参考的设置）。
response_1（字符串）：一个大语言模型对问题的回答。
response_2（字符串）：另一个大语言模型对问题的回答。
label（整数）：人工对 response_1 和 response_2 的偏好标签。0 表示 response_1 胜出，1 表示 response_2 胜出，2 表示平局。

运行以下命令，使用 CritiqueLLM 进行成对比较判断：

cd inference
python inference.py \
    --model_path <critiquellm路径> \
    --input_path <评判样本路径> \
    --output_path <结果文件路径> \
    --output_name <结果文件名称> \
    --pointwise False \
    --reference_free <是否使用无参考设置> \
    --maps <category2type.json路径>

评估

逐点评分

要计算 CritiqueLLM 生成的逐点评分结果与人工评分之间的相关性，运行以下命令：

cd evaluation
python eval_pointwise.py --input_path <逐点评分结果路径> --output <结果文件路径>

注意，逐点评分结果路径 指的是推理过程的结果文件。

成对比较

要计算 CritiqueLLM 生成的成对比较结果的一致性和一致率，运行以下命令：

cd evaluation
python eval_pairwise.py --input_path <成对比较结果路径> --output <结果文件路径>

注意，成对比较结果路径 指的是推理过程的结果文件。

引用

@inproceedings{ke-etal-2024-critiquellm,
    title = "CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation",
    author = "Pei Ke and Bosi Wen and Zhuoer Feng and Xiao Liu and Xuanyu Lei and Jiale Cheng and Shengyuan Wang and Aohan Zeng and Yuxiao Dong and Hongning Wang and Jie Tang and Minlie Huang",
    booktitle = "Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics",
    year = "2024",
}

如果本论文和代码对您有帮助，请引用我们的论文。