使大型语言模型能够生成带引用的文本

<p align="center"><img src="https://yellow-cdn.veclightyear.com/835a84d5/a51e4927-a992-4346-b841-3789e983b733.png?raw=true" alt="ALCE" width="15%"><br>*: ALCE发音为/elk/，因为ALCE是欧洲麋鹿或北美驼鹿的拉丁词。 </p>

本仓库包含论文《使大型语言模型能够生成带引用的文本》的代码和数据。在这篇论文中，我们提出了ALCE，一个用于自动评估大型语言模型引用的基准测试。 ALCE包含三个数据集：ASQA、QAMPARI和ELI5。我们提供了从流畅度、正确性和引用质量三个维度自动评估大型语言模型生成内容的代码。本仓库还包括复现我们论文中基准模型的代码。

要求

请安装最新版本的PyTorch（torch）、HuggingFace Transformers（transformers）、HuggingFace Accelerate（accelerate）和OpenAI API包（openai）。本代码库在Python 3.9.7环境下，使用torch==2.1.0.dev20230514+cu118、transformers==4.28.1、accelerate==0.17.1和openai==0.27.4进行了测试。

数据

你可以通过运行以下命令下载数据集（包括检索结果）：

bash download_data.sh

所有数据将存储在data/目录中。我们的数据包括ASQA和QAMPARI的前100个DPR/GTR检索结果，以及QAMPARI的前100个BM25检索结果。我们还提供了重新排序的最优检索结果，其中前5个段落可以达到与原始前100个相同的召回率。

检索

你可以使用以下命令复现段落检索步骤：

python retrieval.py --data {path/to/data} --retriever {bm25/gtr} --output_file {path/to/output}

检索步骤需要额外的软件包。具体来说，你需要安装pyserini==0.21.0（他们的github仓库很有帮助）和sentence-transformers==2.2.2。

对于使用Sphere进行Common Crawl的BM25检索，你必须先从Sphere仓库下载索引，并将环境变量BM25_SPHERE_PATH设置为下载索引的路径。具体来说，你可以使用以下命令：

wget -P faiss_index https://dl.fbaipublicfiles.com/sphere/sphere_sparse_index.tar.gz
tar -xzvf faiss_index/sphere_sparse_index.tar.gz -C faiss_index
export BM25_SPHERE_PATH=$PWD/faiss_index

需要注意的是，由于语料库的规模较大，这一步骤非常耗时且消耗资源。我们发现，更大的CPU内存往往有助于提高速度。对于GTR，我们首先使用DPR维基百科快照构建索引，你可以使用DPR仓库中的下载脚本获取，然后将环境变量DPR_WIKI_TSV设置为tsv文件的路径。具体来说，你可以使用以下命令：

wget https://dl.fbaipublicfiles.com/dpr/wikipedia_split/psgs_w100.tsv.gz
gzip -xzvf psgs_w100.tsv.gz
export DPR_WIKI_TSV=$PWD/psgs_w100.tsv

然后，你需要将GTR_EMB设置为维基百科语料库的GTR嵌入的路径，首次运行检索脚本时会自动构建并保存索引。构建密集索引对GPU内存要求较高（我们使用80GB的GPU），且耗时较长；整个索引大约需要31GB。如果你觉得这一步骤过于昂贵，也可以通过以下方式下载：

wget https://huggingface.co/datasets/princeton-nlp/gtr-t5-xxl-wikipedia-psgs_w100-index/resolve/main/gtr_wikipedia_index.pkl
export GTR_EMB=$PWD/gtr_wikipedia_index.pkl

要复现DPR检索，请参考DPR仓库，我们使用了在NQ上训练的原始DPR检查点。

代码结构

run.py：用于复现我们的基线生成的运行文件。
eval.py：用于评估生成结果的评估文件。
prompts：包含所有提示文件的文件夹。
configs/：包含所有用于复现基线的配置文件的文件夹。
tools/：杂项代码（生成摘要/片段、重新排序等）。

复现基线

你可以通过以下命令复现我们论文中的基线：

python run.py --config configs/{config_name}

你还可以通过命令行覆盖配置文件中的任何参数或添加新参数：

python run.py --config configs/{config_name} --seed 43 --model vicuna-13b

配置文件的命名规则为{LLM}_{#demos和#passages}_{检索器}_{方法}.yaml。方法名包括：

default对应我们论文中的Vanilla模型。
summary对应Summary模型。
extraction对应Snippet模型。
interact_doc_id对应Interact模型。
interact_search对应InlineSearch模型。
closedbook对应ClosedBook模型。

我们的代码支持OpenAI API和离线HuggingFace模型：

对于OpenAI模型（例如ChatGPT），你需要设置环境变量OPENAI_API_KEY和OPENAI_ORG_ID。如果你使用Azure OpenAI API，则需要设置环境变量OPENAI_API_KEY和OPENAI_API_BASE。你还需要添加--azure标志。
- 请注意，在Azure OpenAI API中，ChatGPT的名称不同，你应该通过--model gpt-35-turbo设置它。
对于开源模型，你应该将模型名称设置为HuggingFace模型的.from_pretrained方法的输入。这可以是本地目录（例如旧版LLaMA模型）或HuggingFace hub的路径。

有关详细的参数用法，请参考run.py。

模型输出以及金标准答案和运行配置将以json文件形式存储在result/中。

事后引用

对于闭卷模型，可以使用post_hoc_cite.py以事后方式添加引用（使用GTR-large）。要运行事后引用，执行

python post_hoc_cite.py --f result/{结果JSON文件名} --external_docs data/{对应数据}

带有事后引用的输出文件将存储在result/中，后缀为post_hoc_cite.gtr-t5-large-external。

评估

ACLE评估在eval.py中实现。

对于ASQA，使用以下命令

python eval.py --f {结果文件路径} --citations --qa --mauve

对于QAMPARI，使用以下命令

python eval.py --f {结果文件路径} --citations

对于ELI5，使用以下命令

python eval.py --f {结果文件路径} --citations --claims_nli --mauve

评估结果将保存在result/中，文件名与输入相同，后缀为.score。

人工评估

我们的人工评估（第6节）结果位于human_eval目录下。数据和分析都可以获取，详情请参阅该目录。

错误或问题？

如果您有任何与代码或论文相关的问题，欢迎发送电子邮件至Tianyu（tianyug@cs.princeton.edu）。如果您在使用代码时遇到任何问题，或想要报告bug，可以提出一个issue。请尽量详细说明问题，以便我们能更好更快地帮助您！

引用

如果您在研究中使用了ALCE，请引用我们的论文：

@inproceedings{gao2023enabling,
   title={Enabling Large Language Models to Generate Text with Citations},
   author={Gao, Tianyu and Yen, Howard and Yu, Jiatong and Chen, Danqi},
   year={2023},
   booktitle={Empirical Methods in Natural Language Processing (EMNLP)},
}