ChatGPT-RetrievalQA: ChatGPT的回复能否作为问答检索模型的训练数据？

论文"Generating Synthetic Documents for Cross-Encoder Re-Rankers: A Comparative Study of ChatGPT and Human Experts"和论文"A Test Collection of Synthetic Documents for Training Rankers: ChatGPT vs. Human Experts"的存储库。一个用于训练和评估问答(QA)检索模型的数据集，通过ChatGPT的回复训练/评估，或在真实人类回复上进行训练/评估。

如果使用此数据集，请使用以下bibtex参考文献：


@InProceedings{askari2023chatgptcikm2023,
  author = {Askari, Arian and Aliannejadi, Mohammad and Kanoulas, Evangelos and Verberne, Suzan},
  titlE = {A Test Collection of Synthetic Documents for Training Rankers: ChatGPT vs. Human Experts},
  year = 2023,
  booktitle = {The 32nd ACM International Conference on Information and Knowledge Management (CIKM 2023)},
}

@InProceedings{askari2023genirsigir2023,
  author = {Askari, Arian and Aliannejadi, Mohammad and Kanoulas, Evangelos and Verberne, Suzan},
  title = {Generating Synthetic Documents for Cross-Encoder Re-Rankers: A Comparative Study of ChatGPT and Human Experts},
  year = 2023,
  booktitle = {Generative Information Retrieval workshop at ACM SIGIR 2023},
}

这项工作是在教授Mohammad Aliannejadi、Evangelos Kanoulas和Suzan Verberne的监督下完成的，我的访问研究在阿姆斯特丹大学信息检索实验室的期间进行的(IRLab@UvA)。

我们的工作总结

给定一组问题及相应的ChatGPT和人类的回答，我们分别制作了两个集合：一个是ChatGPT，一个是人类。通过这样做，我们从信息检索的角度提供了多个分析机会，评估ChatGPT回复对训练检索模型的有用性。我们为端到端检索和重新排序设置提供了数据集。为了给其他分析提供灵活性，我们将所有文件分别组织为ChatGPT和人类的回复。

为什么在ChatGPT可以生成答案的情况下依赖检索？

虽然ChatGPT是一种强大的语言模型，能够生成令人印象深刻的答案，但其并非没有错误或虚假的信息。此外，ChatGPT生成的信息来源并不透明，通常即使信息正确也没有来源。在法律、医学、科学等专业领域，信任度和责任性至关重要，这会成为更大的问题。与生成模型不同，检索模型从来源中检索实际（真实）信息，搜索引擎提供每个检索项的来源。这就是为什么在即使ChatGPT存在的情况下，信息检索仍然是一个重要的应用，特别是在可靠性至关重要的情况下。

答案排名数据集

该数据集基于公开的HC3数据集，尽管我们的实验 setup 和评估将有所不同。我们将数据分为训练集、验证集和测试集，以便在ChatGPT或人类答案上训练/评估答案检索模型。我们将人类/ChatGPT的实际回复存储为相关答案。对于训练，一组随机回答可用作非相关答案。在我们的主要实验中，我们在ChatGPT的回应上进行训练，并在人的回应上进行评估。我们以类似于MSMarco数据集的格式发布ChatGPT-RetrievalQA数据集，这是一个广受训练检索模型欢迎的数据集。因此，每个人都可以在我们的数据上重新使用他们的MSMarco数据集脚本。

描述	文件名	文件大小	记录数量	格式
Collection-H (H: 人类回复)	collection_h.tsv	38.6 MB	58,546	tsv: pid, passage
Collection-C (C: ChatGPT回复)	collection_c.tsv	26.1 MB	26,882	tsv: pid, passage
Queries	queries.tsv	4 MB	24,322	tsv: qid, query
Qrels-H Train (人类回复的训练集Qrels)	qrels_h_train.tsv	724 KB	40,406	TREC qrels格式
Qrels-H Validation (人类回复的验证集Qrels)	qrels_h_valid.tsv	29 KB	1,460	TREC qrels格式
Qrels-H Test (人类回复的测试集Qrels)	qrels_h_test.tsv	326 KB	16,680	TREC qrels格式
Qrels-C Train (ChatGPT回复的训练集Qrels)	qrels_c_train.tsv	339 KB	18,452	TREC qrels格式
Qrels-C Validation (ChatGPT回复的验证集Qrels)	qrels_c_valid.tsv	13 KB	672	TREC qrels格式
Qrels-C Test (ChatGPT回复的测试集Qrels)	qrels_c_test.tsv	152 KB	7,756	TREC qrels格式
Queries, Answers, and Relevance Labels (查询，答案和相关性标签)	collectionandqueries.zip	23.9 MB	866,504
Train-H Triples (训练集H三元组)	train_h_triples.tsv	58.68 GB	40,641,772	tsv: query, positive passage, negative passage
Validation-H Triple (验证集H三元组)	valid_h_triples.tsv	2.02 GB	1,468,526	tsv: query, positive passage, negative passage
Train-H Triples QID PID Format (训练集H三元组QID PID格式)	train_h_qidpidtriples.tsv	921.7 MB	40,641,772	tsv: qid, positive pid, negative pid
Validation-H Triples QID PID Format (验证集H三元组QID PID格式)	valid_h_qidpidtriples.tsv	35.6 MB	1,468,526	tsv: qid, positive pid, negative pid
Train-C Triples (训练集C三元组)	train_c_triples.tsv	37.4 GB	18,473,122	tsv: query, positive passage, negative passage
Validation-C Triple (验证集C三元组)	valid_c_triples.tsv	1.32 GB	672,659	tsv: query, positive passage, negative passage
Train-C Triples QID PID Format (训练集C三元组QID PID格式)	train_c_qidpidtriples.tsv	429.6 MB	18,473,122	tsv: qid, positive pid, negative pid
Validation-C Triples QID PID Format (验证集C三元组QID PID格式)	valid_c_qidpidtriples.tsv	16.4 MB	672,659	tsv: qid, positive pid, negative pid

我们发布了三元组格式的训练和验证数据以便于训练。用于训练ChatGPT回复的三元组文件是："train_c_triples.tsv" 和 "valid_c_triples.tsv"。此外，我们发布了基于人类回复的三元组文件，便于大家比较基于ChatGPT和人类回复的训练效果（文件："train_h_triples.tsv" 和 "valid_h_triples.tsv"）。给定每个查询和正面答案，随机抽取了1000个负面答案。

答案重新排序数据集

描述	文件名	文件大小	记录数量
Top-H 1000 Train (Top-H 1000训练)	top_1000_h_train.run	646.6 MB	16,774,122
Top-H 1000 Validation (Top-H 1000验证)	top_1000_h_valid.run	23.7 MB	605,956
Top-H 1000 Test (Top-H 1000测试)	top_1000_h_test.run	270.6 MB	692,0845
Top-C 1000 Train (Top-C 1000训练)	top_1000_c_train.run	646.6 MB	16,768,032
Top-C 1000 Validation (Top-C 1000验证)	top_1000_c_valid.run	23.7 MB	605,793
Top-C 1000 Test (Top-C 1000测试)	top_1000_c_test.run	271.1 MB	6,917,616

答案重新排序数据集的运行文件格式是TREC运行格式。

注意: 我们在Elasticsearch中使用BM25作为第一阶段排序器，以便在给定问题（即查询）的情况下对搜索到的前1000个文档进行排名。然而，对于某些查询，检索到的文档少于1000个，这意味着在整个集合中，至少有一个词与查询匹配的文档少于1000个。

分析BM25在人工/ChatGPT回复上的效果

敬请期待。 ChatGPT-RetrievalQA-Evlaution

BERT 在 Qrels-H 测试中的重新排名效果

我们在由 ChatGPT 生成的回复上训练 BERT（使用 queries.tsv、collection_c.tsv、train_c_triples.tsv、valid_c_triples.tsv、qrels_c_train.tsv 和 qrels_c_valid.tsv 文件）。接下来，我们评估 BERT 作为答案重新排名模型在人类回复上的效果（使用 queries.tsv、collection_h.tsv、top_1000_c_test.run 和 qrels_h_test.tsv）。通过这样做，我们回答以下问题：“在评估人类回复时，一个在 ChatGPT 回复上训练的答案检索模型的有效性如何？”

敬请期待。