💡 多跳RAG

一个用于评估跨文档检索增强生成的数据集

🚀 概述

MultiHop-RAG：一个用于评估RAG流程中跨文档检索和推理的问答数据集。它包含2556个查询，每个查询的证据分布在2到4个文档中。查询还涉及文档元数据，反映了真实世界RAG应用中常见的复杂场景。

📄 论文链接**(已被COLM 2024接收)**：MultiHop-RAG：为多跳查询基准测试检索增强生成 🤗 Hugging Face数据加载器

简单使用案例

1. 用于检索

请尝试'simple_retrieval.py'，这是一个使用此数据集进行检索的示例用例。

pip install llama-index==0.9.40

# 测试简单检索并保存结果
python simple_retrieval.py --retriever BAAI/llm-embedder

# 测试带重排的简单检索并保存结果
python simple_retrieval.py --retriever BAAI/llm-embedder --rerank

2. 用于问答

请尝试'qa_llama.py'，这是一个使用此数据集通过llama进行查询和回答的示例用例。

python qa_llama.py

评估

1. 用于检索：'retrieval_evaluate.py'

2. 用于问答：'qa_evaluate.py'

python retrieval_evaluate.py --file {保存的文件路径}

引用

@misc{tang2024multihoprag,
      title={MultiHop-RAG: Benchmarking Retrieval-Augmented Generation for Multi-Hop Queries}, 
      author={Yixuan Tang and Yi Yang},
      year={2024},
      eprint={2401.15391},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

许可

MultiHop-RAG 采用 ODC-BY 许可