Pyserini <img src="https://yellow-cdn.veclightyear.com/835a84d5/76bf4509-1f31-42b0-a461-5a6c277cfba8.png" width="300" />
Pyserini是一个用于可重现信息检索研究的Python工具包，支持稀疏和密集表示。通过与我们团队基于Lucene构建的Anserini信息检索工具包集成，实现了使用稀疏表示的检索。通过与Facebook的Faiss库集成，实现了使用密集表示的检索。
Pyserini主要设计用于在多阶段排序架构中提供有效、可重现且易于使用的第一阶段检索。我们的工具包作为标准Python包是自包含的，并附带了许多常用IR测试集的查询、相关性判断、预构建索引和评估脚本。使用Pyserini，很容易在多个标准IR测试集上重现运行结果！
更多详细信息 ，请参阅我们发表在SIGIR 2021上的论文，其中提供了很好的概述。
✨ 新！ 用于TREC 2024 RAG赛道的MS MARCO 2.1文档语料库工作指南。
❗ Anserini在提交272565（2024/04/03）时从JDK 11升级到JDK 21，对应于v0.35.0版本的发布。相应地，Pyserini在提交b2f677（2024/04/04）时升级到JDK 21。
🎬 安装
Pyserini基于Python 3.10构建（其他版本可能也能工作，但不保证）。通过PyPI安装：
pip install pyserini
稀疏检索依赖于Anserini，而Anserini本身是基于Lucene（用Java编写）构建的，因此需要JDK 21。
密集检索依赖于神经网络，需要更复杂的依赖集。pip安装会自动引入🤗 Transformers库以满足包要求。Pyserini还依赖于PyTorch和Faiss，但由于这些包可能需要特定平台的自定义配置，因此它们_不_在包需求中明确列出。我们将这些包的安装留给您。
软件生态系统正在快速发展，潜在的挫折来源是底层依赖项的不同版本之间的不兼容性。我们在这里提供了额外的详细安装说明。
如果您只是计划_使用_Pyserini，那么上面的pip说明就足够了。但是，如果您计划为代码库做贡献或想使用最新的尚未发布的功能，您需要进行开发安装。说明在这里提供。
🙋 如何搜索？
Pyserini支持以下类别的检索模型：
- 使用
LuceneSearcher的传统词法模型（如BM25）。 - 使用
LuceneImpactSearcher的学习型稀疏检索模型（如uniCOIL、SPLADE等）。 - 使用
FaissSearcher的学习型密集检索模型（如DPR、Contriever等）。 - 使用
HybridSearcher的混合检索模型（如密集-稀疏融合）。
有关如何使用我们已经为您构建的索引来搜索IR和NLP研究中常见的语料库（如MS MARCO、NaturalQuestions、BEIR等）的详细信息，请参阅本指南（与上面的链接相同）。
一旦您获得了前k个结果，您实际上会想要获取文档文本...有关如何操作的信息，请参阅本指南。
🙋 如何索引我自己的语料库？
这取决于您想要搜索的检索模型类型：
不同类别的模型步骤不同：本指南（与上面的链接相同）描述了详细信息。
🙋 其他常见问题
- 如何配置搜索？（交 互式搜索指南）
- 如何手动下载索引？（交互式搜索指南）
- 如何执行密集和混合检索？（交互式搜索指南）
- 如何遍历索引词并访问词项统计信息？（索引读取器API）
- 如何遍历倒排索引？（索引读取器API）
- 如何访问和操作词向量？（索引读取器API）
- 如何计算文档的tf-idf或BM25分数？（索引读取器API）
- 如何访问基本的索引统计信息？（索引读取器API）
- 如何访问底层Lucene分析器？（分析器API）
- 如何构建自定义Lucene查询？（查询构建器API）
- 如何遍历原始集合？（集合API）
⚗️ 可复现性
使用Pyserini，可以轻松地在多个标准IR测试集上复现运行结果！ 我们提供了一些预构建索引，可直接支持"开箱即用"的可复现性。
在我们的SIGIR 2022论文中，我们引入了"两次点击复现"，允许任何人只需两次点击（即复制和粘贴）就能复现实验运行。 文档按不同语料库的复现矩阵组织，提供了不同实验条件和查询 集的摘要：
更多详情，请参阅我们的论文在学术研究中建立可复现性文化。
以下额外的复现指南提供了详细的分步说明。
<详细信息> <摘要>稀疏检索</摘要>
稀疏检索
- 复现Robust04即席检索基线
- 复现MS MARCO V1段落排序的BM25基线
- 复现MS MARCO V1文档排序的BM25基线
- 复现来自Elasticsearch的MS MARCO V1文档排序的多字段BM25基线
- 复现MS MARCO V2集合上的BM25基线
- 复现LTR过滤实验：MS MARCO V1段落，MS MARCO V1文档
- 复现MS MARCO V1集合上的IRST实验
- 复现DeepImpact：MS MARCO V1 段落
- 复现使用doc2query-T5的uniCOIL：MS MARCO V1，MS MARCO V2
- 复现使用TILDE的uniCOIL：MS MARCO V1段落，MS MARCO V2段落
- 复现SPLADEv2：MS MARCO V1段落
- 复现Mr. TyDi实验
- 复现HC4的BM25基线
- 复现NeuCLIR22上HC4的BM25基线
- 复现SLIM实验
- KILT的基线：知识密集型语言任务基准
- TripClick的基线：健康领域的大规模点击日志数据集
- FEVER（事实抽取与验证）数据集的基线（在Anserini中）
</详细信息> <详细信息> <摘要>密集检索</摘要>
密集检索
- 复现TCT-ColBERTv1实验：MS MARCO V1
- 复现TCT-ColBERTv2实验：MS MARCO V1，MS MARCO V2
- 复现DPR实验
- 复现BPR实验
- 复现ANCE实验
- 复现DistilBERT KD实验
- 复现DistilBERT平衡主题感知采样实验
- 复现SBERT密集检索实验
- 复现ADORE密集检索实验
- 复现向量PRF实验
- 复现ANCE-PRF实验
- 复现Mr. TyDi实验
- 复现DKRR实验
</详细信息> <详细信息> <摘要>混合稀疏-密集检索</摘要>
混合稀疏-密集检索
</详细信息> <详细信息> <摘要>可用语料库</摘要>
可用语料库
| 语料库 | 大小 | 校验和 |
|---|---|---|
| MS MARCO V1 段落: uniCOIL (noexp) | 2.7 GB | f17ddd8c7c00ff121c3c3b147d2e17d8 |
| MS MARCO V1 段落: uniCOIL (d2q-T5) | 3.4 GB | 78eef752c78c8691f7d61600ceed306f |
| MS MARCO V1 文档: uniCOIL (noexp) | 11 GB | 11b226e1cacd9c8ae0a660fd14cdd710 |
| MS MARCO V1 文档: uniCOIL (d2q-T5) | 19 GB | 6a00e2c0c375cb1e52c83ae5ac377ebb |
| MS MARCO V2 段落: uniCOIL (noexp) | 24 GB | d9cc1ed3049746e68a2c91bf90e5212d |
| MS MARCO V2 段落: uniCOIL (d2q-T5) | 41 GB | 1949a00bfd5e1f1a230a04bbc1f01539 |
| MS MARCO V2 文档: uniCOIL (noexp) | 55 GB | 97ba262c497164de1054f357caea0c63 |
| MS MARCO V2 文档: uniCOIL (d2q-T5) | 72 GB | c5639748c2cbad0152e10b0ebde3b804 |
📃 其他文档
- 预构建索引指南
- 交互式搜索指南
- 使用20Newsgroups数据集进行文本分类的指南
- 使用COVID-19开放研究数据集(CORD-19)的指南
- 实体链接使用指南
- 使用spaCy的指南
- 分析器API的用法
- 索引读取器API的用法
- 查询构建器API的用法
- 集合API的用法
- 通过Pyjnius直接交互
📜️ 发布历史
- v0.36.0 (配合Anserini v0.36.1): 2024年6月17日 [发布说明]
- v0.35.0 (配合Anserini v0.35.0): 2024年4月4日 [发布说明]
- v0.25.0 (配合Anserini v0.25.0): 2024年3月31日 [发布说明]
- v0.24.0 (配合Anserini v0.24.0): 2023年12月28日 [发布说明]
- v0.23.0 (配合Anserini v0.23.0): 2023年11月17日 [发布说明]
- v0.22.1 (配合Anserini v0.22.1): 2023年10月19日 [发布说明]
- v0.22.0 (配合Anserini v0.22.0): 2023年8月31日 [发布说明]
- v0.21.0 (配合Anserini v0.21.0): 2023年4月6日 [发布说明]
- v0.20.0 (配合Anserini v0.20.0): 2023年2月1日 [发布说明]
📜️ 历史说明
⁉️ Lucene 8到Lucene 9的过渡。 2022年，Pyserini从Lucene 8过渡到Lucene 9。 大多数预构建索引已使用Lucene 9重建，但仍有少数基于Lucene 8。
更多详情：
- PyPI v0.17.1（提交
33c87c，发布于2022/08/13）是基于Lucene 8构建的最后一个Pyserini版本，基于Anserini v0.14.4。 此后，Anserini主干升级到Lucene 9。 - PyPI v0.18.0（提交
5fab14，发布于2022/09/26）基于Anserini v0.15.0构建，使用Lucene 9。 此后，Pyserini主干升级到Lucene 9。
说明：
-
有什么影响？ 使用Lucene 8构建的索引与Lucene 9代码不完全兼容（参见Anserini #1952）。 解决方法是禁用一致性平局打破，如果Pyserini检测到Lucene 8索引，这将自动发生。 然而，在Lucene 8索引上运行的Lucene 9代码将给出与在Lucene 8索引上运行的Lucene 8代码略有不同的结果。 注意，Lucene 8代码无法读取使用Lucene 9构建的索引。
-
为什么这是必要的？ 尽管具有破坏性，但升级到Lucene 9是必要的，以便利用Lucene的HNSW索引，这将增加Pyserini的能力并开放密集/稀疏混合的设计空间。
在v0.11.0.0及之前的版本中，Pyserini版本采用_X.Y.Z.W_的约定，其中_X.Y.Z_跟踪Anserini的版本，_W_用于区分Python端的不同版本。 从Anserini v0.12.0开始，Anserini和Pyserini的版本已经解耦。 Anserini 设计为与 JDK 11 兼容。
在 JDK 9 以上版本中，JRE 路径发生了变化，导致 pyjnius 1.2.0 无法正常工作，这一问题在此处有所记录，并在 Anserini 的这里和这里也有报告。
这个问题在 pyjnius 1.2.1（2019年12月发布）中得到了修复。
之前的错误在这个笔记本中有所记录，而这个笔记本则记录了修复方法。
✨ 参考文献
如果您使用 Pyserini，请引用以下论文：
@INPROCEEDINGS{Lin_etal_SIGIR2021_Pyserini,
author = "Jimmy Lin and Xueguang Ma and Sheng-Chieh Lin and Jheng-Hong Yang and Ronak Pradeep and Rodrigo Nogueira",
title = "{Pyserini}: A {Python} Toolkit for Reproducible Information Retrieval Research with Sparse and Dense Representations",
booktitle = "Proceedings of the 44th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2021)",
year = 2021,
pages = "2356--2362",
}
🙏 致谢
本研究部分得到了加拿大自然科学与工程研究理事会（NSERC）的支持。
编辑推荐精选
博思AIPPT
AI一键生成PPT，就用博思AIPPT！
博思AIPPT，新一代的AI生成PPT平台，支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等，内置海量精美PPT模板，涵盖商务、教育、科技等不同风格，同时针对每个页面提供多种版式，一键自适应切换，完美适配各种办公场景。
潮际好麦
AI赋能电商视觉革命，一站式智能商拍平台
潮际好麦深耕服装行业，是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌，以及国内10万+淘宝、天猫、京东等主流平台的品牌商家，为卖家节省将近85%的出图成本，提升约3倍出图效率，让品牌能够快速上架。
iTerms
企业专属的AI法律顾问
iTerms是法大大集团旗下法律子品牌，基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构，帮助企业扫清合规障碍，筑牢风控防线，成为您企业专属的AI法律顾问。
SimilarWeb流量提升
稳定高效的流量提升解决方案，助力品牌曝光
稳定高效的流量提升解决方案，助力品牌曝光
Sora2视频免费生成
最新版Sora2模型免费使用，一键生成无水印视频
最新版Sora2模型免费使用，一键生成无水印视频
Transly
实时语音翻译/同声传译工具
Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手，它拥有超精准的音频识别翻译能力，几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球，无论你是留学生、商务人士、韩剧美剧爱好者，还是出国游玩、多国会议、跨国追星等等，都可以满足你所有需要同传的场景需求，线上线下通用，扫除语言障碍，让全世界的语言交流不再有国界。
讯飞绘文
选题、配图、成文，一站式创作，让内容运营更高效
讯飞绘文，一个AI集成平台，支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容，加速品牌传播，提升内容营销效果。
TRAE编程
AI辅助编程，代码自动修复
Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。
商汤小浣熊
最强AI数据分析助手
小浣熊家族Raccoon，您的AI智能助手，致力于通过先进的人工智能技术，为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答，小浣熊都能以快速、准确的响应满足您的需求，让您的生活更加智能便捷。
imini AI
像人一样思考的AI智能体
imini 是一款超级AI智能体，能根据人类指令，自主思考、自主完成、并且交付结果的AI智能体。
推荐工具精选
AI云服务特惠
懂AI专属折扣关注微信公众号
最新AI工具、AI资讯
独家AI资源、AI项目落地
微信扫一扫关注公众号