STaRK学习资料汇总 - 大规模半结构化检索基准

STaRK简介

STaRK (Semi-structured Retrieval Benchmark on Textual and Relational Knowledge bases)是由斯坦福大学和亚马逊共同开发的大规模半结构化检索基准。它涵盖了产品搜索、学术论文搜索和生物医学查询等实际应用场景,为评估基于大型语言模型(LLM)的检索系统提供了新的标准。

STaRK的特点包括:

包含多样化、自然和实用的查询,需要上下文相关的推理
为评估实际检索系统设定了新标准
为未来的研究提出了重要挑战

🔥 想了解更多概述,请查看STaRK官方网站。

STaRK logo

学习资源

1. 代码仓库

STaRK的官方GitHub仓库: snap-stanford/stark

在这里你可以找到:

基准数据集的加载和使用说明
评估脚本
示例代码

2. 数据集

STaRK数据集已迁移到Hugging Face: snap-stanford/stark

你可以直接从Hugging Face下载和使用数据集。

3. pip包

STaRK团队提供了一个pip包 stark-qa,可以直接加载数据:

pip install stark-qa

4. 交互式界面

STaRK SKB Explorer 是一个交互式界面,可以让你探索STaRK的知识库。

STaRK SKB Explorer

5. 论文

详细了解STaRK基准的设计和实现: STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases

6. 播客

STaRK团队推出了 The Stark Difference Podcast,探讨领导者和牧师如何回应上帝的呼召,改变和塑造他们的生活。

使用指南

环境设置

推荐使用pip安装:

pip install stark-qa

数据加载

from stark_qa import load_qa, load_skb

dataset_name = 'amazon'

# 加载检索数据集
qa_dataset = load_qa(dataset_name)
idx_split = qa_dataset.get_idx_split()

# 加载半结构化知识库
skb = load_skb(dataset_name, download_processed=True, root=None)