paperai

项目介绍：paperai

paperai 是一个专为医学和科学文献设计的语义搜索和工作流应用程序。该项目旨在帮助用户更高效地查找和处理大量的医学或科学文献，从而推动研究和科学发现的进行。

功能概述

paperai 提供了一整套基于机器学习的强大功能来支持医学和科学研究。这些功能包括：

• 语义搜索：通过语义搜索索引，用户可以快速找到与医学或科学查询相关的文献。
• 报告生成：应用支持生成详细的报告，帮助用户整理和分析所选文献的信息。
• 数据库管理：系统使用 SQLite 数据库来管理和存储文献，这确保了信息的有序存储和高效检索。

安装方法

使用 pip 安装

安装 paperai 最简单的方法是通过 pip：

pip install paperai

推荐使用 Python 3.8 及以上版本，并建议使用 Python 虚拟环境来进行管理。此外，可以通过 GitHub 安装以获取最新的功能：

pip install git+https://github.com/neuml/paperai

Docker 安装

用户可以通过构建 Docker 镜像来运行 paperai：

wget https://raw.githubusercontent.com/neuml/paperai/master/docker/Dockerfile
docker build -t paperai .
docker run --name paperai --rm -it paperai

可以选择将 paperetl 集成到 Docker 镜像中，以便在一个容器中完成内容的索引和查询。

示例与应用

教程笔记本

paperai 提供了一系列 Jupyter Notebook 用于演示其功能，例如“Introducing paperai”，用户可以通过 Google Colab 打开和运行这些笔记本。

搜索应用

paperai 提供了一个基本的搜索应用，该应用允许用户在创建的索引中执行搜索，设置查询参数并展示结果。

模型构建与查询

paperai 能够索引通过 paperetl 构建的数据库。用户可通过以下步骤创建新的索引：

1. 创建 index.yml 配置文件（可选），以自定义 txtai 嵌入配置。

2. 构建嵌入索引，命令如下：

   python -m paperai.index <输入数据路径> <可选的索引配置>

要运行查询，用户可以启动 paperai shell，然后直接在控制台中输入查询。

报告生成

paperai 支持多种格式的报告生成。如需生成报告，使用以下命令：

python -m paperai.report report.yml 50 md <模型目录路径>

支持的输出格式包括 Markdown、CSV，以及注释格式（仅适用于包含原始 PDF 文件的路径）。

技术概览

paperai 结合了 txtai 嵌入索引和 SQLite 数据库，每篇文献被解析为句子并存储在 SQLite 中，同时建立整个语料库的嵌入。提供了多个入口来与模型交互：

• paperai.report：为一系列查询生成报告，展示最高分的文献及其相关段落。
• paperai.query：从终端运行单次查询。
• paperai.shell：允许从终端运行多次查询。

通过这些功能，paperai 尽力为研究人员提供一个高效且功能强大的工具，助力于更迅速地从大量文献中获取有价值的见解。