paperetl

<img src="https://yellow-cdn.veclightyear.com/ab5030c0/04b6c7ce-aaf2-4ae3-b30f-8c7911a623d2.png"/> 医学和科学论文的ETL处理 <a href="https://github.com/neuml/paperetl/releases"> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/c8a72e2c-2ff0-48ef-a5d0-2b4bf68b2a49.svg?style=flat&color=success" alt="版本"/> </a> <a href="https://github.com/neuml/paperetl/releases"> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/723b54fe-0fdb-41ac-be59-94cdc2558b69.svg?style=flat&color=blue" alt="GitHub发布日期"/> </a> <a href="https://github.com/neuml/paperetl/issues"> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/56d53d4b-26cf-4ed0-a403-442a1bc4ff56.svg?style=flat&color=success" alt="GitHub问题"/> </a> <a href="https://github.com/neuml/paperetl"> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/e99671ce-c26a-4a60-b6b1-06b21c32dba3.svg?style=flat&color=blue" alt="GitHub最后提交"/> </a> <a href="https://github.com/neuml/paperetl/actions?query=workflow%3Abuild"> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/558104d8-c40d-4f0a-a5c4-a848d1b59074.svg" alt="构建状态"/> </a> <a href="https://coveralls.io/github/neuml/paperetl?branch=master"> <img src="https://img.shields.io/coverallsCoverage/github/neuml/paperetl" alt="覆盖率状态"> </a>

paperetl是一个用于处理医学和科学论文的ETL库。

paperetl支持以下来源：

文件格式：
- PDF
- XML（arXiv、PubMed、TEI）
- CSV
COVID-19研究数据集（CORD-19）

paperetl支持以下存储文章的输出选项：

SQLite
Elasticsearch
JSON文件
YAML文件

安装

最简单的安装方式是通过pip和PyPI

pip install paperetl

支持Python 3.8+。建议使用Python虚拟环境。

paperetl也可以直接从GitHub安装，以访问最新的未发布功能。

pip install git+https://github.com/neuml/paperetl

附加依赖

PDF解析依赖于已运行的GROBID实例。假设这在ETL服务器上本地运行。这仅对PDF文件是必要的。

注意：在某些情况下，GROBID引擎池可能会耗尽，导致503错误。可以通过在GROBID配置文件中增加concurrency和/或poolMaxWait来解决这个问题。

Docker

本仓库中提供了一个Dockerfile，其中包含安装paperetl、所有依赖项和脚本的命令。

wget https://raw.githubusercontent.com/neuml/paperetl/master/docker/Dockerfile
docker build -t paperetl -f Dockerfile .
docker run --name paperetl --rm -it paperetl

这将启动一个paperetl命令shell。可以使用标准Docker命令来复制文件，或者直接在shell中运行命令来检索输入内容。

示例

笔记本

笔记本	描述
介绍paperetl	paperetl提供的功能概述

将文章加载到SQLite

以下示例展示如何使用paperetl将一组医学/科学文章加载到SQLite数据库中。

在本地目录中下载所需的医学/科学文章。在本例中，假设文章位于名为paperetl/data的目录中

构建数据库

python -m paperetl.file paperetl/data paperetl/models

完成后，paperetl/models中将有一个articles.sqlite文件

加载到Elasticsearch

Elasticsearch也是一个支持的数据存储，如下所示。本例假设Elasticsearch在本地运行，根据需要将URL更改为远程服务器。

python -m paperetl.file paperetl/data http://localhost:9200

完成后，Elasticsearch中将有一个articles索引，其中存储了元数据和全文。

将文章转换为JSON/YAML

paperetl还可用于将文章转换为JSON或YAML文件。如果数据要输入到另一个系统中，或者用于手动检查/调试单个文件，这将非常有用。

JSON：

python -m paperetl.file paperetl/data json://paperetl/json

YAML：

python -m paperetl.file paperetl/data yaml://paperetl/yaml

转换后的文件将存储在paperetl/(json|yaml)中

加载CORD-19

注意：CORD-19的最终版本于2022-06-22发布。但这仍然是一个大型且有价值的医学文档集。

以下示例展示如何使用paperetl将CORD-19数据集加载到SQLite数据库中。

从Allen Institute for AI CORD-19发布页面下载并解压数据集。
```
scripts/getcord19.sh cord19/data
```
上述脚本将检索并解压最新版本的CORD-19到名为cord19/data的目录中。可选的第二个参数以YYYY-MM-DD格式（例如2021-01-01）设置数据集的特定日期，默认为最新日期。
为当前版本的数据集生成entry-dates.csv
```
python -m paperetl.cord19.entry cord19/data
```
可选的第二个参数以YYYY-MM-DD格式（例如2021-01-01）设置数据集的特定日期，默认为最新日期。这应与步骤1中使用的日期相匹配。
构建数据库
```
python -m paperetl.cord19 cord19/data cord19/models
```
完成后，cord19/models中将有一个articles.sqlite文件。与前面的示例一样，数据也可以加载到Elasticsearch中。
```
python -m paperetl.cord19 cord19/data http://localhost:9200
```