关于

这个仓库提供了连接 llmsherpa API 的服务代码。 该仓库包含了针对以下文件格式的自定义 RAG（检索增强生成）友好解析器：

PDF

PDF 解析器是一个基于规则的解析器，它使用文本坐标（边界框）、图形和字体数据，这些数据来自 nlmatics 修改版的 tika，可在此处找到：https://github.com/nlmatics/nlm-tika。 PDF 解析器基于文本层工作，并提供 OCR 选项（apply_ocr），以便在 PDF 中有扫描页面时自动使用 OCR。OCR 功能基于 nlmatics 修改版的 tika，底层使用 tesseract。 查看笔记本 pdf_visual_ingestor_step_by_step 以直接体验 PDF 解析器。

PDF 解析器提供以下功能：

1. 带层级的章节和子章节。
2. 段落 - 合并行。
3. 章节和段落之间的链接。
4. 表格及其所在章节。
5. 列表和嵌套列表。
6. 跨页内容的连接。
7. 去除重复的页眉和页脚。
8. 水印去除。
9. 带边界框的 OCR

HTML

一个特殊的 HTML 解析器，创建布局感知块，以提高 RAG 性能，获得更高质量的文本块。

文本

一个特殊的文本解析器，仅通过查看文本而不依赖视觉、字体或边界框信息来识别列表、表格、标题等。

DOCX、PPTX 和 Apache Tika 支持的任何其他格式

处理这些类型文档有两种方式：

• 使用 tika 生成的这些文件类型的 html 输出，并由 html 解析器进行解析

安装步骤：

直接运行每个步骤

1. 从 https://www.oracle.com/java/technologies/downloads/ 安装最新版本的 Java
2. 运行 tika 服务器：

java -jar <path_to_nlm_ingestor>/jars/tika-server-standard-nlm-modified-2.9.2_v2.jar

3. 安装 ingestor

!pip install nlm-ingestor

4. 运行 ingestor

python -m nlm_ingestor.ingestion_daemon

运行 Docker 文件

通过公共 GitHub 容器注册表提供 Docker 镜像。

拉取 Docker 镜像

docker pull ghcr.io/nlmatics/nlm-ingestor:latest

运行 Docker 镜像，将端口 5001 映射到您选择的端口。

docker run -p 5010:5001 ghcr.io/nlmatics/nlm-ingestor:latest-<version>

服务器运行后，您可以使用 llmsherpa API 库获取文本块，并将其用于您的 LLM 项目。您的 llmsherpa_url 将是： "http://localhost:5010/api/parseDocument?renderFormat=all"

• 要应用 OCR，请添加 &applyOcr=yes
• 要使用新的缩进解析器（使用不同算法分配标题级别），请添加 &useNewIndentParser=yes
• 此服务器适用于开发环境 - 在生产环境中，建议使用 nginx 或云网关在安全网关后运行

测试 ingestor 服务器

使用 llmsherpa 解析器测试服务器的示例代码可在此 笔记本 中找到。

基于规则的解析器 vs 基于模型的解析器

在 4 年的时间里，nlmatics 团队评估了各种选项，包括由 Tom Liu 和 Yi Zhang 开发的基于 YOLO 的视觉解析器。最终，我们选择了基于规则的解析器，原因如下：

1. 与任何视觉解析器相比，它的速度要快得多（100 倍）。使用视觉解析器时，即使对于有文本层的 PDF，也必须至少为所有页面创建图像。我们认为，视觉解析器更适合没有文本层的 OCR PDF，或包含表单类数据的小型 PDF 文件，但对于跨越数百页的大型文本层 PDF，像我们这样的基于规则的解析器更实用。
2. 如果不使用 PDF OCR 功能，不需要特殊硬件即可运行此解析器。您可以使用 2000 年代初期的硬件运行它！
3. 我们发现视觉解析器（或任何解析器，包括这个）都容易出错，而修复模型错误的解决方案并不理想：
   • 向训练集添加更多示例可能会降低模型先前学习的准确性，导致以前正常工作的代码出现不确定性
   • 使用基于规则的想法来修复基于模型的解析器问题，又会回到编写大量规则的老路上

致谢

PDFparser 中的 visual_ingestor 和 new_indent_parser 由 Ambika Sukla 编写，Reshav Abraham 提供了额外贡献，他编写了修改 tika 的初始代码，Tom Liu 编写了原始的 Indent Parser，Kiran Panicker 对解析速度、表格解析准确性、缩进解析准确性和重排序准确性进行了多项改进。

HTML Ingestor 由 Tom Liu 编写。

Markdown Parser 由 Yi Zhang 编写。

Text Ingestor 由 Reshav Abraham 编写。

XML Ingestor 由 Ambika Sukla 编写，主要用于处理 PubMed XML。

line_parser 作为所有其他解析器的核心句子处理实用程序，由 Ambika Sukla 编写。

此外，我们感谢 Apache PDFBox 和 Tika 开发者社区多年来为 PDF 解析器提供基础。

Nlm 修改版 Tika

Nlm 修改版的 Tika 可在此处的 2.4.1-nlm 分支中找到：https://github.com/nlmatics/nlm-tika/tree/2.4.1-nlm 为方便起见，此仓库的 jars/ 文件夹中包含了编译后的 jar 文件。 在某些情况下，您的 PDF 可能会在 Java 服务器中导致错误，您需要修改那里的代码以解决问题并重新编译 jar 文件。

以下文件进行了更改：

1. https://github.com/nlmatics/nlm-tika/blob/2.4.1-nlm/tika-parsers/tika-parsers-standard/tika-parsers-standard-modules/tika-parser-pdf-module/src/main/java/org/apache/tika/parser/pdf/PDF2XHTML.java
2. https://github.com/nlmatics/nlm-tika/blob/2.4.1-nlm/tika-parsers/tika-parsers-standard/tika-parsers-standard-modules/tika-parser-pdf-module/src/main/java/org/apache/tika/parser/pdf/AbstractPDF2XHTML.java

上述更改是为每个文本元素添加字体和坐标。它还会移除水印。

3. https://github.com/nlmatics/nlm-tika/blob/2.4.1-nlm/tika-parsers/tika-parsers-standard/tika-parsers-standard-modules/tika-parser-pdf-module/src/main/java/org/apache/tika/parser/pdf/GraphicsStreamProcessor.java

上述更改是添加可能有助于表格检测的线条和矩形。

要查看这些更改的影响，请参见此笔记本的第一部分：https://github.com/nlmatics/nlm-ingestor/blob/main/notebooks/pdf_visual_ingestor_step_by_step.ipynb

未来工作的一些想法：

1. 通过编写自己的 pdfbox 包装器，使更改独立于 tika
2. 升级到最新版本的 tika
3. 清理返回的 html 格式，使其更加 CSS 友好