olmocr

项目介绍

olmOCR 是 Allen Institute for Artificial Intelligence 开发的一个工具包，用于训练语言模型处理真实世界的 PDF 文档。该项目提供了多种功能和工具，包括自然文本解析、不同管道版本的评估、语言过滤和 SEO 垃圾信息去除、模型微调、大规模 PDF 处理以及文档查看等。项目支持本地和多节点 / 集群使用，需要 NVIDIA GPU 和一定的磁盘空间。用户可以通过在线演示或本地运行来使用该项目，处理结果将以 JSONL 格式存储，方便后续查看和分析。

主要功能

自然文本解析：提供使用 ChatGPT 4o 进行自然文本解析的提示策略。 评估工具：提供用于比较不同管道版本的评估工具。 过滤功能：支持基本的语言过滤和 SEO 垃圾信息去除。 模型微调：提供 Qwen2-VL 和 Molmo-O 的微调代码。 大规模 PDF 处理：支持通过微调模型处理数百万个 PDF 文件。 文档查看：支持查看从 PDF 创建的 Dolma 文档。

应用场景

科研领域：帮助科研人员处理和分析大量的 PDF 文献。 文档处理：在文档处理过程中，提高 PDF 文件的处理效率和准确性。 数据挖掘：从 PDF 文件中提取有价值的信息，用于数据挖掘和分析。

常见问题

问题 1：olmOCR 需要什么硬件要求？ 回答：olmOCR 需要近期的 NVIDIA GPU（如 RTX 4090、L40S、A100、H100），至少 20GB 的 GPU 内存，以及 30GB 的可用磁盘空间。

问题 2：如何安装 olmOCR？ 回答：首先需要安装 poppler-utils 和额外的字体，然后创建一个 conda 环境，克隆项目仓库并安装依赖。具体步骤可以参考项目文档中的安装部分。

问题 3：能否在本地运行 olmOCR？ 回答：可以。运行本地需要 GPU，因为推理是由 sglang 提供支持的。可以使用python -m olmocr.pipeline命令来转换单个或多个 PDF 文件。

问题 4：olmOCR 支持多节点 / 集群使用吗？ 回答：支持。olmOCR 支持从 AWS S3 读取 PDF 文件，并使用 AWS S3 输出桶来协调工作。可以在多个节点上并行运行，提高处理效率。

问题 5：如何查看处理结果？ 回答：处理结果以 Dolma 风格的 JSONL 格式存储在./localworkspace/results目录中。可以使用cat命令查看结果，也可以使用dolmaviewer命令将结果与原始 PDF 文件进行并排查看。