llm_aided_ocr

项目介绍：llm_aided_ocr

概述

llm_aided_ocr项目是一项专注于提升光学字符识别（OCR）输出质量的先进系统，它利用最新的自然语言处理技术和大型语言模型（LLMs），将原始OCR文本转变为高度精确、格式良好且易于阅读的文档。

功能特点

• 将PDF转换为图像。
• 使用Tesseract进行OCR处理。
• 通过本地或API方式使用大型语言模型进行高级错误纠正。
• 智能文本分块，高效处理。
• 支持Markdown格式输出。
• 支持选择性去除页眉和页码。
• 对最终输出文档进行质量评估。
• 支持本地大型语言模型和云端API服务提供商（如OpenAI、Anthropic）。
• 异步处理支持，提升性能。
• 详细的日志记录，便于过程跟踪和调试。
• 本地LLM推理支持GPU加速。

技术细节

PDF处理与OCR

1. PDF转图像

   • 通过pdf2image库将PDF页面转换为图像。
   • 支持通过参数处理部分页面。

2. OCR处理

   • 使用pytesseract进行文本提取。

   • 包含图像预处理功能：

     • 将图像转换为灰度。
     • 使用Otsu方法应用二值化。
     • 通过膨胀操作增强文本清晰度。

文本处理流程

1. 文本分块

   process_document()函数将完整文本分割成可管理的块，使用句子边界进行自然分割，并在块之间实现重叠以保持上下文。

2. 错误纠正与格式化

   process_chunk() 是核心函数，包括两步：

   a. OCR纠正：使用LLM修正OCR产生的错误，保持原有结构和内容。

   b. Markdown格式化（可选）：将文本转换为标准Markdown格式，处理标题、列表、强调等。

3. 重复内容移除

   在Markdown格式化步骤中实施，识别并移除完全或接近完全重复的段落，确保文本流畅。

4. 页眉和页码移除（可选）

   可配置为移除或区分格式化页眉、页脚和页码。

LLM集成

1. 灵活的LLM支持

   支持本地大型语言模型和云端API服务提供商，配置通过环境变量进行。

2. 本地LLM使用

   使用llama_cpp库进行本地LLM推理，支持自定义语法生成结构化输出。

3. API-based LLM处理

   包含适当的错误处理和重试逻辑，管理令牌限制并动态调整请求大小。

4. 异步处理

   使用asyncio实现API-based LLMs的并发分块处理，保持处理块的顺序确保最终输出的连贯性。

输出与文件处理

• 原始OCR输出：保存为{base_name}__raw_ocr_output.txt
• LLM校正输出：保存为{base_name}_llm_corrected.md或.txt

整个过程的详细日志信息包含时间信息和质量评估。

安装要求

• Python 3.12+
• Tesseract OCR引擎
• PDF2Image库
• PyTesseract
• OpenAI API（可选）
• Anthropic API（可选）
• 本地LLM支持（可选，需要兼容的GGUF模型）

安装步骤

1. 安装Pyenv和Python 3.12。
2. 设置项目环境，克隆项目仓库并创建虚拟环境。
3. 安装Tesseract OCR引擎。
4. 在.env文件中设置环境变量。

使用方法

1. 将PDF文件放置在项目目录中。
2. 更新main()函数中的input_pdf_file_path变量。
3. 运行脚本生成输出文件。

工作原理

通过多步骤流程，将原始OCR输出转换为高质量、可读的文本，包括PDF转换、OCR、文本分块、错误修正、Markdown格式化和质量评估。

代码优化

通过并发处理、上下文保存和自适应令牌管理提升效率。

贡献与许可

项目接受贡献，使用MIT许可证。