ExtractThinker

ExtractThinker 项目介绍

ExtractThinker 是一个旨在通过大型语言模型（LLMs）从各种文件和文档中提取数据的库。它提供一种面向对象关系映射（ORM）风格的方式，让用户可以灵活高效地进行文档提取和处理工作流。

功能特色

• 多种文档加载支持：支持使用 Tesseract OCR、Azure Form Recognizer、AWS TextExtract 以及 Google Document AI 进行文档加载。
• 可定制提取：通过合同定义可以自定义提取内容。
• 异步处理：能够高效地处理大量文档。
• 多种文档格式支持：内置对多种文档格式的支持。
• LLMs 与文件的 ORM 交互：实现 LLMs 与文件之间的面向对象关系映射交互。

安装方法

要安装 ExtractThinker，可以使用 pip 进行安装：

pip install extract_thinker

使用示例

下面是一个快速入门示例，展示了如何使用 Tesseract OCR 加载文档并提取合同中定义的特定字段。

import os
from dotenv import load_dotenv
from extract_thinker import DocumentLoaderTesseract, Extractor, Contract

load_dotenv()
cwd = os.getcwd()

class InvoiceContract(Contract):
    invoice_number: str
    invoice_date: str

tesseract_path = os.getenv("TESSERACT_PATH")
test_file_path = os.path.join(cwd, "test_images", "invoice.png")

extractor = Extractor()
extractor.load_document_loader(
    DocumentLoaderTesseract(tesseract_path)
)
extractor.load_llm("claude-3-haiku-20240307")

result = extractor.extract(test_file_path, InvoiceContract)

print("Invoice Number: ", result.invoice_number)
print("Invoice Date: ", result.invoice_date)

文件拆分示例

您还可以使用 ExtractThinker 分割和处理文档。以下是相关的实施方法：

import os
from dotenv import load_dotenv
from extract_thinker import DocumentLoaderTesseract, Extractor, Process, Classification, ImageSplitter

load_dotenv()

class DriverLicense(Contract):
    # Define your DriverLicense contract fields here
    pass

class InvoiceContract(Contract):
    invoice_number: str
    invoice_date: str

extractor = Extractor()
extractor.load_document_loader(DocumentLoaderTesseract(os.getenv("TESSERACT_PATH")))
extractor.load_llm("gpt-3.5-turbo")

classifications = [
    Classification(name="Driver License", description="This is a driver license", contract=DriverLicense, extractor=extractor),
    Classification(name="Invoice", description="This is an invoice", contract=InvoiceContract, extractor=extractor)
]

process = Process()
process.load_document_loader(DocumentLoaderTesseract(os.getenv("TESSERACT_PATH")))
process.load_splitter(ImageSplitter())

path = "..."

split_content = process.load_file(path)\
    .split(classifications)\
    .extract()

# Process the split_content as needed

基础设施

ExtractThinker 项目受到 LangChain 生态系统的启发，采用了模块化的基础设施，包含模板、组件和核心功能，以便于实现强大的文档提取和处理。

比较 LangChain

虽然 LangChain 是一个针对多种用例的通用框架，但 ExtractThinker 专注于智能文档处理（IDP）。虽然在 IDP 中达到 100% 的准确率仍是一个挑战，但借助 LLMs 的强大功能，我们离这个目标更近了一步。

贡献和社区

我们欢迎社区的贡献！如果您想参与，请遵循以下步骤：将仓库分叉，创建新分支，编写并运行测试，确保一切正常后提交拉取请求。

项目的更多示例和详细信息可在项目仓库以及作者的 Medium 帐号上找到。

许可证和联系

该项目根据 Apache 2.0 许可证授权。有关的详细信息，请查阅 LICENSE 文件。若有任何问题或建议，请在 GitHub 仓库中打开一个问题讨论。