Sparrow：创新的数据处理解决方案 - 结合机器学习和大语言模型的开源项目

Sparrow简介

Sparrow是一个创新的开源解决方案，专门用于从各种文档和图像中高效提取和处理数据。它采用机器学习（ML）和大语言模型（LLM）技术，能够处理表单、发票、收据等非结构化数据源。Sparrow的独特之处在于其模块化架构，提供独立的服务和管道，所有这些都经过优化以实现强大的性能。

Sparrow的核心功能

Sparrow的一个关键功能是其可插拔架构。用户可以轻松集成和运行数据提取管道，使用诸如LlamaIndex、Haystack或Unstructured等工具和框架。此外，Sparrow还支持通过Ollama或Apple MLX进行本地LLM数据提取管道。Sparrow解决方案提供了API，帮助处理和转换数据为结构化输出，随时可以集成到自定义工作流程中。

Sparrow代理

Sparrow允许用户构建独立的LLM代理，并通过API从系统中调用它们。目前可用的代理包括：

llamaindex：用于PDF处理的LlamaIndex RAG管道
vllamaindex：用于图像处理的LlamaIndex多模态RAG管道
vprocessor：用于图像处理的OCR和LlamaIndex RAG管道
haystack：用于PDF处理的Haystack RAG管道
fcall：函数调用管道
unstructured-light：使用Unstructured和LangChain的RAG管道，支持PDF和图像处理
unstructured：使用Weaviate向量数据库查询、Unstructured和LangChain的RAG管道，支持PDF和图像处理
instructor：使用Unstructured和Instructor库的RAG管道，支持PDF和图像处理，特别适合生成JSON响应

Sparrow架构图

Sparrow服务

Sparrow提供了多个服务，每个服务都专注于特定的功能：

sparrow-data-ocr：OCR服务，提供光学字符识别功能。
sparrow-data-parse：Sparrow库，包含用于LLM数据预处理的有用方法。
sparrow-ml-llm：LLM RAG管道，用于数据提取和文档处理的Sparrow服务。
sparrow-ui：LLM RAG管道的仪表板UI。

此外，还有一个使用Donut ML模型的Sparrow实现 - sparrow-donut。

快速入门

要开始使用Sparrow，请按照以下步骤操作：

如果计划使用运行Weaviate的Sparrow代理（如llamaindex或unstructured），请安装Weaviate向量数据库。
安装pyenv，然后在环境中安装Python。
为要运行的Sparrow代理创建虚拟环境。
安装所需Sparrow代理的依赖项。请注意，根据操作系统，某些库（如PaddleOCR或Unstructured）可能需要额外的安装步骤。
通过CLI或API运行Sparrow。您需要启动API端点。
传递要从文档中提取的字段名称和类型。
某些Sparrow代理（如vprocessor、instructor等）支持PDF和图像格式。

安装

LLM设置

使用Docker安装Weaviate本地数据库。
使用pyenv设置Python环境（Sparrow已在Python 3.10.4上测试）。
在sparrow-ml/llm文件夹中创建虚拟环境。
激活虚拟环境并安装依赖项。
安装Ollama并拉取config.yml中指定的LLM模型。

OCR设置

按照sparrow-data/ocr中概述的安装步骤进行操作。

使用方法

Sparrow可以通过CLI或API使用。以下是一些使用示例：

数据摄取

对于llamaindex或haystack代理，需要进行数据摄取步骤：

./sparrow.sh ingest --file-path /data/invoice_1.pdf --agent llamaindex --index-name Sparrow_llamaindex_doc1

推理

使用LLM RAG处理数据并返回答案：

./sparrow.sh "invoice_number, invoice_date, client_name, client_address, client_tax_id, seller_name, seller_address, seller_tax_id, iban, names_of_invoice_items, gross_worth_of_invoice_items, total_gross_worth" "int, str, str, str, str, str, str, str, str, List[str], List[float], str" --agent llamaindex --index-name Sparrow_llamaindex_doc1

FastAPI端点

Sparrow提供了一个FastAPI端点，用于本地LLM RAG。要设置它：

启动端点：python api.py
访问API文档：http://127.0.0.1:8000/api/v1/sparrow-llm/docs

示例

本地LLM RAG推理

文档RAG示例

请求：

./sparrow.sh "invoice_number, invoice_date, client_name, client_address, client_tax_id, seller_name, seller_address, seller_tax_id, iban, names_of_invoice_items, gross_worth_of_invoice_items, total_gross_worth" "int, str, str, str, str, str, str, str, str, List[str], List[float], str" --agent llamaindex --index-name Sparrow_llamaindex_doc1

响应：

{
    "invoice_number": 61356291,
    "invoice_date": "09/06/2012",
    "client_name": "Rodriguez-Stevens",
    "client_address": "2280 Angela Plain, Hortonshire, MS 93248",
    "client_tax_id": "939-98-8477",
    "seller_name": "Chapman, Kim and Green",
    "seller_address": "64731 James Branch, Smithmouth, NC 26872",
    "seller_tax_id": "949-84-9105",
    "iban": "GB50ACIE59715038217063",
    "names_of_invoice_items": [
        "Wine Glasses Goblets Pair Clear Glass",
        "With Hooks Stemware Storage Multiple Uses Iron Wine Rack Hanging Glass",
        "Replacement Corkscrew Parts Spiral Worm Wine Opener Bottle Houdini",
        "HOME ESSENTIALS GRADIENT STEMLESS WINE GLASSES SET OF 4 20 FL OZ (591 ml) NEW"
    ],
    "gross_worth_of_invoice_items": [
        66.0,
        123.55,
        8.25,
        14.29
    ],
    "total_gross_worth": "$212,09"
}

商业使用

Sparrow在GPL 3.0许可下可用，鼓励自由使用、修改和分发软件，同时确保任何修改都保持开源并在相同许可下。这与我们支持开源社区和促进协作的承诺相一致。

对于过去12个月总收入低于500万美元的组织，Sparrow还提供免费商业使用，使他们能够利用Sparrow而无需承担通常与高质量软件解决方案相关的财务负担。

对于超过此收入阈值或需要GPL 3.0许可不能满足的使用条款的企业，我们提供双重许可选项。双重许可允许Sparrow在单独的专有许可下使用，为商业应用和专有集成提供更大的灵活性。

结论

Sparrow是一个强大而灵活的数据处理解决方案，结合了机器学习和大语言模型技术。它的模块化架构和可插拔设计使其适用于各种数据提取和处理任务。无论是通过CLI还是API，Sparrow都提供了直观的界面来处理复杂的文档和图像。随着持续的开发和社区贡献，Sparrow有望成为数据处理领域的重要工具。🚀📊🤖