llm-app

LLM App：高效构建和部署大规模AI应用的模板库

LLM App 是由 Pathway 公司开发的一系列大型语言模型(LLM)应用模板库。这个项目旨在帮助开发者快速构建和部署能够提供高精度RAG(检索增强生成)和企业级AI搜索的应用程序。这些应用可以轻松处理大规模数据，并且能够使用最新的知识来源。

主要特点

多样化的数据源支持

LLM App 支持连接和同步多种数据源，包括:

• 本地文件系统
• Google Drive
• SharePoint
• Amazon S3
• Kafka
• PostgreSQL
• 实时数据 API

这种广泛的数据源支持使得应用可以灵活地适应不同的企业环境和需求。

内置索引和搜索功能

该项目内置了强大的数据索引功能，支持：

• 向量搜索
• 混合搜索
• 全文搜索

这些搜索功能都是在内存中进行的，并且带有缓存机制，可以显著提高搜索效率。

高度可扩展性

LLM App 模板可以处理高达数百万页的文档，具有出色的可扩展性。开发者可以根据自己的需求选择合适的模板，既可以直接使用，也可以进行定制化修改。

应用模板介绍

LLM App 提供了多种应用模板，每种模板都针对特定场景进行了优化：

问答RAG应用

这是一个基础的端到端RAG应用，可以使用选定的GPT模型对连接的数据源（如PDF、DOCX文件等）进行问答。

实时文档索引

这个模板可以作为向量存储服务，对连接的数据源进行实时索引。它可以与任何前端集成，或者作为Langchain或Llamaindex应用的检索后端。

多模态RAG管道

使用GPT-4o模型在解析阶段对PDF和其他文档进行索引，特别适合从非结构化金融文档中提取信息。

非结构化到SQL管道

这个RAG示例可以将非结构化金融数据源（如财务报告PDF）转换为结构化的SQL数据，并加载到PostgreSQL表中。它还可以使用LLM将自然语言查询转换为SQL语句并执行。

Google Drive变更提醒

这个应用可以监控Google Drive文件夹的变化，并在回答发生变化时通过Slack发送提醒。

自适应RAG应用

使用Pathway开发的自适应RAG技术，可以在保持准确性的同时将RAG的token成本降低至原来的1/4。

私有RAG应用

使用Pathway、Mistral和Ollama构建的完全私有（本地）版本的RAG管道。

技术实现

LLM App 使用Docker容器运行，并通过HTTP API与前端连接。一些模板还包含了可选的Streamlit UI，方便快速测试和演示。

这些应用依赖于Pathway框架来实现数据源同步和API请求服务。Pathway是一个独立的Python库，内置了Rust引擎。LLM App 为Gen AI应用提供了简单统一的应用逻辑，无需集成和维护单独的向量数据库、缓存和API框架模块。

总结

LLM App 为开发者提供了一套强大而灵活的工具，可以快速构建和部署高性能的AI应用。无论是处理大规模数据、实时更新知识库，还是提供精确的问答服务，LLM App 都能够满足各种复杂的企业级AI应用需求。