LARS: 本地LLM与高级引用解决方案

LARS:本地LLM与高级引用解决方案

在人工智能和自然语言处理领域,大型语言模型(LLM)的应用日益广泛。然而,如何在保护隐私的同时充分利用LLM的强大能力,一直是一个挑战。LARS(LLM & Advanced Referencing Solution)应运而生,为这一问题提供了一个优雅的解决方案。本文将深入探讨LARS的特性、安装过程和使用指南,帮助读者全面了解这一创新工具。

LARS简介

LARS是一款允许用户在本地设备上运行LLM的应用程序。它的独特之处在于,用户可以上传自己的文档,并在与LLM对话时利用这些文档内容来增强AI生成的响应准确性。这种技术被称为"检索增强生成"(Retrieval Augmented Generation, RAG),可以有效减少AI生成的不准确信息或"幻觉"。

LARS的目标是成为最终的开源RAG中心LLM应用程序。为此,LARS将RAG的概念进一步发展,为每个响应添加详细的引用。这些引用包括特定的文档名称、页码、文本高亮显示,以及与问题相关的图像。更令人印象深刻的是,LARS还在响应窗口内直接呈现文档阅读器。虽然并非每个响应都会包含所有这些引用元素,但LARS的设计理念是为每个RAG响应提供至少某种组合的引用,这一目标在实践中通常都能实现。

LARS的主要特性

1. 高级引用: LARS的核心特性是为LLM生成的响应添加详细引用。这包括文档名称、页码、文本高亮和图像提取。用户可以直接在响应窗口中浏览文档,并下载高亮显示的PDF。

2. 支持多种文件格式: LARS支持广泛的文件格式,包括PDF、Word文档、Excel表格、PowerPoint演示文稿、图像文件、RTF和HTML文件等。

3. 对话记忆: 用户可以提出后续问题,包括之前对话的内容。

4. 完整的聊天历史: 用户可以回顾并恢复之前的对话。

5. 灵活的RAG控制: 用户可以随时通过设置强制启用或禁用RAG。

6. 可自定义的系统提示: 用户可以随时通过设置更改系统提示。

7. 拖放式LLM更换: 用户可以随时通过设置更换LLM。

8. 内置提示模板: LARS为最流行的LLM提供内置提示模板,包括Llama3、Llama2、ChatML、Phi3、Command-R、Deepseek Coder、Vicuna和OpenChat-3.5。

9. 纯llama.cpp后端: LARS使用纯llama.cpp后端,无需框架、Python绑定或抽象层。用户可以独立于LARS升级到更新版本的llama.cpp。

10. GPU加速推理: LARS支持Nvidia CUDA加速推理。

11. 高级LLM设置: 用户可以调整LLM温度、top-k、top-p、min-p、n-keep等参数,设置要卸载到GPU的模型层数,并随时启用或禁用GPU使用。

12. 多种嵌入模型: LARS提供四种嵌入模型:sentence-transformers/all-mpnet-base-v2、BGE-Base、BGE-Large和OpenAI Text-Ada。

13. 源UI: LARS为选定的嵌入模型显示一个表格,详细列出已上传到LARS的文档,包括矢量化详情如chunk_size和chunk_overlap。

14. 重置功能: LARS提供一个重置按钮,用于清空和重置矢量数据库。

15. 多种文本提取方法: LARS提供三种文本提取方法:纯本地文本提取选项和两种通过Azure进行的OCR选项,以提高准确性并支持扫描文档。Azure ComputerVision OCR有一个永久免费层。

16. 自定义Azure AI文档智能OCR解析器: LARS为Azure AI文档智能OCR服务提供自定义解析器,通过考虑提取文本的空间坐标来增强表格数据提取并防止文本重复。

LARS的安装过程

安装LARS需要一些准备工作和依赖项。以下是详细的安装步骤:

1. 安装依赖项:

   • Python v3.10.x或更高版本
   • PyTorch (如果计划使用GPU运行LLM,请确保先安装GPU驱动程序和CUDA/ROCm工具包)

2. 克隆LARS仓库:

   git clone https://github.com/abgulati/LARS
   cd LARS
   

3. 安装Python依赖:

   • Windows: pip install -r .\requirements.txt
   • Linux: pip3 install -r ./requirements.txt
   • MacOS: pip3 install -r ./requirements_mac.txt

4. 可选依赖项:

   • llama.cpp (用于本地LLM推理)
   • Nvidia CUDA (如果有支持的Nvidia GPU)
   • LibreOffice (用于支持更多文档格式)
   • Poppler (用于PDF处理)
   • PyTesseract (可选,用于OCR)

安装过程可能会遇到一些问题,LARS的文档提供了详细的故障排除指南。例如,如果遇到Python相关问题,可以尝试创建虚拟环境或移除requirements.txt文件中的版本限制。对于其他问题,如CMake nmake失败,文档提供了具体的解决步骤。

LARS的使用指南

1. 首次运行:

   • 运行LARS: cd web_app && python app.py
   • 导航到http://localhost:5000/
   • 首次运行时,LARS会自动下载一个LLM (Microsoft Phi-3-Mini-Instruct-44)和一个嵌入模型(all-mpnet-base-v2)

2. 文档上传:

   • LARS支持多种文档格式,包括PDF、Word、Excel、PowerPoint等
   • 提供三种文本提取方法:本地提取、Azure ComputerVision OCR和Azure AI文档智能OCR

3. LLM选择和配置:

   • 通过设置菜单选择和配置LLM
   • 选择适当的提示模板格式
   • 调整核心配置设置,如GPU层数、上下文大小、最大生成令牌数等

4. 嵌入模型和向量数据库:

   • 提供四种嵌入模型选择
   • 可以随时切换嵌入模型
   • 提供文档加载表和向量数据库重置功能

5. 系统提示编辑:

   • 通过设置菜单自定义系统提示
   • 更改系统提示将开始新的对话

6. RAG控制:

   • 可以强制启用或禁用RAG
   • 默认设置使用NLP确定何时应该执行RAG

7. 聊天历史:

   • 使用左上角的聊天历史菜单浏览和恢复之前的对话
   • 注意在恢复之前的对话时要注意提示模板的匹配

8. 用户评分:

   • 每个响应都可以进行5分制评分
   • 评分数据存储在chat-history.db SQLite3数据库中

LARS的Docker部署

LARS还提供了Docker容器部署选项,包括CPU推理容器和Nvidia-CUDA GPU启用容器。这为用户提供了更灵活的部署选择,特别是对于那些希望在服务器环境中运行LARS的用户。

1. 安装Docker:

   • 确保CPU支持虚拟化并在BIOS/UEFI中启用
   • 安装Docker Desktop
   • 如果使用Windows,可能需要安装Windows Subsystem for Linux

2. 创建Docker存储卷:

   docker volume create lars_storage_volume
   

3. 构建和运行CPU推理容器:

   cd LARS/dockerized
   docker build -t lars-no-gpu .
   docker run -p 5000:5000 -p 8080:8080 -v lars_storage:/app/storage lars-no-gpu
   

4. 构建和运行Nvidia-CUDA GPU启用容器:

   • 需要额外安装Nvidia Container Toolkit
   • 构建和运行步骤类似于CPU容器,但使用不同的Dockerfile

使用Docker部署LARS可以简化安装过程,并提供更好的环境隔离。这对于在不同机器上保持一致的LARS环境特别有用。

LARS的未来发展

LARS的开发团队有一个明确的路线图,计划在未来版本中添加更多功能:

1. 支持多用户和身份验证
2. 添加更多嵌入模型选项
3. 改进文档处理和OCR功能
4. 优化性能和资源使用
5. 增加对更多LLM格式的支持
6. 改进用户界面和体验

这些计划的功能将进一步增强LARS的功能,使其成为更强大和灵活的本地LLM解决方案。

结论

LARS代表了本地LLM应用的一个重要进步。通过将强大的语言模型能力与用户自己的文档相结合,LARS为个性化和准确的AI辅助提供了一个独特的平台。它的高级引用功能、灵活的配置选项和广泛的文件格式支持使其成为研究人员、开发者和企业用户的理想选择。

随着AI技术的不断发展,像LARS这样的工具将在保护隐私和提高AI响应质量方面发挥越来越重要的作用。无论是用于个人研究、企业知识管理还是教育目的,LARS都提供了一个强大而灵活的解决方案。

对于那些希望探索本地LLM能力的用户来说,LARS无疑是一个值得尝试的工具。随着其持续的开发和社区支持,我们可以期待看到LARS在未来变得更加强大和用户友好。

🔗 LARS GitHub仓库 🔗 LARS功能演示视频

通过深入了解和使用LARS,用户不仅可以提高自己的工作效率,还可以为开源AI社区的发展做出贡献。随着更多用户的加入和反馈,LARS有望在本地LLM应用领域继续引领创新。