LARS: 本地LLM与高级引用解决方案

LARS:本地LLM与高级引用解决方案

在人工智能和自然语言处理领域,大型语言模型(LLM)的应用日益广泛。然而,如何在保护隐私的同时充分利用LLM的强大能力,一直是一个挑战。LARS(LLM & Advanced Referencing Solution)应运而生,为这一问题提供了一个优雅的解决方案。本文将深入探讨LARS的特性、安装过程和使用指南,帮助读者全面了解这一创新工具。

LARS简介

LARS是一款允许用户在本地设备上运行LLM的应用程序。它的独特之处在于,用户可以上传自己的文档,并在与LLM对话时利用这些文档内容来增强AI生成的响应准确性。这种技术被称为"检索增强生成"(Retrieval Augmented Generation, RAG),可以有效减少AI生成的不准确信息或"幻觉"。

LARS Logo

LARS的目标是成为最终的开源RAG中心LLM应用程序。为此,LARS将RAG的概念进一步发展,为每个响应添加详细的引用。这些引用包括特定的文档名称、页码、文本高亮显示,以及与问题相关的图像。更令人印象深刻的是,LARS还在响应窗口内直接呈现文档阅读器。虽然并非每个响应都会包含所有这些引用元素,但LARS的设计理念是为每个RAG响应提供至少某种组合的引用,这一目标在实践中通常都能实现。

LARS的主要特性

高级引用: LARS的核心特性是为LLM生成的响应添加详细引用。这包括文档名称、页码、文本高亮和图像提取。用户可以直接在响应窗口中浏览文档,并下载高亮显示的PDF。
支持多种文件格式: LARS支持广泛的文件格式,包括PDF、Word文档、Excel表格、PowerPoint演示文稿、图像文件、RTF和HTML文件等。
对话记忆: 用户可以提出后续问题,包括之前对话的内容。
完整的聊天历史: 用户可以回顾并恢复之前的对话。
灵活的RAG控制: 用户可以随时通过设置强制启用或禁用RAG。
可自定义的系统提示: 用户可以随时通过设置更改系统提示。
拖放式LLM更换: 用户可以随时通过设置更换LLM。
内置提示模板: LARS为最流行的LLM提供内置提示模板,包括Llama3、Llama2、ChatML、Phi3、Command-R、Deepseek Coder、Vicuna和OpenChat-3.5。
纯llama.cpp后端: LARS使用纯llama.cpp后端,无需框架、Python绑定或抽象层。用户可以独立于LARS升级到更新版本的llama.cpp。
GPU加速推理: LARS支持Nvidia CUDA加速推理。
高级LLM设置: 用户可以调整LLM温度、top-k、top-p、min-p、n-keep等参数,设置要卸载到GPU的模型层数,并随时启用或禁用GPU使用。
多种嵌入模型: LARS提供四种嵌入模型:sentence-transformers/all-mpnet-base-v2、BGE-Base、BGE-Large和OpenAI Text-Ada。
源UI: LARS为选定的嵌入模型显示一个表格,详细列出已上传到LARS的文档,包括矢量化详情如chunk_size和chunk_overlap。
重置功能: LARS提供一个重置按钮,用于清空和重置矢量数据库。
多种文本提取方法: LARS提供三种文本提取方法:纯本地文本提取选项和两种通过Azure进行的OCR选项,以提高准确性并支持扫描文档。Azure ComputerVision OCR有一个永久免费层。
自定义Azure AI文档智能OCR解析器: LARS为Azure AI文档智能OCR服务提供自定义解析器,通过考虑提取文本的空间坐标来增强表格数据提取并防止文本重复。

LARS的安装过程

安装LARS需要一些准备工作和依赖项。以下是详细的安装步骤:

安装依赖项:
- Python v3.10.x或更高版本
- PyTorch (如果计划使用GPU运行LLM,请确保先安装GPU驱动程序和CUDA/ROCm工具包)

克隆LARS仓库:

git clone https://github.com/abgulati/LARS
cd LARS

安装Python依赖:
- Windows: pip install -r .\requirements.txt
- Linux: pip3 install -r ./requirements.txt
- MacOS: pip3 install -r ./requirements_mac.txt
可选依赖项:
- llama.cpp (用于本地LLM推理)
- Nvidia CUDA (如果有支持的Nvidia GPU)
- LibreOffice (用于支持更多文档格式)
- Poppler (用于PDF处理)
- PyTesseract (可选,用于OCR)

安装过程可能会遇到一些问题,LARS的文档提供了详细的故障排除指南。例如,如果遇到Python相关问题,可以尝试创建虚拟环境或移除requirements.txt文件中的版本限制。对于其他问题,如CMake nmake失败,文档提供了具体的解决步骤。

LARS的使用指南

首次运行:
- 运行LARS: cd web_app && python app.py
- 导航到http://localhost:5000/
- 首次运行时,LARS会自动下载一个LLM (Microsoft Phi-3-Mini-Instruct-44)和一个嵌入模型(all-mpnet-base-v2)
文档上传:
- LARS支持多种文档格式,包括PDF、Word、Excel、PowerPoint等
- 提供三种文本提取方法:本地提取、Azure ComputerVision OCR和Azure AI文档智能OCR
LLM选择和配置:
- 通过设置菜单选择和配置LLM
- 选择适当的提示模板格式
- 调整核心配置设置,如GPU层数、上下文大小、最大生成令牌数等
嵌入模型和向量数据库:
- 提供四种嵌入模型选择
- 可以随时切换嵌入模型
- 提供文档加载表和向量数据库重置功能
系统提示编辑:
- 通过设置菜单自定义系统提示
- 更改系统提示将开始新的对话
RAG控制:
- 可以强制启用或禁用RAG
- 默认设置使用NLP确定何时应该执行RAG
聊天历史:
- 使用左上角的聊天历史菜单浏览和恢复之前的对话
- 注意在恢复之前的对话时要注意提示模板的匹配
用户评分:
- 每个响应都可以进行5分制评分
- 评分数据存储在chat-history.db SQLite3数据库中

LARS的Docker部署

LARS还提供了Docker容器部署选项,包括CPU推理容器和Nvidia-CUDA GPU启用容器。这为用户提供了更灵活的部署选择,特别是对于那些希望在服务器环境中运行LARS的用户。

安装Docker:
- 确保CPU支持虚拟化并在BIOS/UEFI中启用
- 安装Docker Desktop
- 如果使用Windows,可能需要安装Windows Subsystem for Linux

创建Docker存储卷:

docker volume create lars_storage_volume

构建和运行CPU推理容器:

cd LARS/dockerized
docker build -t lars-no-gpu .
docker run -p 5000:5000 -p 8080:8080 -v lars_storage:/app/storage lars-no-gpu

构建和运行Nvidia-CUDA GPU启用容器:
- 需要额外安装Nvidia Container Toolkit
- 构建和运行步骤类似于CPU容器,但使用不同的Dockerfile

使用Docker部署LARS可以简化安装过程,并提供更好的环境隔离。这对于在不同机器上保持一致的LARS环境特别有用。

LARS的未来发展

LARS的开发团队有一个明确的路线图,计划在未来版本中添加更多功能:

支持多用户和身份验证
添加更多嵌入模型选项
改进文档处理和OCR功能
优化性能和资源使用
增加对更多LLM格式的支持
改进用户界面和体验

这些计划的功能将进一步增强LARS的功能,使其成为更强大和灵活的本地LLM解决方案。

结论

LARS代表了本地LLM应用的一个重要进步。通过将强大的语言模型能力与用户自己的文档相结合,LARS为个性化和准确的AI辅助提供了一个独特的平台。它的高级引用功能、灵活的配置选项和广泛的文件格式支持使其成为研究人员、开发者和企业用户的理想选择。

随着AI技术的不断发展,像LARS这样的工具将在保护隐私和提高AI响应质量方面发挥越来越重要的作用。无论是用于个人研究、企业知识管理还是教育目的,LARS都提供了一个强大而灵活的解决方案。

对于那些希望探索本地LLM能力的用户来说,LARS无疑是一个值得尝试的工具。随着其持续的开发和社区支持,我们可以期待看到LARS在未来变得更加强大和用户友好。

🔗 LARS GitHub仓库 🔗 LARS功能演示视频

通过深入了解和使用LARS,用户不仅可以提高自己的工作效率,还可以为开源AI社区的发展做出贡献。随着更多用户的加入和反馈,LARS有望在本地LLM应用领域继续引领创新。

LARS: 本地LLM与高级引用解决方案