llm-applications

LLM Applications 项目介绍

LLM Applications 项目是一个全面指南，旨在帮助开发者构建基于 RAG（检索增强生成）技术的 LLM 应用程序，并将其应用于生产环境中。该项目通过多种资源为开发者提供支持，包括博文、GitHub 仓库、互动笔记本等，帮助用户从头开始开发、扩展和优化 LLM 应用。

项目背景

自从大型语言模型（LLM）被引入以来，它们在自然语言处理领域显示出了极大的潜力。RAG（检索增强生成）是一种结合信息检索和文本生成的技术，它通过在生成文本之前对相关信息进行检索，来提高生成结果的准确性和相关性。LLM Applications 项目正是基于这种技术框架，旨在为开发者提供从搭建到部署的全方位指导。

项目目标

该项目的主要目标包括：

从零开发一个 RAG 应用：帮助用户了解如何从无到有构建一个基于 RAG 的 LLM 应用。
扩展应用的主要组件：包括负载、切块、嵌入、索引和服务等组件的扩展。
评估和优化应用配置：通过对各组件（如 retrieval_score）和整体性能（如 quality_score）的评估，优化应用表现。
实现 LLM 混合路由：在开源和闭源 LLM 之间构建桥梁，以达到最佳效果。
高度可扩展的服务部署：提供能够高效扩展并具备高可用性的应用服务。
分享 LLM 应用对产品的影响：了解这些应用是如何对现有产品产生一、二阶影响的。

环境和设置

API 密钥

项目将使用 OpenAI 访问 ChatGPT 模型（如 gpt-3.5-turbo 和 gpt-4），以及通过 Anyscale Endpoints 访问开源 LLM（如 Llama-2-70b）。开发者需预先创建相关账户并准备好 API 凭证。

计算资源

对于环境设置，开发者可以选择在本地计算机上运行，或者推荐使用支持 GPU 的平台（如 Anyscale）。通过 Anyscale 提供的工作区和 GPU 节点，用户可以更高效地运行工作负载。

克隆仓库

用户可以通过以下命令克隆项目仓库：

git clone https://github.com/ray-project/llm-applications.git .

数据和环境配置

项目所需的数据已存储于指定路径，用户可以根据需要加载数据；同时，通过安装必要的依赖和设置环境变量，用户可以快速搭建开发环境。

pip install --user -r requirements.txt
export PYTHONPATH=$PYTHONPATH:$PWD
pre-commit install
pre-commit autoupdate

凭证文件

创建 .env 文件来管理所需的 API 键和数据库连接字符串等环境变量。

使用互动笔记本

准备好环境后，开发者可以通过项目提供的 rag.ipynb 互动笔记本，进一步开发和部署 LLM 应用。