GPTCache

项目介绍：GPTCache

项目概述

GPTCache 是一个用于大语言模型（LLM）查询的语义缓存库，旨在帮助用户显著降低 API 成本并提升响应速度。随着应用程序的普及，LLM API 调用成本可能会增加，而响应速度可能会变慢。GPTCache 提供了一个创新的解决方案，通过语义缓存存储 LLM 的响应，从而减少 API 调用次数和响应延迟。

主要特性

降低开销与提升性能

• 节省成本：通过缓存查询结果减少请求和令牌的数量，从而降低 LLM 服务的使用费用。
• 提高性能：对于已缓存的查询，直接从缓存中获取结果，而不需要新的 LLM 服务调用，极大地缩短了响应时间。
• 适应性开发和测试：提供与 LLM API 兼容的接口，可用于存储 LLM 生成的数据和模拟数据；开发者可以在不连接 LLM 服务的情况下进行开发与测试。

扩展性与可用性

• 提高扩展性和可用性：通过缓存，无需担心 LLM 服务的限速和中断，可以更好地支持增加的查询量。

工作原理

传统缓存系统通常使用精确匹配，但这对于复杂多变的 LLM 查询并不适合。GPTCache 采用语义缓存策略，通过将查询转换为向量，并用相似性搜索技术来识别和检索类似的查询，从而提高缓存命中率。

模块化设计

• LLM 适配器：支持不同的 LLM 模型，并提供统一的 API 接口。目前支持 OpenAI ChatGPT、Langchain 等。
• 多模态适配器（实验性）：支持图片生成和音频转文本等大多模态模型。
• 嵌入生成器：用于提取请求的嵌入，支持多种 API 和工具，如 OpenAI 嵌入 API、ONNX 模型等。
• 缓存存储：存储 LLM 响应，支持 SQLite、DuckDB、PostgreSQL 等。
• 向量存储：用于相似性搜索，包括 Milvus、FAISS 等。
• 缓存管理器：控制缓存存储和向量存储的操作，提供多种驱逐策略和分布式缓存方案。
• 相似性评估器：根据各种策略评估请求的相似性，并判断缓存命中情况。

使用示例

用户可以通过简单地添加几行代码来使用 GPTCache，而无需修改现有代码：

from gptcache import cache
from gptcache.adapter import openai

cache.init()
cache.set_openai_key()

通过这种方式，用户可以轻松、快速地降低服务成本，提升应用性能。

进一步了解

欲了解更多信息，请访问相关文档：

• 使用指南
• 功能特性
• 示例

项目展望

GPTCache 正在迅速发展中，项目未来计划支持更多类型的 LLM 和多模态模型，并将继续优化用户体验。对于有兴趣的开发者，也诚邀加入贡献！详见贡献指南。