aphrodite-engine

<h1 align="center"> 为语言注入生命 </h1>

Aphrodite是PygmalionAI的官方后端引擎。它被设计用作PygmalionAI网站的推理端点，并允许以极快的速度（得益于vLLM的Paged Attention）为大量用户提供Pygmalion模型服务。

Aphrodite建立在并整合了多个项目的杰出工作。

Aphrodite开发所需的计算资源由Arc Compute提供。

特性

• 连续批处理
• 使用来自vLLM的PagedAttention进行高效的K/V管理
• 优化的CUDA内核以提高推理性能
• 通过AQLM、AWQ、Bitsandbytes、EXL2、GGUF、GPTQ、QuIP#、Smoothquant+和SqueezeLLM支持量化
• 分布式推理
• 多种采样方法（Mirostat、局部典型采样、无尾采样等）
• 8位KV缓存，支持FP8和INT8格式，以实现更长的上下文长度和更高的吞吐量。

快速开始

安装引擎：

pip install -U aphrodite-engine --extra-index-url https://downloads.pygmalion.chat/whl

---

[!重要]
如果你需要最新功能，如Llama 3.1支持，你需要构建发布候选分支。

直接安装：

pip install -U aphrodite-engine@git+https://github.com/PygmalionAI/aphrodite-engine.git@rc_054

或克隆并构建（推荐）：

git clone -b rc_054 https://github.com/PygmalionAI/aphrodite-engine.git && cd aphrodite-engine
pip install -e .

---

然后启动一个模型：

aphrodite run meta-llama/Meta-Llama-3-8B-Instruct

这将创建一个OpenAI兼容的API服务器，可以在本地主机的2242端口访问。你可以将API插入到支持OpenAI的UI中，比如SillyTavern。

请参阅wiki获取完整的参数和标志列表，你可以传递给引擎。

你可以在这里的演示中试用引擎：

Docker

此外，我们提供了一个Docker镜像以便于部署。以下是一个基本命令来帮助你开始：

sudo docker run -d -e MODEL_NAME="mistralai/Mistral-7B-Instruct-v0.2" -p 2242:2242 --gpus all --ipc host alpindale/aphrodite-engine

这将拉取Aphrodite Engine镜像（约9GiB下载），并在2242端口启动带有Mistral-7B模型的引擎。查看这里获取完整的环境变量列表。

查看这里获取用于Docker Compose的Compose文件。

要求

• 操作系统：Linux（或Windows的WSL）
• Python：至少3.8

对于Windows用户，如果不需要批处理支持，建议使用tabbyAPI。

构建要求：

• CUDA >= 11

有关支持的GPU，请参见这里。一般来说，所有半现代GPU都受支持 - 最低至Pascal（GTX 10xx、P40等）。

安装

• 使用pip
• 从源代码构建

使用

关于使用，请参阅wiki页面获取详细说明。Aphrodite为LLM推理提供了许多不同的选项，所以请阅读这里的选项列表。

性能

速度因不同的GPU、模型大小、量化方案、批处理大小等而异。以下是通过从API服务器请求尽可能多的完成来进行的一些基准测试。

批处理大小为1的性能

这些是用户在请求单个输出时通常会获得的速度，包括相当大的提示和输出长度。本质上是正常的聊天体验。

以下结果是通过发送8192个提示令牌并请求1024个令牌（设置ignore_eos=True）的请求获得的。

GPU：NVIDIA A40，Mistral 7B。基准是使用text-generation-webui以FP16加载的相同模型。

高批处理大小性能

正在进行中。

注意事项

1. 默认情况下，Aphrodite会占用GPU 90%的VRAM。如果你不是在大规模服务LLM，你可能想限制它占用的内存量。你可以在API示例中通过使用--gpu-memory-utilization 0.6（0.6表示60%）来启动服务器。

2. 你可以通过运行aphrodite run --help查看完整的命令列表。

3. 大多数模型支持通过RoPE方法进行上下文长度扩展。使用命令行标志--max-model-len指定所需的上下文长度，引擎将相应地调整RoPE缩放。

4. 如果遇到问题，请参阅FAQ和问题。如果你在那里找不到答案，请提出一个issue。

致谢

没有其他开源项目的杰出工作，Aphrodite Engine就不可能实现。感谢以下项目：

• vLLM（CacheFlow）
• TensorRT-LLM
• xFormers
• AutoAWQ
• AutoGPTQ
• SqueezeLLM
• Exllamav2
• TabbyAPI
• AQLM
• KoboldAI
• Text Generation WebUI
• Megatron-LM
• Ray

贡献

欢迎每个人贡献。你可以通过为新功能、修复或一般的用户体验改进开启拉取请求来支持项目。