rtp-llm学习资料汇总 - 阿里巴巴高性能LLM推理引擎

rtp-llm是由阿里巴巴基础模型推理团队开发的大语言模型(LLM)推理加速引擎。它在阿里巴巴集团内部得到广泛应用,为淘宝、天猫、闲鱼、菜鸟、高德、饿了么等多个业务部门提供LLM服务支持。本文将为您汇总rtp-llm项目的各类学习资源,帮助您快速了解和使用这个高性能的LLM推理框架。

🚀 快速开始

GitHub仓库: https://github.com/alibaba/rtp-llm
环境要求:
- 操作系统: Linux
- Python版本: 3.10
- NVIDIA GPU: 计算能力7.0或更高(如RTX20xx, RTX30xx, RTX40xx, V100, T4, A10/A30/A100, L4, H100等)
启动示例:

# 使用Docker
cd rtp-llm/docker
sh ./create_container.sh <CONTAINER_NAME> <IMAGE_NAME>
sh CONTAINER_NAME/sshme.sh

cd ../
TOKENIZER_PATH=/path/to/tokenizer CHECKPOINT_PATH=/path/to/model MODEL_TYPE=your_model_type FT_SERVER_TEST=1 python3 -m maga_transformer.start_server

# 使用pip安装
pip3 install maga_transformer-0.1.9+cuda118-cp310-cp310-manylinux1_x86_64.whl
TOKENIZER_PATH=/path/to/tokenizer CHECKPOINT_PATH=/path/to/model MODEL_TYPE=your_model_type FT_SERVER_TEST=1 python3 -m maga_transformer.start_server

📚 官方文档

🔧 高级功能教程

📊 支持的模型列表

rtp-llm支持多种主流大语言模型,包括但不限于:

Aquila和Aquila2系列
Baichuan和Baichuan2系列
Bloom
ChatGLM系列
Falcon系列
GPT-NeoX
GPT BigCode
LLaMA和LLaMA-2系列
MPT
Phi
Qwen系列
InternLM系列
Gemma
Mixtral

此外,rtp-llm还支持LLAVA和Qwen-VL等多模态模型。

rtp-llm架构图

🌟 特色功能

生产环境验证: 在淘宝问问、阿里国际AI平台Aidge等多个场景中得到应用。
高性能:
- 使用PagedAttention、FlashAttention、FlashDecoding等高性能CUDA内核
- 支持INT8和INT4权重量化
- 自适应KV缓存量化
- 针对V100 GPU进行了特别优化
灵活易用:
- 与HuggingFace模型无缝集成
- 支持多种权重格式(SafeTensors, PyTorch, Megatron)
- 单模型实例部署多个LoRA服务
- 支持多模态输入
- 支持多机多卡张量并行
先进加速技术:
- 加载剪枝后的非规则模型
- 多轮对话的上下文前缀缓存
- 系统提示词缓存
- 推测解码
- Medusa并行策略