mistral.rs入门指南 - 快速高效的LLM推理平台

mistral.rs简介

mistral.rs是一个快速、高效的大型语言模型(LLM)推理平台,具有以下主要特点:

• 支持在多种设备上进行推理,包括CPU、GPU和Apple Silicon
• 提供量化功能,支持2-bit到8-bit的量化
• 兼容OpenAI API的HTTP服务器
• 提供Python绑定,易于集成

主要功能

高性能推理

• 支持Apple Silicon的Metal框架
• CPU推理支持MKL和Accelerate优化
• CUDA支持,包括Flash Attention和cuDNN
• 连续批处理和PagedAttention支持
• 前缀缓存
• 设备映射:在设备和CPU上分层加载和运行

量化支持

• GGML:2-bit到8-bit量化,支持ISQ
• GPTQ:2-bit、3-bit、4-bit和8-bit量化
• HQQ:4-bit和8-bit量化,支持ISQ
• ISQ(原位量化):直接从Hugging Face Hub运行.safetensors模型

易用性

• 轻量级兼容OpenAI API的HTTP服务器
• Python API
• 支持正则表达式和Yacc的语法
• 使用YAML文件配置ISQ和设备映射

强大功能

• 快速LoRA支持
• X-LoRA推理支持
• 投机解码
• 动态LoRA适配器切换
• AnyMoE:快速构建内存高效的MoE模型
• PagedAttention
• 多种采样和惩罚技术
• 工具调用
• 提示分块
• 自定义logits处理器API

快速开始

1. 安装:

pip install mistralrs

2. 下载模型:

   • 从Hugging Face Hub自动下载
   • 或使用本地GGUF模型文件

3. 使用Python API:

from mistralrs import MistralRS

llm = MistralRS(model="mistralai/Mistral-7B-v0.1")
response = llm.generate("Hello, how are you?")
print(response)

4. 或使用HTTP服务器:

mistralrs_server --port 8000 plain -m mistralai/Mistral-7B-v0.1

然后可以通过HTTP请求使用模型。

支持的模型和加速器

mistral.rs支持多种流行的LLM模型,如Mistral、LLama、Phi等。支持的加速器包括:

• CUDA(支持Flash Attention)
• Metal
• CPU(支持MKL和Accelerate)

结语

mistral.rs为LLM推理提供了一个高性能、易用的平台。无论您是想在本地运行模型,还是构建AI应用,mistral.rs都是一个值得尝试的强大工具。欢迎访问GitHub仓库了解更多信息并参与贡献。