KTransformers 项目介绍

KTransformers（发音为 Quick Transformers）是一个灵活高效的框架，旨在为基于 🤗 Transformers 的大语言模型（LLM）推理提供最前沿的优化方案。它通过先进的内核优化和智能的模块注入策略，不仅大幅提升模型推理速度，还能在资源有限的本地部署环境中发挥出色性能。

主要特性

• 高级内核优化
  利用 Llamafile、Marlin 等先进内核，实现对量化模型在 CPU 与 GPU 上的高效推理优化。

• 灵活的模块注入
  采用基于 YAML 的模板注入机制，用户只需一行代码即可将原始的 Torch 模块替换为优化模块，实现多种优化策略的组合应用。

• RESTful API 支持
  提供与 OpenAI 及 Ollama 兼容的 API，同时还内置了类似 ChatGPT 的 Web UI，方便用户快速上手并集成到现有工作流中。

• 多 GPU 与异构计算
  支持单 GPU、多 GPU 及 GPU/CPU 混合部署，充分挖掘硬件潜能，优化资源利用率。

• 与 Hugging Face Transformers 兼容
  无缝对接 Hugging Face 的生态系统，简化了大语言模型的部署与优化过程。

最新更新

• 2025年2月15日
  发布 KTransformers V0.2.1：支持上下文长度从 4K 提升至 8K（适用于 24GB VRAM），预填充速度提升至最高 286.55 tokens/s。

• 2025年2月10日
  新增对 Deepseek-R1 与 V3 的支持，在单 GPU（24GB VRAM）或多 GPU 环境下可实现 3~28 倍的速度提升。

• 2024年8月系列更新
  包括降低 Deepseek-V2 的 VRAM 需求、支持 Windows 原生、以及新模型与量化内核（如 q2k、q3k、q5k）的支持等改进。

应用场景

• 本地大模型推理
  如 GPT-4/o1 级别的本地 VSCode Copilot，仅需 24GB VRAM 即可实现高效推理。

• 高效代码生成
  DeepSeek-Coder 系列模型通过 MoE 离线技术和内核注入，极大提升预填充和生成速度，在 BigCodeBench 测试中表现优异。

• 集成 API
  提供 OpenAI 及 Ollama 兼容接口，可无缝对接多种前端（如 Tabby），构建灵活的本地部署解决方案。