最佳量化AI工具和应用推荐 - 提升数据分析效率
LLM-FineTuning-Large-Language-Models
LLMFine-tuning
LLM微调实践与技术应用指南
docker-llama2-chat
Github开源项目
通过Docker快速部署LLaMA2大模型的方法介绍
SqueezeLLM
SqueezeLLM量化
硬件资源优化下的大语言模型量化服务
OmniQuant
OmniQuant量化
简便高效的大型语言模型量化技术
rtp-llm
rtp-llm大语言模型
大型语言模型推理加速引擎
curated-transformers
Curated TransformersPyTorch
一个为PyTorch设计的转换器库，提供最新的模型和可复用组件
Awesome-Efficient-LLM
Large Language Models模型剪枝
知识蒸馏、网络剪枝、量化和加速推理等针对大型语言模型优 化的关键技术的汇总
lmdeploy
LMDeploy量化
优化LLM推理的量化和部署工具
vllm
vLLMLLM服务
高性能与易用性的LLM推理与服务平台
text-generation-inference
Text Generation InferenceHugging Face
生产级高性能文本生成推理工具
推荐工具精选
AI云服务特惠
懂AI专属折扣关注微信公众号
最新AI工具、AI资讯
独家AI资源、AI项目落地
微信扫一扫关注公众号