rwkv.cpp是一个专注于在CPU上运行RWKV语言模型的开源项目。它支持FP32、FP16以及INT4、INT5和INT8等量化格式的推理,同时也支持cuBLAS加速。该项目主要面向CPU使用场景,但也可以利用GPU进行加速。

git clone --recursive https://github.com/saharNooby/rwkv.cpp.git cd rwkv.cpp
获取rwkv.cpp库:
下载并转换RWKV模型:
# 下载模型 # 转换模型格式 python convert_pytorch_to_ggml.py model.pth model.bin FP16 # 可选:量化模型 python quantize.py model.bin model-q8_0.bin Q8_0
# 生成文本 python generate_completions.py model-q8_0.bin # 聊天机器人 python chat_with_bot.py model-q8_0.bin
以下是在4核/8线程x86 CPU(AVX2)上运行RWKV v4 169M和1.5B模型的性能数据:
| 格式 | 困惑度(169M) | 延迟(ms,1.5B) | 文件大小(GB,1.5B) |
|---|---|---|---|
| Q4_0 | 17.507 | 76 | 1.53 |
| Q4_1 | 17.187 | 72 | 1.68 |
| Q5_0 | 16.194 | 78 | 1.60 |
| Q5_1 | 15.851 | 81 | 1.68 |
| Q8_0 | 15.652 | 89 | 2.13 |
| FP16 | 15.623 | 117 | 2.82 |
| FP32 | 15.623 | 198 | 5.64 |
rwkv.cpp为在CPU上运行大型RWKV语言模型提供了高效的解决方案。无论是用于研究还是生产环境,该 项目都能帮助开发者以较低的硬件需求实现优秀的推理性能。欢迎开发者们尝试使用并为项目做出贡献!



职场AI,就用扣子
AI办公助手,复杂任务高效处理。办公效率低?扣子空间AI助手支持播客生成、PPT制作、网页开发及报告写作,覆盖科研、商业、舆情等领域的专家Agent 7x24小时响应,生活工作无缝切换,提升50% 效率!


多风格AI绘画神器
堆友平台由阿里巴巴设计团队创建,作为一款AI驱动的设计工具,专为设计师提供一站式增长服务。功能覆盖海量3D素材、AI绘画、实时渲染以及专业抠图,显著提升设计品质和效率。平台不仅提供工具,还是一个促进创意交流和个人发展的空间,界面友好,适合所有级别的设计师和创意工作者。


零代码AI应用开发平台
零代码AI应用开发平台,用户只需一句话简单描述需求,AI能自动生成小程序、APP或H5网页应用,无需编写代码。


免费创建高清无水印Sora视频
Vora是一个免费创建高清无水印Sora视频的AI工具


最适合小白的AI自动化工作流平台
无需编码,轻松生成可复用、可变现的AI自动化工作流

大模型驱动的Excel数据处理工具
基于大模型交互的表格处理系统,允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令,自动执行排序、公式计算和数据透视等操作,支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内,支持超过100万行数据的即时分析。


AI辅助编程,代码自动修复
Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。


AI论文写作指导平台
AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务, 保障数据安全,有效提升写作效率和论文质量。


AI一键生成PPT,就用博思AIPPT!
博思AIPPT,新一代的AI生成PPT平台,支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等,内置海量精美PPT模板,涵盖商务、教育、科技等不同风格,同时针对每个页面提供多种版式,一键自适应切换,完美适配各种办公场景。


AI赋能电商视觉革命,一站式智能商拍平台
潮际好麦深耕服装行业,是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌,以及国内10万+淘宝、天猫、京东等主流平台的品牌商家,为卖家节省将近85%的出图成本,提升约3倍出图效率,让品牌能够快速上架。