Chinese-Mixtral
使用Sparse MoE架构的中文Mixtral模型
模型基于Mistral.ai的Mixtral模型开发，经过中文增量训练与指令精调，具备处理长文本（原生支持32K上下文，实测可达128K）的能力。包括中文Mixtral基础模型与指令模型，显著提升数学推理和代码生成性能。通过llama.cpp进行量化推理，最低仅需16G内存。开源提供代码、训练脚本与详细教程，支持多种推理和部署工具，适合个人电脑本地快速部署量化模型。
Chinese-Mixtral 项目介绍
项目背景
Chinese-Mixtral 项目基于 Mistral.ai 发布的 Mixtral 模型，通过大规模的中文无标注数据进行了增量训练，最终开发出了中文版的 Mixtral 模型。这一基于稀疏混合专家模型（Sparse MoE）架构的模型在处理长文本及相关任务如数学推理和代码生成方面表现出色。
模型特性
稀疏混合专家模型
Mixtral 模型是一个稀疏混合专家模型，与常规的大语言模型有显著不同：
- 模型的每一层包含多个专家（全连接层），选择两个最优的进行激活。
- 输入序列中的每个 token 会独立选择激活的专家。
- 尽管模型的总参数量达到 46.7B，但实际推理时只激活其中的 13B。
支持长文本处理
模型原生支持32K的上下文长度，通过实验证明最高可支持到128K。这使得该模型在处理大量文本信息时具有优势。
模型版本
中文Mixtral
- 类型：基座模型
- 适用场景：文本续写任务
- 训练数据：大规模无标注中文数据
中文Mixtral-Instruct
- 类型：指令模型（类 ChatGPT）
- 适用场景：问答、写作、聊天及交互任务
- 训练数据：标注的指令数据
模型下载及版本
用户可以选择三种模型类型下载：
- 完整版模型：适合网络带宽充足的用户。
- LoRA版模型：需要与原版 Mixtral 合并后使用。
- GGUF版模型：主要用于部署推理。
推理与部署
该项目支持多种推理和部署方式，适合不同的硬件环境及需求，主要通过以下工具实现：
- llama.cpp
- 🤗Transformers
- text-generation-webui
- LangChain
- privateGPT
模型效果评估
通过多种评测基准如 C-Eval、CMMLU、MMLU 和 LongBench，对模型的各种能力进行了验证，展示了其在不同任务上的优越表现。
训练与精调
预训练
利用大规模无标注数据进行增量训练以获得基础模型。
指令精调
在基础模型的基础上，通过有标注的数据进一步精调，形成了适合各种自动化任务的指令模型。
常见问题
项目的常见问题解答已经在 GitHub 上进行汇总，以方便用户快速解决使用中的常见困惑。
结语
Chinese-Mixtral 项目在大模型的中文语言适配方面做了极大的突破，通过不断优化的稀疏混合专家模型架构和丰富的中文训练数据，使其在多个任务领域中展现出强劲的能力。随着项目的持续发展和优化，期待它在未来更多的应用场景中发挥更大作用。
引用及免责声明
使用该模型时，请遵守相关的开源许可协议。特别在模型生成的内容可能存在不准确性的情况下，项目不对其产生的结果及影响承担责任。
编辑推荐精选
小云雀
字节旗下AI内容创作Agent
小云雀是字节跳动旗下剪映团队推出的AI内容创作Agent，主打”一句话打造一个爆款”的零门槛创作体验。用户只需输入一句指令，可自动生成15-60秒短视频、数字人口播视频、风格化海报等内容，支持200+可商用数字人形象和19种语言及方言。小云雀核心功能包括智能成片、AI设计、照片会说话、爆款复刻等，已接入豆包大模型、DeepSeek Chat及自研Seedance 2.0视频生成模型、Seedream 5.0图像生成模型。目前支持安卓APP和网页版，每日登录可领取120积分。适合自媒体创作者、电商营销人员、教育工作者及普通用户使用，近期因用户量激增，视频生成排队时长可达8小时。
豆包
字节跳动旗下 AI 智能助手
字节跳动旗下 AI 智能助手
Pixmax
一站式AI短剧创作平台
Pixmax专注打造下一代“ AI 视觉创作引擎”，整合行业顶尖 AI 大模型、工工业级精准 控制及企业级协同管理功能，是全方位的 AI 内容创作平台。
GPT Plus｜Pro充值
GPT充值
支持 ChatGPT Plus / Pro 充值服务，支付便捷，自动发货，售后可查。
GPT Image 2中文站
AI 图片生成平台
GPT Image 2 是面向用户的 AI 图片生成平台，支持文生图、图生图及多模型创意工作流。
Vecbase
你的AI Agent团队
Vecbase 是专为 AI 团队打造的智能工作空间，将数据管理、模型协作与知识沉淀整合于一处。算法、产品与业务在同一平台无缝协同，让从数据到 AI 应用的落地更快一步。
音述AI
全球首个AI音乐社区
音述AI是全球首个AI音乐社区，致力让每个人都能用音乐表达自我。音述AI提供零门槛AI创作工具，独创GETI法则帮助用户精准定义音乐风格，AI润色功能支持自动优化作品质感。音述AI支持交流讨论、二次创作与价值变现。针对中文用户的语言习惯与文化背景进行专门优化，支持国风融合、C-pop等本土音乐标签，让技术更好地承载人文表达。
QoderWork
阿里Qoder团队推出的桌面端AI智能体
QoderWork 是阿里推出的本地优先桌面 AI 智能体，适配 macOS14+/Windows10+，以自然语言交互实现文件管理、数据分析、AI 视觉生成、浏览器自动化等办公任务，自主拆解执行复杂工作流，数据本地运行零上传，技能市场可无限扩展，是高效的 Agentic 生产力办公助手。
lynote.ai
一站式搞定所有学习需求
不再被海量信息淹没，开始真正理解知识。Lynote 可摘要 YouTube 视频、PDF、文章等内容。即时创建笔记，检测 AI 内容并下载资料，将您的学习效率提升 10 倍。
AniShort
为AI短剧协作而生
专为AI短剧协作而生的AniShort正式发布，深度重构AI短剧全流程生产模式，整合创意策划、制作执行、实时协作、在线审片、资产复用等全链路功能，独创无限画布、双轨并行工业化工作流与Ani智能体助手，集成多款主流AI大模型，破解素材零散、版本混乱、沟通低效等行业痛点，助力3人团队效率提升800%，打造标准化、可追溯的AI短剧量产体系，是AI短剧团队协同创作、提升制作效率的核心工具。
推荐工具精选
AI云服务特惠
懂AI专属折扣关注微信公众号
最新AI工具、AI资讯
独家AI资源、AI项目落地
微信扫一扫关注公众号