中文DevOps大模型助力开发运维全生命周期
CodeFuse-DevOps-Model作为首个开源中文开发运维大模型,专注于DevOps全生命周期问题解决。基于Qwen系列并经高质量中文DevOps语料训练,模型在同规模对比中表现卓越。项目囊括7B和14B基座及对齐模型,并配备在线试用和评测基准。在多个DevOps评测数据集中,模型均取得优异成绩,为开发者提供了可靠的DevOps智能支持。
DevOps-Model是业界首个开源的中文开发运维大模型系列,主要致力于在DevOps领域发挥实际价值。目前,DevOps-Model能够帮助工程师回答在DevOps生命周期中遇到的问题。
我们基于Qwen系列模型,经过高质量中文DevOps语料加训后产出Base模型,然后经过DevOps问答数据对齐后产出Chat模型。我们的Base模型和Chat模型在开源和DevOps领域相关的评测数据上可以取得同规模模型中的最佳效果。欢迎来我们部署的在线试用地址体验模型效果:https://modelscope.cn/studios/codefuse-ai/DevOps-Model-Demo/summary <br> <br> 同时我们也在搭建DevOps领域专属的评测基准DevOpsEval,用来更好地评测DevOps领域模型的效果。 <br> <br>
开源模型和下载链接见下表: 🤗 Huggingface地址
基座模型 | 对齐模型 | 对齐模型Int4量化 | |
---|---|---|---|
7B | DevOps-Model-7B-Base | DevOps-Model-7B-Chat | 即将推出 |
14B | DevOps-Model-14B-Base | DevOps-Model-14B-Chat | 即将推出 |
🤖 ModelScope地址
基座模型 | 对齐模型 | 对齐模型Int4量化 | |
---|---|---|---|
7B | DevOps-Model-7B-Base | DevOps-Model-7B-Chat | 即将推出 |
14B | DevOps-Model-14B-Base | DevOps-Model-14B-Chat | 即将推出 |
我们先选取了CMMLU和CEval两个评测数据集中与DevOps相关的一共六项考试。总计一共574道选择题,具体信息如下:
评测数据集 | 考试科目 | 题数 |
---|---|---|
CMMLU | 计算机科学 | 204 |
CMMLU | 计算机安全 | 171 |
CMMLU | 机器学习 | 122 |
CEval | 大学编程 | 37 |
CEval | 计算机体系结构 | 21 |
CEval | 计算机网络 | 19 |
我们分别测试了零样本和五样本的结果,我们的7B和14B系列模型可以在测试的模型中取得最好的成绩,更多的测试结果后续也会发布。
基础模型 | 零样本得分 | 五样本得分 |
---|---|---|
DevOps-Model-14B-Base | 70.73 | 73.00 |
Qwen-14B-Base | 69.16 | 71.25 |
Baichuan2-13B-Base | 55.75 | 61.15 |
DevOps-Model-7B-Base | 62.72 | 62.02 |
Qwen-7B-Base | 55.75 | 56.00 |
Baichuan2-7B-Base | 49.30 | 55.4 |
Internlm-7B-Base | 47.56 | 52.6 |
对话模型 | 零样本得分 | 五样本得分 |
---|---|---|
DevOps-Model-14B-Chat | 74.04 | 75.96 |
Qwen-14B-Chat | 69.16 | 70.03 |
Baichuan2-13B-Chat | 52.79 | 55.23 |
DevOps-Model-7B-Chat | 62.20 | 64.11 |
Qwen-7B-Chat | 46.00 | 52.44 |
Baichuan2-7B-Chat | 52.56 | 55.75 |
Internlm-7B-Chat | 52.61 | 55.75 |
我们提供简单的示例来说明如何利用 🤗 Transformers 快速使用 Devops-Model-Chat 模型。
pip install -r requirements.txt
from transformers import AutoModelForCausalLM, AutoTokenizer from transformers.generation import GenerationConfig tokenizer = AutoTokenizer.from_pretrained("path_to_DevOps-Model-Chat", trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained("path_to_DevOps-Model-Chat", device_map="auto", trust_remote_code=True, bf16=True).eval() # 指定 generation_config model.generation_config = GenerationConfig.from_pretrained("path_to_DevOps-Model-Chat", trust_remote_code=True) # 第一轮对话 resp, hist = model.chat(query='你是谁', tokenizer=tokenizer, history=None) print(resp) # 我是 DevOps-Model,一个由蚂蚁集团平台技术事业群风险智能团队和北京大学联合研发的人工智能机器人,可以与用户进行自然语言交互,并协助解答 DevOps 全生命周期中的各种问题。如果您有任何需要协助的问题或者想要进行闲聊,都可以和我交流哦。 # 第二轮对话 resp2, hist2 = model.chat(query='Java 中 HashMap 和 Hashtable 有什么区别', tokenizer=tokenizer, history=hist) print(resp2) # HashMap 和 Hashtable 都是 Java 中常用的哈希表实现,它们的主要区别在于: # 1. Hashtable 是线程安全的,而 HashMap 不是线程安全的,因此在多线程环境下,Hashtable 的性能更稳定。 # 2. Hashtable 中的方法都是同步的,而 HashMap 的方法不是同步的,因此在多线程环境下,Hashtable 的性能更好。 # 3. Hashtable 中的 key 和 value 都必须实现 Serializable 接口,而 HashMap 中的 key 和 value 可以是任何对象,包括基本数据类型。 # 4. Hashtable 的初始容量是 11,而 HashMap 的初始容量是 16。 # 总之,如果需要在多线程环境下使用哈希表,并且需要保证线程安全,那么应该使用 Hashtable;如果不需要考虑线程安全,或者需要快速地进行哈希表操作,那么应该使用 HashMap。 # 第三轮对话 resp3, hist3 = model.chat(query='线程安全代表什么', tokenizer=tokenizer, history=hist2) print(resp3) # 线程安全是指在多线程环境下,程序能够正确地处理并发访问,并且不会出现数据竞争、死锁、饥饿等异常情况。线程安全的程序可以保证在不同的线程之间共享同一个数据结构时,数据的正确性和一致性。线程安全的实现通常需要使用同步机制,如锁、原子操作等,来保证对共享数据的访问是线程安全的。在 Java 中,可以通过 synchronized 关键字、Lock 接口等机制来实现线程安全。
代码内部通过调用 datasets.load_dataset 读取数据,支持 load_dataset 所支持的数 据读取方式,比如 json,csv,自定义读取脚本等方式(但推荐数据准备为 jsonl 格式的文件)。然后还需要更新 data/dataset_info.json
文件,具体可以参考 data/README.md
。
如果收集了一批文档之类的语料(比如公司内部产品的文档)想要在 devopspal 模型上加训,可以执行 scripts/devops-model-pt.sh
来发起一次加训来让模型学习到这批文档的知识,具体代码如下:
set -v torchrun --nproc_per_node=8 --nnodes=$WORLD_SIZE --master_port=$MASTER_PORT --master_addr=$MASTER_ADDR --node_rank=$RANK src/train_bash.py \ --deepspeed conf/deepspeed_config.json \ # deepspeed配置文件路径 --stage pt \ # 表示执行预训练 --model_name_or_path path_to_model \ # 从huggingface下载的devopspal模型路径 --do_train \ --report_to 'tensorboard' \ --dataset your_corpus \ # 数据集名称,需与dataset_info.json中定义的一致 --template default \ # 模板,预训练就使用default --finetuning_type full \ # 全量微调或lora微调 --output_dir path_to_output_checkpoint_path \ # 模型checkpoint保存路径 --overwrite_cache \ --per_device_train_batch_size 8 \ --per_device_eval_batch_size 8 \ --gradient_accumulation_steps 1 \ --lr_scheduler_type cosine \ --warmup_ratio 0.05 \ --evaluation_strategy steps \ --logging_steps 10 \ --max_steps 1000 \ --save_steps 1000 \ --eval_steps 1000 \ --learning_rate 5e-6 \ --plot_loss \ --max_source_length=2048 \ --dataloader_num_workers 8 \ --val_size 0.01 \ --bf16 \ --overwrite_output_dir
用户可以在此基础上进行调整以启动自己的训练。建议通过 python src/train_bash.py -h
获取完整的参数列表,以了解更详细的配置选项。
如果收集了一批QA数据想要对devopspal进行进一步对齐,可以执行 scripts/devops-model-sft.sh
来启动一次微调,使模型在收集到的数据上进行对齐。具体代码如下:
set -v torchrun --nproc_per_node=8 --nnodes=$WORLD_SIZE --master_port=$MASTER_PORT --master_addr=$MASTER_ADDR --node_rank=$RANK src/train_bash.py \ --deepspeed conf/deepspeed_config.json \ # deepspeed配置文件路径 --stage sft \ # 表示执行微调 --model_name_or_path path_to_model \ # 从huggingface下载的模型路径 --do_train \ --report_to 'tensorboard' \ --dataset your_corpus \ # 数据集名称,需与dataset_info.json中定义的一致 --template chatml \ # qwen模型的模板固定为chatml --finetuning_type full \ # 全量微调或lora微调 --output_dir /mnt/llm/devopspal/model/trained \ # 模型checkpoint保存路径 --overwrite_cache \ --per_device_train_batch_size 8 \ --per_device_eval_batch_size 8 \ --gradient_accumulation_steps 1 \ --lr_scheduler_type cosine \ --warmup_ratio 0.05 \ --evaluation_strategy steps \ --logging_steps 10 \ --max_steps 1000 \ --save_steps 100 \ --eval_steps 100 \ --learning_rate 5e-5 \ --plot_loss \ --max_source_length=2048 \ --dataloader_num_workers 8 \ --val_size 0.01 \ --bf16 \ --overwrite_output_dir
用户可以在此基础上进行调整以启动自己的SFT训练。建议通过 python src/train_bash.py -h
获取完整的参数列表,以了解更详细的配置选项。
我们将提供DevOps-Model-Chat系列的量化模型,当然也可以通过以下代码来量化自己微调过的模型:
from transformers import AutoModelForCausalLM, AutoTokenizer from optimum.gptq import GPTQQuantizer, load_quantized_model import torch # 加载模型 model_name = "path_of_your_model" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16) # 加载数据 # todo # 开始量化 quantizer = GPTQQuantizer(bits=4, dataset="c4", block_name_to_quantize = "model.decoder.layers", model_seqlen = 2048) quantized_model = quantizer.quantize_model(model, tokenizer) # 保存量化后的模型 out_dir = 'save_path_of_your_quantized_model' quantized_model.save_quantized(out_dir)
由于语言模型的特性,模型生成的内容可能包含幻觉或歧视性言论。请谨慎使用DevOps-Model系列模型生成的内容。 如果要公开使用或商用该模型服务,请注意服务方需承担由此产生的不良影响或有害言论的责任,本项目开发者不承担任何由使用本项目(包括但不限于数据、模型、代码等)导致的危害或损失。
如果使用本项目的代码或模型,请引用本项目论文:
链接:DevOps-Model
@article{devopspal2023,
title={},
author={},
journal={arXiv preprint arXiv},
year={2023}
}
This project references the following open-source projects. We would like to express our gratitude to the projects and their research and development teams.
字节跳动发布的AI编程神器IDE
Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。
全能AI智能助手,随时解答生活与工作的多样问题
问小白,由元石科技研发的AI智能助手,快速准确地解答各种生活和工作问题,包括但不限于搜索、规划和社交互动,帮助用户在日常生活中提高效率,轻松管理个人事务。
实时语音翻译/同声传译工具
Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等,都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。
一键生成PPT和Word,让学习生活更轻松
讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。
深度推理能力全新升级,全面对标OpenAI o1
科大讯飞的星火大模型,支持语言理解、知识问答和文本创作等多功能,适用于多种文件和业务场景,提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台,涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能,能为不同需求的用户提供便捷高效的帮助,助力用户轻松获取信息、解决问题,满足多样化使用场景。
一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型
Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目,由多个知名机构联合参与。该项目提供了高效的 LLM(大语言模型)驱动的语音合成方案,支持语音克隆和语音创建功能,可通过命令行界面(CLI)和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数,生成高质量的语音。该项目适用于多种场景,如有声读物制作、智能语音助手开发等。
AI助力,做PPT更简单!
咔片是一款轻量化在线演示设计工具,借助 AI 技术,实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT,提供海量模板、智能美化、素材替换等功能,适用于销售、教师、学生等各类人群,能高效制作出高品质 PPT,满足不同场景演示需求。