CodeFuse-DevOps-Model: 赋能DevOps全生命周期的开源中文大模型

在当今快速发展的软件开发和运维领域,DevOps已成为提高效率、保证质量的关键实践。然而,DevOps涉及的知识面广、技术栈复杂,工程师们常常面临各种挑战。为了解决这一问题,CodeFuse团队推出了业界首个开源的中文DevOps大模型 - CodeFuse-DevOps-Model,旨在为DevOps全生命周期提供智能支持。

项目概述

CodeFuse-DevOps-Model是一系列专门针对DevOps领域的大型语言模型(LLM)。这些模型经过精心训练和调优,能够理解和回答DevOps生命周期中的各种问题,涵盖从开发、测试到部署、运维的全过程。

DevOps生命周期

该项目的主要特点包括:

中文优先: 专门针对中文DevOps场景进行优化,更贴合国内工程师的使用习惯。
全面覆盖: 涵盖DevOps全生命周期的各个阶段,包括但不限于持续集成、持续部署、监控告警、日志分析等。
开源共享: 模型完全开源,鼓励社区贡献和改进。
性能优异: 在多个DevOps相关评测中表现出色,超越同规模的其他模型。

模型系列

目前,CodeFuse-DevOps-Model提供了两个主要系列:

7B系列: 适合资源受限的环境,在保证性能的同时兼顾效率。
14B系列: 提供更强大的能力,适合复杂场景和高要求的应用。

每个系列都包含Base模型和Chat模型两种变体:

Base模型: 经过高质量中文DevOps语料训练的基础模型。
Chat模型: 在Base模型基础上,通过DevOps问答数据进行指令微调,更适合交互式场景。

模型评测

为了验证模型的效果,CodeFuse团队选取了CMMLU和CEval两个评测数据集中与DevOps相关的六个科目,共574道选择题进行测试。评测结果显示,CodeFuse-DevOps-Model在Zero-shot和Few-shot场景下都取得了优异的成绩,超越了同规模的其他知名模型。

以14B Chat模型为例,在Zero-shot测试中得分74.04%,Five-shot测试中得分75.96%,显著优于其他对比模型。这一结果证明了CodeFuse-DevOps-Model在DevOps领域的专业性和准确性。

快速上手

CodeFuse-DevOps-Model支持通过Hugging Face Transformers库快速使用。以下是一个简单的示例代码:

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig

tokenizer = AutoTokenizer.from_pretrained("path_to_DevOps-Model-Chat", trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained("path_to_DevOps-Model-Chat", device_map="auto", trust_remote_code=True, bf16=True).eval()

# 指定generation_config
model.generation_config = GenerationConfig.from_pretrained("path_to_DevOps-Model-Chat", trust_remote_code=True)

# 进行对话
resp, hist = model.chat(query='你是谁', tokenizer=tokenizer, history=None)
print(resp)

通过这种方式,开发者可以轻松地将CodeFuse-DevOps-Model集成到自己的项目中,实现智能问答、代码补全等功能。

模型训练与微调

CodeFuse-DevOps-Model不仅提供了预训练模型,还开放了训练和微调的完整流程,使得用户可以根据自身需求对模型进行定制化训练。

预训练

如果用户有特定领域的文档语料(如公司内部产品文档),可以使用提供的脚本对模型进行增量预训练:

torchrun --nproc_per_node=8 --nnodes=$WORLD_SIZE --master_port=$MASTER_PORT --master_addr=$MASTER_ADDR --node_rank=$RANK src/train_bash.py \
    --deepspeed conf/deepspeed_config.json \
    --stage pt \
    --model_name_or_path path_to_model \
    --do_train \
    --dataset your_corpus \
    --template default \
    --finetuning_type full \
    --output_dir path_to_output_checkpoint_path \
    # 其他参数...

指令微调

对于收集到的特定领域QA数据,可以通过以下命令进行指令微调:

torchrun --nproc_per_node=8 --nnodes=$WORLD_SIZE --master_port=$MASTER_PORT --master_addr=$MASTER_ADDR --node_rank=$RANK src/train_bash.py \
    --deepspeed conf/deepspeed_config.json \
    --stage sft \
    --model_name_or_path path_to_model \
    --do_train \
    --dataset your_corpus \
    --template chatml \
    --finetuning_type full \
    --output_dir /mnt/llm/devopspal/model/trained \
    # 其他参数...