deepseek-coder-33b-instruct

DeepSeek Coder：一款强大的代码语言模型

DeepSeek Coder是一系列代码语言模型的统称，这些模型从零开始训练，使用了2万亿个token作为训练数据。其中87%是代码，13%是英文和中文的自然语言。这个项目提供了多种规模的模型，从1B到33B不等，以满足不同用户的需求。

模型特点

DeepSeek Coder具有以下几个突出特点：

海量训练数据：模型使用了2万亿个token进行训练，其中绝大部分是代码，少部分是自然语言。这样的数据组成使得模型在代码相关任务上表现出色。
灵活多样的规模：项目提供了1.3B、5.7B、6.7B和33B等多种规模的模型，用户可以根据自己的需求选择合适的版本。
卓越的性能表现：在多个编程语言和各种基准测试中，DeepSeek Coder在开源代码模型中达到了最先进的水平。
强大的代码补全能力：模型采用了16K的窗口大小，并引入了填空任务，这使得它能够支持项目级别的代码补全和插入。

33B指令模型

deepseek-coder-33b-instruct是一个拥有330亿参数的大型模型。它是在deepseek-coder-33b-base的基础上，通过20亿个指令数据进行微调得到的。这个模型不仅继承了基础模型的强大能力，还通过指令微调提高了对人类指令的理解和执行能力。

使用方法

使用DeepSeek Coder非常简单。以下是一个使用Python的示例代码：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加载tokenizer和模型
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-coder-6.7b-instruct", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-coder-6.7b-instruct", trust_remote_code=True, torch_dtype=torch.bfloat16).cuda()

# 准备输入
messages = [
    {'role': 'user', 'content': "write a quick sort algorithm in python."}
]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)

# 生成输出
outputs = model.generate(inputs, max_new_tokens=512, do_sample=False, top_k=50, top_p=0.95, num_return_sequences=1, eos_token_id=tokenizer.eos_token_id)

# 解码并打印结果
print(tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True))

这段代码展示了如何加载模型、准备输入、生成输出，以及如何解码和打印结果。

许可证

DeepSeek Coder的代码仓库采用MIT许可证。模型的使用则受到Model License的约束。值得注意的是，DeepSeek Coder支持商业使用，这为许多潜在的商业应用打开了大门。

总结

DeepSeek Coder是一个强大而灵活的代码语言模型系列。它在代码生成、补全和理解等任务上表现出色，为开发者和研究人员提供了一个有力的工具。无论是用于个人项目还是商业应用，DeepSeek Coder都有巨大的潜力。如果用户在使用过程中遇到任何问题，可以通过GitHub issue或者直接联系官方邮箱寻求帮助。