magicoder

Magicoder 项目介绍

什么是Magicoder？

Magicoder是一个由OSS-Instruct方法支持的模型系列。这是一种创新的方式，通过使用开源代码片段来启发大型语言模型（LLM），生成低偏差和高质量的代码指令数据。该项目主要解决了语言模型在生成指令数据时固有的偏差问题，通过利用丰富的开源参考资料，生成更加多样化、真实并且可控的内容。

为什么Magicoder很特别？

Magicoder中使用的OSS-Instruct方法极大地降低了模型合成指令数据的偏差。与许多其他项目相比，Magicoder在生成代码的准确性和质量上都表现出色。例如，Magicoder-S-DS-6.7B在HumanEval测试中的评分达到76.8，超过了gpt-3.5-turbo-1106和Gemini Ultra等主流模型。

Magicoder的模型家族

Magicoder系列包括不同尺寸和性能的多个模型：

Magicoder-CL-7B和Magicoder-S-CL-7B模型均基于Llama2架构，适合不同的使用需求。
Magicoder-DS-6.7B和其增强版本Magicoder-S-DS-6.7B则基于DeepSeek模型，在多个基准测试中表现出色。

快速上手

Magicoder提供了易用的API，用户可以快速上手。以下是一个简单的Python代码示例，用于生成一个TODO列表应用的API：

from transformers import pipeline
import torch

MAGICODER_PROMPT = """You are an exceptionally intelligent coding assistant that consistently delivers accurate and reliable responses to user instructions.

@@ Instruction
{instruction}

@@ Response
"""

instruction = "Implement a high-level API for a TODO list application. The API takes as input an operation request and updates the TODO list in place. If the request is invalid, raise an exception."

prompt = MAGICODER_PROMPT.format(instruction=instruction)
generator = pipeline(
    model="ise-uiuc/Magicoder-S-DS-6.7B",
    task="text-generation",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
result = generator(prompt, max_length=2048, num_return_sequences=1, temperature=0.0)
print(result[0]["generated_text"])

数据集

Magicoder-OSS-Instruct-75K 数据集：使用OSS-Instruct通过gpt-3.5-turbo-1106生成，是训练Magicoder和Magicoder-S系列的重要数据集。
Magicoder-Evol-Instruct-110K 数据集：从已存在的数据集清理并重新分发，用于进一步优化Magicoder系列。

演示

Magicoder提供了在线和本地的演示平台:

在线Gradio演示可通过Magicoder Playground试用。
本地Gradio演示提供了快速部署的脚本，用户可以在本地机器上进行测试。

如何引用

如果在研究中使用Magicoder，可以使用如下BibTeX条目进行引用：

@InProceedings{wei2024magicoder,
  title = 	 {Magicoder: Empowering Code Generation with {OSS}-Instruct},
  author =       {Wei, Yuxiang and Wang, Zhe and Liu, Jiawei and Ding, Yifeng and Zhang, Lingming},
  booktitle = 	 {Proceedings of the 41st International Conference on Machine Learning},
  pages = 	 {52632--52657},
  year = 	 {2024},
  volume = 	 {235},
  series = 	 {Proceedings of Machine Learning Research},
  month = 	 {21--27 Jul},
  publisher =    {PMLR},
  pdf = 	 {https://raw.githubusercontent.com/mlresearch/v235/main/assets/wei24h/wei24h.pdf},
  url = 	 {https://proceedings.mlr.press/v235/wei24h.html}
}