Qwen2

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/5e9011b1-c5cc-4bca-8187-4e97aa49b471.png" width="400"/> <p> <p align="center"> 🤗 <a href="https://huggingface.co/Qwen">Hugging Face</a>&nbsp&nbsp | &nbsp&nbsp🤖 <a href="https://modelscope.cn/organization/qwen">ModelScope</a>&nbsp&nbsp | &nbsp&nbsp 📑 <a href="https://arxiv.org/abs/2407.10671">论文</a> &nbsp&nbsp | &nbsp&nbsp 📑 <a href="https://qwenlm.github.io/blog/qwen2/">博客</a> &nbsp&nbsp ｜ &nbsp&nbsp📖 <a href="https://qwen.readthedocs.io/">文档</a> <br> 🖥️ <a href="https://huggingface.co/spaces/Qwen/Qwen2-72B-Instruct">演示</a>&nbsp&nbsp | &nbsp&nbsp💬 <a href="https://github.com/QwenLM/Qwen/blob/main/assets/wechat.png">微信</a>&nbsp&nbsp | &nbsp&nbsp🫨 <a href="https://discord.gg/CV4E9rpNSD">Discord</a>&nbsp&nbsp </p>

访问我们的Hugging Face或ModelScope组织（点击上方链接），搜索以Qwen2-开头的检查点或访问Qwen2合集，您将找到所需的一切！尽情享用吧！

要了解更多关于Qwen2的信息，请阅读我们的文档[英文|中文]。我们的文档包含以下部分：

快速入门：基本用法和演示；
推理：使用transformers进行推理的指南，包括批量推理、流式处理等；
本地运行：在CPU和GPU上本地运行LLM的说明，使用llama.cpp和Ollama等框架；
部署：使用vLLM、TGI等框架进行大规模推理部署的演示；
量化：使用GPTQ、AWQ进行LLM量化的实践，以及如何制作高质量量化GGUF文件的指南；
训练：后续训练的说明，包括使用Axolotl、LLaMA-Factory等框架进行SFT和RLHF（待完成）；
框架：使用Qwen的应用框架，如RAG、Agent等；
基准测试：关于推理速度和内存占用的统计数据。

简介

经过数月的努力，我们很高兴宣布从Qwen1.5演进到Qwen2。这次，我们为您带来：

5种规模的预训练和指令微调模型，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B；
除英语和中文外，还在27种额外语言的数据上进行了训练；
在大量基准评估中表现出最先进的性能；
在编码和数学方面的性能显著提升；
Qwen2-7B-Instruct和Qwen2-72B-Instruct支持高达128K个token的上下文长度。

新闻

2024.06.06：我们发布了Qwen2系列。查看我们的博客！
2024.03.28：我们发布了Qwen的第一个MoE模型：Qwen1.5-MoE-A2.7B！目前，只有HF transformers和vLLM支持该模型。我们将很快添加llama.cpp、mlx-lm等的支持。更多信息请查看我们的博客！
2024.02.05：我们发布了Qwen1.5系列。

性能

详细的评估结果在这个<a href="https://qwenlm.github.io/blog/qwen2/"> 📑 博客</a>中报告。

要求

transformers>=4.40.0用于Qwen2密集和MoE模型。建议使用最新版本。

[!警告]
<div align="center"> <b> 🚨 这是必须的，因为`transformers`自`4.37.0`版本起集成了Qwen2代码，自`4.40.0`版本起集成了Qwen2Moe代码。 </b> </div>

关于GPU内存要求和相应的吞吐量，请参见这里的结果。

快速入门

🤗 Hugging Face Transformers

这里我们展示一个代码片段，向您展示如何使用transformers来使用聊天模型：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen2-7B-Instruct"
device = "cuda" # 加载模型的设备

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "简要介绍一下大语言模型。"
messages = [
    {"role": "system", "content": "你是一个有帮助的助手。"},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

对于量化模型，我们建议您使用GPTQ和AWQ对应的模型，即Qwen2-7B-Instruct-GPTQ-Int8、Qwen2-7B-Instruct-AWQ。

🤖 ModelScope

我们强烈建议用户，特别是中国大陆的用户使用ModelScope。snapshot_download可以帮助您解决下载检查点的问题。

💻 本地运行

Ollama

[!警告] 您需要ollama>=0.1.42。

[!注意]
<div align="center"> Ollama提供了一个<a href="https://github.com/ollama/ollama/blob/main/docs/openai.md">与OpenAI兼容的API</a>，但它不支持<b>函数调用</b>。对于工具使用功能，请考虑使用<a href="https://github.com/QwenLM/Qwen-Agent">Qwen-Agent</a>，它提供了一个围绕API的函数调用包装器。 </div>

在安装ollama后，您可以使用以下命令启动ollama服务：

ollama serve
# 每当您使用ollama时，都需要保持此服务运行

要拉取模型检查点并运行模型，请使用ollama run命令。您可以通过在qwen2后添加后缀来指定模型大小，如:0.5b、:1.5b、:7b或:72b：

ollama run qwen2:7b
# 要退出，输入"/bye"并按回车键

您还可以通过其OpenAI兼容API访问ollama服务。请注意，您需要(1)在使用API时保持ollama serve运行，以及(2)在使用此API之前执行ollama run qwen2:7b以确保模型检查点已准备就绪。

from openai import OpenAI
client = OpenAI(
    base_url='http://localhost:11434/v1/',
    api_key='ollama',  # 必需但会被忽略
)
chat_completion = client.chat.completions.create(
    messages=[
        {
            'role': 'user',
            'content': '说这是一个测试',
        }
    ],
    model='qwen2:7b',
)

更多详情，请访问ollama.ai。

llama.cpp

[!警告] 您需要llama.cpp>=b3370。

下载我们提供的GGUF文件或自行创建它们，您可以直接使用最新的llama.cpp，只需一行命令：

./llama-cli -m <文件路径> -n 512 -co -i -if -f prompts/chat-with-qwen.txt --in-prefix "<|im_start|>user\n" --in-suffix "<|im_end|>\n<|im_start|>assistant\n"

MLX-LM

如果您在Apple Silicon上运行，我们还提供了与mlx-lm兼容的检查点。在HuggingFace Hub上查找以MLX结尾的模型，如Qwen2-7B-Instruct-MLX。

LMStudio

Qwen2已经得到lmstudio.ai的支持。您可以直接使用我们的GGUF文件与LMStudio。

OpenVINO

Qwen2已经得到OpenVINO工具包的支持。您可以使用Intel CPU、集成GPU或独立GPU安装并运行这个聊天机器人示例。

Web UI

文本生成Web UI

您可以直接使用text-generation-webui创建Web UI演示。如果您使用GGUF，请记得安装支持Qwen2的最新版llama.cppwheel。

llamafile

克隆llamafile，运行源代码安装，然后按照这里的指南使用GGUF文件创建您自己的llamafile。您可以运行一行命令，比如./qwen.llamafile，来创建一个演示。

部署

Qwen2得到了多个推理框架的支持。这里我们演示vLLM和SGLang的使用。

[!警告]
<div align="center"> vLLM和SGLang提供的OpenAI兼容API目前不支持<b>函数调用</b>。对于工具使用功能，<a href="https://github.com/QwenLM/Qwen-Agent">Qwen-Agent</a>提供了一个围绕这些API的包装器，以支持函数调用。 </div>

vLLM

我们建议您使用vLLM>=0.4.0来构建OpenAI兼容的API服务。使用聊天模型启动服务器，例如Qwen2-7B-Instruct：

python -m vllm.entrypoints.openai.api_server --served-model-name Qwen2-7B-Instruct --model Qwen/Qwen2-7B-Instruct

然后按照以下方式使用聊天API：

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "Qwen2-7B-Instruct",
    "messages": [
    {"role": "system", "content": "你是一个有帮助的助手。"},
    {"role": "user", "content": "告诉我一些关于大型语言模型的信息。"}
    ]
    }'

from openai import OpenAI
# 设置OpenAI的API密钥和API基地址以使用vLLM的API服务器。
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

chat_response = client.chat.completions.create(
    model="Qwen2-7B-Instruct",
    messages=[
        {"role": "system", "content": "你是一个有帮助的助手。"},
        {"role": "user", "content": "告诉我一些关于大型语言模型的信息。"},
    ]
)
print("聊天回复:", chat_response)

SGLang

[!注意]
<div align="center"> SGLang 目前不支持 <b>Qwen2MoeForCausalLM</b> 架构，因此与 <b>Qwen2-57B-A14B</b> 不兼容。 </div>

请从源代码安装 SGLang。与 vLLM 类似，你需要启动一个服务器并使用兼容OpenAI的API服务。首先启动服务器：

python -m sglang.launch_server --model-path Qwen/Qwen2-7B-Instruct --port 30000

你可以在Python中如下所示使用它：

from sglang import function, system, user, assistant, gen, set_default_backend, RuntimeEndpoint

@function
def multi_turn_question(s, question_1, question_2):
    s += system("你是一个有帮助的助手。")
    s += user(question_1)
    s += assistant(gen("answer_1", max_tokens=256))
    s += user(question_2)
    s += assistant(gen("answer_2", max_tokens=256))

set_default_backend(RuntimeEndpoint("http://localhost:30000"))

state = multi_turn_question.run(
    question_1="中国的首都是哪里？",
    question_2="列举两个当地景点。",
)

for m in state.messages():
    print(m["role"], ":", m["content"])

print(state["answer_1"])

微调

我们建议你使用训练框架，包括 Axolotl、Llama-Factory、Swift 等，来进行SFT、DPO、PPO等方式的模型微调。

🐳 Docker

为简化部署过程，我们提供了预构建环境的docker镜像：qwenllm/qwen。你只需安装驱动并下载模型文件即可启动演示和微调模型。

docker run --gpus all --ipc=host --network=host --rm --name qwen2 -it qwenllm/qwen:2-cu121 bash

许可协议

请在其HuggingFace仓库中查看每个模型的许可证。你无需提交商业使用申请。

引用

如果你觉得我们的工作有帮助，欢迎引用。

@article{qwen2,
      title={Qwen2 技术报告}, 
      author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan},
      journal={arXiv预印本 arXiv:2407.10671},
      year={2024}
}