chat_templates
标准化大语言模型聊天模板的开源库
chat_templates是一个开源项目,为指令微调的大语言模型提供标准化聊天模板。该项目支持transformers库的chat_template功能,收录了Llama、Mistral、Qwen等主流大语言模型的聊天模板。此外,项目还提供了用于控制响应生成的配置文件。开发者可借助这些模板和配置,更便捷地使用各类大语言模型进行对话生成。
chat templatesLLMHuggingFacetransformersJSONGithub开源项目
chat_templates
这是一个包含指令微调大型语言模型(LLMs)的正确聊天模板(或输入格式)的代码库,用于支持transformers的chat_template功能。如果您有兴趣添加更多聊天模板,欢迎提交拉取请求。
如果您觉得这个代码库有用,请引用它:
@misc{zheng-2024-chat-templates, author = {Zheng, Chujie}, title = {Chat Templates for HuggingFace Large Language Models}, year = {2024}, howpublished = {\url{https://github.com/chujiezheng/chat_templates}} }
更新
- [2024年7月] 添加了对Meta的Llama-3.1模型的支持
- [2024年6月] 添加了对Google的Gemma-2模型的支持
- [2024年5月] 添加了对Nvidia的ChatQA模型的支持
- [2024年4月] 添加了对Microsoft的Phi-3模型的支持
- [2024年4月] 添加了对Meta的Llama-3模型的支持
- [2024年2月] 添加了对Google的Gemma模型的支持
- [2024年2月] 添加了generation_configs的使用说明
- [2024年1月] 添加了对阿里巴巴的Qwen2模型的支持
此代码库包含什么?
-
chat_templates包含收集到的聊天模板的jinja文件,可以直接替换Huggingface tokenizers中的模板 -
generation_configs包含用于控制响应生成结束的相应json配置。特别地,stop_token_ids应该通过eos_token_id参数直接传递给generate方法
使用示例
重要提示: 如此问题所 述,messages应至少包含一条用户消息。强烈不建议只传递系统消息,因为这可能会导致意外输出(因为模型没有以这种方式训练)。
这个示例可以检查jinja文件是否正确实现。
from transformers import AutoTokenizer toker = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct", token="YOUR_OWN_TOKEN") messages = [ {'role': 'system', 'content': '这是一个系统提示。'}, {'role': 'user', 'content': '这是第一个用户输入。'}, {'role': 'assistant', 'content': '这是第一个助手回应。'}, {'role': 'user', 'content': '这是第二个用户输入。'}, ] print('###### 默认(但正确)聊天模板 ######') print(toker.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)) print('###### 修正后的聊天模板 ######') chat_template = open('./chat_templates/llama-3-instruct.jinja').read() chat_template = chat_template.replace(' ', '').replace('\n', '') toker.chat_template = chat_template print(toker.apply_chat_template(messages, tokenize=False, add_generation_prompt=True))
预期输出:
###### 默认(但正确)聊天模板 ######
<|begin_of_text|><|start_header_id|>system<|end_header_id|>
这是一个系统提示。<|eot_id|><|start_header_id|>user<|end_header_id|>
这是第一个用户输入。<|eot_id|><|start_header_id|>assistant<|end_header_id|>
这是第一个助手回应。<|eot_id|><|start_header_id|>user<|end_header_id|>
这是第二个用户输入。<|eot_id|><|start_header_id|>assistant<|end_header_id|>
###### 修正后的聊天模板 ######
<|begin_of_text|><|start_header_id|>system<|end_header_id|>
这是一个系统提示。<|eot_id|><|start_header_id|>user<|end_header_id|>
这是第一个用户输入。<|eot_id|><|start_header_id|>assistant<|end_header_id|>
这是第一个助手回应。<|eot_id|><|start_header_id|>user<|end_header_id|>
这是第二个用户输入。<|eot_id|><|start_header_id|>assistant<|end_header_id|>
对于mistral-instruct(也包括gemma-it),它本身不支持system消息,所以传递system消息会引发错误。
from transformers import AutoTokenizer toker = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.2") messages = [ {'role': 'system', 'content': '这是一个系统提示。'}, {'role': 'user', 'content': '这是第一个用户输入。'}, {'role': 'assistant', 'content': '这是第一个助手回应。'}, {'role': 'user', 'content': '这是第二个用户输入。'}, ] print('###### 默认(但不合适)聊天模板 ######') # 引发错误 #print(toker.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)) print('###### 修正后的聊天模板 ######') chat_template = open('./chat_templates/mistral-instruct.jinja').read() chat_template = chat_template.replace(' ', '').replace('\n', '') toker.chat_template = chat_template print(toker.apply_chat_template(messages, tokenize=False, add_generation_prompt=True))
预期输出:
###### 默认(但会引发错误)聊天模板 ######
jinja2.exceptions.TemplateError: 对话角色必须交替为user/assistant/user/assistant/...
###### 修正后的聊天模板 ######
<s>[INST] 这是一个系统提示。
这是第一个用户输入。 [/INST] 这是第一个助手回应。 </s>[INST] 这是第二个用户输入。 [/INST]
注意: 在fast-chat中,vicuna在角色消息之间不添加换行符。但我发现添加换行符会导致稍好的性能(特别是对于v1.5版本)。
此外,我发现当给定与默认系统消息不同的系统消息时,vicuna-7/13/33b-v1.3可能效果不佳。所以我建议使用vicuna-7/13b-v1.5代替。
from transformers import AutoTokenizer toker = AutoTokenizer.from_pretrained("lmsys/vicuna-7b-v1.5") messages = [ {'role': 'system', 'content': '这 是一个系统提示。'}, {'role': 'user', 'content': '这是第一个用户输入。'}, {'role': 'assistant', 'content': '这是第一个助手回应。'}, {'role': 'user', 'content': '这是第二个用户输入。'}, ] print('###### 默认(但不合适)聊天模板 ######') print(toker.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)) print('###### 修正后的聊天模板 ######') chat_template = open('./chat_templates/vicuna.jinja').read() chat_template = chat_template.replace(' ', '').replace('\n', '') toker.chat_template = chat_template print(toker.apply_chat_template(messages, tokenize=False, add_generation_prompt=True))
预期输出:
###### 默认(但不合适)聊天模板 ######
<s>[INST] <<SYS>>
这是一个系统提示。
<</SYS>>
这是第一个用户输入。 [/INST] 这是第一个助手回应。 </s><s>[INST] 这是第二个用户输入。 [/INST]
###### 修正后的聊天模板 ######
<s>这是一个系统提示。
USER: 这是第一个用户输入。
ASSISTANT: 这是第一个助手回应。</s>
USER: 这是第二个用户输入。
ASSISTANT:
支持的模型
注意: 列出的模型并非全部,还包括同一模型系列中的其他大小的模型
<details> <summary><b>Llama-3-Instruct, Llama-3.1-Instruct</b></summary>- 模型:
meta-llama/Meta-Llama-3-8B-Instruct,meta-llama/Meta-Llama-3.1-8B-Instruct - 聊天模板:
chat_templates/llama-3-instruct.jinja - 生成配置:
generation_configs/llama-3-instruct.json - 参考: https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct/blob/main/tokenizer_config.json#L2053
- 模型:
meta-llama/Llama-2-7b-chat-hf,meta-llama/CodeLlama-7b-Instruct-hf - 聊天模板:
chat_templates/llama-2-chat.jinja - 生成配置:
generation_configs/llama-2-chat.json - 参考: https://huggingface.co/meta-llama/Llama-2-7b-chat-hf/blob/main/tokenizer_config.json#L12
- 模型:
Qwen/Qwen2-7B-Instruct,Qwen/Qwen1.5-7B-Chat - 聊天模板:
chat_templates/chatml.jinja - 生成配置:
generation_configs/qwen2-instruct.json - 参考: https://huggingface.co/Qwen/Qwen2-72B-Instruct/blob/main/tokenizer_config.json#L31
- 模型:
mistralai/Mistral-7B-Instruct-v0.3,mistralai/Mixtral-8x7B-Instruct-v0.1 - 聊天模板:
chat_templates/mistral-instruct.jinja - 生成配置:
generation_configs/mistral-instruct.json - 参考: https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.3/blob/main/tokenizer_config.json#L42
- 注释: 通过在第一个用户输入前添加系统消息,系统消息是可接受的
- 模型:
microsoft/Phi-3-mini-4k-instruct - 聊天模板:
chat_templates/phi-3.jinja - 生成配置:
generation_configs/phi-3.json - 参考: https://huggingface.co/microsoft/Phi-3-mini-128k-instruct/blob/main/tokenizer_config.json#L338
- 模型:
01-ai/Yi-1.5-6B-Chat,01-ai/Yi-6B-Chat - 聊天模板:
chat_templates/chatml.jinja - 生成配置:
generation_configs/yi-chat.json - 参考: https://huggingface.co/01-ai/Yi-6B-Chat/blob/main/tokenizer_config.json#L60
- 模型：
nvidia/Llama3-ChatQA-1.5-8B - 对话模板：
chat_templates/chatqa.jinja - 生成配置：
generation_configs/chatqa.json - 参考：https://huggingface.co/nvidia/Llama3-ChatQA-1.5-8B#when-context-is-available
- 评论：上下文消息可接受
- 模型：
openchat/openchat_3.5、berkeley-nest/Starling-LM-7B-alpha - 对话模板：
chat_templates/openchat-3.5.jinja - 生成配置：
generation_configs/openchat-3.5.json - 参考：https://huggingface.co/openchat/openchat_3.5/blob/main/tokenizer_config.json#L51
- 模型：
zephyr-7b-alpha - 对话模板：
chat_templates/zephyr.jinja - 生成配置：
generation_configs/zephyr.json - 参考：https://huggingface.co/HuggingFaceH4/zephyr-7b-beta/blob/main/tokenizer_config.json#L34
- 模型：
vicuna-7b-v1.5、vicuna-7b-v1.3 - 对话模板：
chat_templates/vicuna.jinja - 生成配置：
generation_configs/vicuna.json - 参考：https://github.com/lm-sys/FastChat/blob/main/docs/vicuna_weights_version.md#prompt-template
- 模型：
microsoft/Orca-2-7b - 对话模板：
chat_templates/chatml.jinja - 生成配置：
generation_configs/orca-2.json - 参考：https://huggingface.co/microsoft/Orca-2-7b
- 模型：
tiiuae/falcon-7b-instruct - 对话模板：
chat_templates/falcon-instruct.jinja - 参考：https://github.com/lm-sys/FastChat/blob/main/docs/vicuna_weights_version.md#prompt-template
- 模型：
upstage/SOLAR-10.7B-Instruct-v1.0 - 对话模板：
chat_templates/solar-instruct.jinja - 生成配置：
generation_configs/solar-instruct.json - 参考：https://huggingface.co/upstage/SOLAR-10.7B-Instruct-v1.0/blob/main/tokenizer_config.json#L31
- 模型：
tatsu-lab/alpaca-7b-wdiff - 对话模板：
chat_templates/alpaca.jinja - 生成配置：
generation_configs/alpaca.json - 参考：https://github.com/tatsu-lab/stanford_alpaca
- 模型：
LLM360/AmberChat、LLM360/AmberSafe - 对话模板：
chat_templates/amberchat.jinja - 生成配置：
generation_configs/amberchat.json - 参考：https://huggingface.co/LLM360/AmberChat
- 模型：
IlyaGusev/saiga_mistral_7b_lora - 对话模板：
chat_templates/saiga.jinja - 生成配置：
generation_configs/saiga.json - 参考：https://huggingface.co/IlyaGusev/saiga_mistral_7b_lora#saigamistral-7b-russian-mistral-based-chatbot
- 评论：一系列俄语模型
星标历史
编辑推荐精选
iTerms
企业专属的AI法律顾问
iTerms是法大大集团旗下法律子品牌，基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构，帮助企业扫清合规障碍，筑牢风控防线，成为您企业专属的AI法律顾问。
SimilarWeb流量提升
稳定高效的流量提升解决方案，助力品牌曝光
稳定高效的流量提升解决方案，助力品牌曝光
Sora2视频免费生成
最新版Sora2模型免费使用，一键生成无水印视频
最新版Sora2模型免费使用，一键生成无水印视频
Transly
实时语音翻译/同声传译工具
Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手，它拥有超精准的音频识别翻译能力，几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球，无论你是留学生、商务人士、韩剧美剧爱好者，还是出国游玩、多国会议、跨国追星等等，都可以满足你所有需要同传的场景需求，线上线下通用，扫除语言障碍，让全世界的语言交流不再有国界。
讯飞绘文
选题、配图、成文，一站式创作，让内容运营更高效
讯飞绘文，一个AI集成平台，支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容，加速品牌传播，提升内容营销效果。
热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
TRAE编程
AI辅 助编程，代码自动修复
Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。
AI工具TraeAI IDE协作生产力转型热门
商汤小浣熊
最强AI数据分析助手
小浣熊家族Raccoon，您的AI智能助手，致力于通过先进的人工智能技术，为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答，小浣熊都能以快速、准确的响应满足您的需求，让您的生活更加智能便捷。
imini AI
像人一样思考的AI智能体
imini 是一款超级AI智能体，能根据人类指令，自主思考、自主完成、并且交付结果的AI智能体。
Keevx
AI数字人视频创作平台
Keevx 一款开箱即用的AI数字人视频创作平台，广泛适用于电商广告、企业培训与社媒宣传，让全球企业与个人创作者无需拍摄剪辑，就能快速生成多语言、高质量的专业视频。
即梦AI
一站式AI创作平台
提供 AI 驱动的图片、视频生成及数字人等功能，助力创意创作
下拉加载更多
推荐工具精选
AI云服务特惠
懂AI专属折扣关注微信公众号
最新AI工具、AI资讯
独家AI资源、AI项目落地
微信扫一扫关注公众号