Chat Templates: 为大型语言模型打造对话模板的开源项目

chat_templates

Chat Templates:为大型语言模型量身定制的对话模板

在人工智能和自然语言处理快速发展的今天,大型语言模型(LLMs)已经成为了许多应用的核心。然而,如何让这些模型更好地理解和生成人类对话一直是一个挑战。为了解决这个问题,GitHub用户chujiezheng创建了一个名为"Chat Templates"的开源项目,旨在为指令调优的大型语言模型提供合适的对话模板。

项目简介

Chat Templates 是一个包含多种对话模板(或输入格式)的代码仓库,专门为支持Hugging Face的transformers库中的chat_template功能而设计。这个项目的主要目标是提高大型语言模型在对话场景中的表现,使其能够更自然、更流畅地与人类进行交互。

Chat Templates Logo

项目特点

多样化的模板支持: Chat Templates 支持多种流行的大型语言模型,包括Llama-3.1, Gemma, Mistral, Qwen2等。
易于使用: 项目提供了详细的使用说明和示例代码,使开发者能够快速上手和集成。
灵活性: 用户可以根据需要自定义和调整模板,以适应不同的应用场景。
持续更新: 项目团队定期添加对新模型的支持,确保与最新的AI发展保持同步。
社区驱动: 作为开源项目,Chat Templates 欢迎社区贡献,鼓励开发者提交新的模板和改进建议。

核心组件

Chat Templates 项目主要包含两个核心组件:

chat_templates: 这个文件夹包含了各种模型的jinja模板文件,可以直接在Hugging Face的tokenizer中使用。
generation_configs: 这个文件夹包含了相应的JSON配置文件,用于控制响应生成的结束。特别是,stop_token_ids应该通过eos_token_id参数直接传递给generate方法。

使用示例

为了帮助开发者更好地理解和使用Chat Templates,项目提供了详细的使用示例。以下是一个使用Meta-Llama-3-8B-Instruct模型的简单示例:

from transformers import AutoTokenizer

toker = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct", token="YOUR_OWN_TOKEN")
messages = [
    {'role': 'system', 'content': 'This is a system prompt.'},
    {'role': 'user', 'content': 'This is the first user input.'},
    {'role': 'assistant', 'content': 'This is the first assistant response.'},
    {'role': 'user', 'content': 'This is the second user input.'},
]

print('###### Default (yet Correct) Chat Template ######')
print(toker.apply_chat_template(messages, tokenize=False, add_generation_prompt=True))

print('###### Corrected Chat Template ######')
chat_template = open('./chat_templates/llama-3-instruct.jinja').read()
chat_template = chat_template.replace('    ', '').replace('\n', '')
toker.chat_template = chat_template
print(toker.apply_chat_template(messages, tokenize=False, add_generation_prompt=True))