Yi-1.5

<div align="center"> <picture> <img src="https://yellow-cdn.veclightyear.com/835a84d5/907d6525-b850-4503-8113-421b62842500.svg" width="150px"> </picture> </div> <br/> <p align="center"> <a href="https://huggingface.co/01-ai">🤗 HuggingFace</a> • <a href="https://www.modelscope.cn/organization/01ai/">🤖 ModelScope</a> • <a href="https://wisemodel.cn/organization/01.AI">🟣 wisemodel</a> <br/> <a href="https://discord.gg/hYUwWddeAu">👾 Discord</a> • <a href="https://twitter.com/01ai_yi">🐤 Twitter</a> • <a href="https://github.com/01-ai/Yi-1.5/issues/2">💬 微信</a> <br/> <a href="https://arxiv.org/abs/2403.04652">📝 论文</a> • <a href="https://01-ai.github.io/">💪 技术博客</a> • <a href="https://github.com/01-ai/Yi/tree/main?tab=readme-ov-file#faq">🙌 常见问题</a> • <a href="https://github.com/01-ai/Yi/tree/main?tab=readme-ov-file#learning-hub">📗 学习中心</a> </p>

---

• 简介
• 新闻
• 快速开始
• 网页演示
• 部署
• 微调
• API
• 许可证

简介

Yi-1.5是Yi的升级版本。它在Yi的基础上使用5000亿个高质量语料库tokens进行持续预训练，并在300万个多样化的微调样本上进行了微调。

与Yi相比，Yi-1.5在编码、数学、推理和遵循指令的能力方面表现更强，同时保持了出色的语言理解、常识推理和阅读理解能力。

Yi-1.5有3种模型规模：34B、9B和6B。有关模型详情和基准测试，请参阅模型卡片。

新闻

• 2024年5月13日：Yi-1.5系列模型开源，进一步提升了编码、数学、推理和遵循指令的能力。

要求

• 确保安装了Python 3.10或更高版本。

• 设置环境并安装所需的包。

  pip install -r requirements.txt

• 从Hugging Face、ModelScope或WiseModel下载Yi-1.5模型。

快速开始

本教程在A800（80G）上本地运行Yi-1.5-34B-Chat。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = '<你的模型路径>'

tokenizer = AutoTokenizer.from_pretrained(model_path, use_fast=False)

# 自transformers 4.35.0版本以来，可以使用AutoModelForCausalLM加载GPT-Q/AWQ模型。
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",
    torch_dtype='auto'
).eval()

# 提示内容："hi"
messages = [
    {"role": "user", "content": "hi"}
]

input_ids = tokenizer.apply_chat_template(conversation=messages, tokenize=True, return_tensors='pt')
output_ids = model.generate(input_ids.to('cuda'), eos_token_id=tokenizer.eos_token_id)
response = tokenizer.decode(output_ids[0][input_ids.shape[1]:], skip_special_tokens=True)

# 模型回复："你好！我今天能为你提供什么帮助？"
print(response)

Ollama

你可以在本地使用Ollama运行Yi-1.5模型。

1. 安装Ollama后，你可以启动Ollama服务。请注意，在使用Ollama时保持此服务运行。

   ollama serve

2. 运行Yi-1.5模型。有关Ollama支持的更多Yi模型，请参见Yi标签。

ollama run yi:v1.5

3. 通过OpenAI兼容的API与Yi-1.5对话。有关如何在Ollama上通过OpenAI API和REST API使用Yi-1.5的更多详情，请参见Ollama文档。

from openai import OpenAI
client = OpenAI(
    base_url='http://localhost:11434/v1/',
    api_key='ollama',  # 必填但会被忽略
)
chat_completion = client.chat.completions.create(
    messages=[
        {
            'role': 'user',
            'content': '你叫什么名字',
        }
    ],
    model='yi:1.5',
)

部署

前提条件：在部署Yi-1.5模型之前，请确保满足软件和硬件要求。

vLLM

前提条件：下载最新版本的vLLM。

1. 使用聊天模型启动服务器。

python -m vllm.entrypoints.openai.api_server  --model 01-ai/Yi-1.5-9B-Chat  --served-model-name Yi-1.5-9B-Chat

2. 使用聊天API。

• HTTP

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "Yi-1.5-9B-Chat",
        "messages": [
            {"role": "system", "content": "你是一个乐于助人的助手。"},
            {"role": "user", "content": "2020年谁赢得了世界大赛？"}
        ]
    }'

• Python客户端

from openai import OpenAI
# 设置OpenAI的API密钥和API基础URL以使用vLLM的API服务器。
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

chat_response = client.chat.completions.create(
    model="Yi-1.5-9B-Chat",
    messages=[
        {"role": "system", "content": "你是一个乐于助人的助手。"},
        {"role": "user", "content": "讲个笑话。"},
    ]
)
print("聊天响应:", chat_response)

Web演示

你可以通过huggingface聊天界面激活Yi-1.5-34B-Chat，然后体验它。

或者你可以自己在本地构建，如下所示：

python demo/web_demo.py -c <你的模型路径>

微调

你可以使用LLaMA-Factory、Swift、XTuner和Firefly进行微调。这些框架都支持微调Yi系列模型。

API

Yi API与OpenAI兼容，并在Yi平台提供。注册即可获得免费令牌，你还可以以有竞争力的价格按使用量付费。此外，Yi API也部署在Replicate和OpenRouter上。

许可证

Yi-1.5系列模型的代码和权重在Apache 2.0许可证下分发。

如果你基于此模型创建衍生作品，请在你的衍生作品中包含以下归属：

本作品是基于01.AI的[你所基于的Yi-1.5系列模型]的衍生作品，使用Apache 2.0许可证。

<p align="right"> [ <a href="#top">返回顶部 ⬆️ </a> ] </p>