Master-Yi-9B

Master-Yi-9B 项目介绍

项目概述

Master-Yi-9B 是一个基于大型语言模型（LLM）的项目，该模型是通过人类收集的种子问题进行训练，并结合了高性能的开源语言模型来生成答案。这种方法让模型在处理编程和数学推理问题上展现出强大的能力。

技术背景

Master-Yi-9B 使用了一种叫做 ORPO 的技术，提升了模型在逻辑推理与解题方面的表现。这使得模型特别擅长处理复杂逻辑的问题，比如编写代码或数学运算。

模型版本

Master-Yi-9B 提供了一个量化版本以供用户使用，这个版本在性能上进行了优化，资源使用更加高效。量化版本的详细信息和下载链接可以从 Hugging Face 平台上获取。点击这里查看量化版本。

社区量化支持

除了官方发布的版本外，社区成员 @LoneStriker 也提供了若干量化模型版本，支持多种精度和格式，以满足不同用户的需求。这包括 exl2 格式和 GGUFs 格式版本，用户可以根据自身需要进行选择。

使用示例

为了方便用户参考和使用，项目文档中提供了简单的使用示例。通过安装所需的依赖，然后按照给出的代码示例，用户可以快速调用 Master-Yi-9B 模型生成答案。例如，若用户询问“生命的意义是什么？”，AI 助手会以此问题生成合适的回答。

推理代码

通过使用 Python 和 Transformer 库，用户可以在本地实现模型推理。推理代码涵盖了如何加载模型、构建输入，以及生成输出等全部流程，方便用户在自己的项目中整合和应用该模型。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
device = "cuda"

model = AutoModelForCausalLM.from_pretrained(
    "qnguyen3/Master-Yi-9B",
    torch_dtype='auto',
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("qnguyen3/Master-Yi-9B")

prompt = "What is the mearning of life?"
messages = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=1024,
    eos_token_id=tokenizer.eos_token_id,
    temperature=0.25,
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids)[0]
print(response)

性能基准测试

Master-Yi-9B 在多项基准测试中表现不俗：

Nous Benchmark 显示，对于 AGIEval、GPT4All、TruthfulQA 和 Bigbench 等测试，Master-Yi-9B 的平均得分为 51.25%。
在 OpenLLM Benchmark 上，模型在 ARC、HellaSwag、MMLU、TruthfulQA、Winogrande 和 GSM8K 等测试的综合得分为 67.48%。

这些测试结果表明 Master-Yi-9B 在多个标准化数据集上的综合表现稳定，特别在逻辑推理和语言理解任务中展现出色绩效。