orca_mini_v3_13b

orca_mini_v3_13b 项目简介

项目概述

orca_mini_v3_13b 是一种基于Llama2-13b的模型，专注于生成文本。这一模型通过Orca风格的数据集训练，使其在生成文本时能够表现出色。该模型涵盖了多种语言处理任务，使用广泛的数据集进行评估，从而提供了较为全面的文本生成能力。

数据集与评估结果

orca_mini_v3_13b 在多个数据集上进行了评估，每个数据集中均展示出不同的文本生成准确性：

AI2 Reasoning Challenge (25-Shot)：该数据集用于测试推理能力，orca_mini_v3_13b 达到了 63.14 的标准化准确率（Normalized Accuracy）。
HellaSwag (10-Shot)：主要用于逻辑判断，结果达到 82.35 的标准化准确率。
MMLU (5-Shot)：测试学术推理能力，准确率为 56.52。
TruthfulQA (0-Shot)：主要测试模型在真实场景下的表现，获得了 51.81 的 mc2 分数。
Winogrande (5-Shot)：针对语言理解，达到 76.48 的准确率。
GSM8k (5-Shot)：数学问题解决能力比较低，准确率为 13.12。

此外，还有其他数据集如 IFEval、BBH、MATH Lvl 5、GPQA 和 MuSR，分别考察模型在不同领域和情境中的能力，这些数据集的表现如上表所示，各有差别。

模型使用示例

以下是如何在Python中使用orca_mini_v3_13b模型的简单示例：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

tokenizer = AutoTokenizer.from_pretrained("psmathur/orca_mini_v3_13b")
model = AutoModelForCausalLM.from_pretrained(
  "psmathur/orca_mini_v3_13b",
  torch_dtype=torch.float16,
  load_in_8bit=True,
  low_cpu_mem_usage=True,
  device_map="auto"
)
system_prompt = "### System:\nYou are an AI assistant that follows instruction extremely well. Help as much as you can.\n\n"

# 指令生成步骤
instruction = "Tell me about Orcas."
prompt = f"{system_prompt}### User: {instruction}\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
output = model.generate(**inputs, do_sample=True, top_p=0.95, top_k=0, max_new_tokens=4096)

print(tokenizer.decode(output[0], skip_special_tokens=True))

模型局限性及注意事项

尽管orca_mini_v3_13b在很多任务中表现出色，但它仍可能生成不准确或误导的内容。在某些情况下，其中的偏见或不当内容可能导致问题。因此，用户在使用时应谨慎处理生成的信息，并在必要时进行核实。

引述与鸣谢

使用该模型时应该根据以下 BibTeX 格式进行引用：

@misc{orca_mini_v3_13b,
  author = {Pankaj Mathur},
  title = {orca_mini_v3_13b: An Orca Style Llama2-70b model},
  year = {2023},
  publisher = {HuggingFace},
  journal = {HuggingFace repository},
  howpublished = {\url{https://https://huggingface.co/psmathur/orca_mini_v3_13b},
}

模型开发过程中得到了@TheBloke的帮助，他提供了量化版本的支持链接。此外，Acknowledgements部分也包括了开发者Pankaj Mathur所作的贡献。