StableBeluga-7B

Stable Beluga 7B项目介绍

项目概述

Stable Beluga 7B是一个由Stability AI开发的语言生成模型。该模型基于Llama2 7B进行了微调，采用的是Orca风格的数据集。用户可以通过Stable Chat (Research Preview) 免费测试Stability AI最新的语言模型。

模型使用介绍

Stable Beluga 7B可以通过以下Python代码片段进行使用：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

# 加载预训练模型和分词器
tokenizer = AutoTokenizer.from_pretrained("stabilityai/StableBeluga-7B", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("stabilityai/StableBeluga-7B", torch_dtype=torch.float16, low_cpu_mem_usage=True, device_map="auto")

# 系统提示词
system_prompt = "### System:\nYou are StableBeluga, an AI that follows instructions extremely well. Help as much as you can. Remember, be safe, and don't do anything illegal.\n\n"

# 用户输入示例
message = "Write me a poem please"
prompt = f"{system_prompt}### User: {message}\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

# 生成输出
output = model.generate(**inputs, do_sample=True, top_p=0.95, top_k=0, max_new_tokens=256)
print(tokenizer.decode(output[0], skip_special_tokens=True))

使用Stable Beluga 7B需要采用如下格式的提示词：

### System:
This is a system prompt, please behave and help the user.

### User:
Your prompt here

### Assistant:
The output of Stable Beluga 7B

模型详细信息

• 开发者: Stability AI
• 模型类型: 自回归语言模型，基于Llama2 7B进行微调。
• 支持语言: 英语
• 使用库: HuggingFace Transformers
• 许可证: 微调后的Stable Beluga 7B在非商业社区许可协议下受到保护。
• 联系方式: 如果对模型有任何疑问或建议，请发送电子邮件至 lm@stability.ai

训练数据集

Stable Beluga 7B使用内部开发的Orca风格数据集进行训练。

训练过程

模型通过监督微调在上述数据集上进行训练，采用混合精度（BF16），并使用AdamW优化器。以下是一些关键超参数：

伦理考量和局限性

Beluga是一项新技术，在使用过程中可能存在风险。到目前为止的测试以英语为主，并未涵盖所有可能情况。因此，与所有大型语言模型（LLMs）一样，Beluga的潜在输出无法预先预测，模型可能会对用户的提示产生不准确、偏颇或其他令人反感的响应。因此，在部署Beluga的任何应用之前，开发者应根据其具体应用进行安全测试和调整。

学术引用

如果在学术论文中引用此模型，请使用以下引用格式：

@misc{touvron2023llama,
      title={Llama 2: Open Foundation and Fine-Tuned Chat Models}, 
      author={Hugo Touvron and Louis Martin and Kevin Stone and etc.},
      year={2023},
      eprint={2307.09288},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{mukherjee2023orca,
      title={Orca: Progressive Learning from Complex Explanation Traces of GPT-4}, 
      author={Subhabrata Mukherjee and Arindam Mitra and etc.},
      year={2023},
      eprint={2306.02707},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}