Synatra-7B-v0.3-RP

Synatra-7B-v0.3-RP项目介绍

Synatra-7B-v0.3-RP 是一个用于文本生成的开源项目。该项目由一个对语言处理有高度热情的开发者独立完成，目标是提供一种有效、高质量的文本生成工具。它采用非商业许可方式，基于Mistral-7B-Instruct-v0.1模型进行了进一步的优化与调优。

项目背景及支持

Synatra-7B-v0.3-RP 是一项个人开发的项目。开发者希望通过分享模型，帮助更多人解决文本生成中的问题。同时也欢迎对该项目感兴趣的人提供资金支持，以帮助其更好地发展和完善。如果您有意赞助，可以通过Telegram联系开发者。

模型许可

该模型采用CC BY-NC 4.0许可证，这意味着它仅限于非商业用途。用户可自由使用这一模型及其衍生产品，只需确保遵循非商业使用规定。如需进行商业用途，请联系开发者商议具体事宜。

模型细节

基础模型： Synatra-7B-v0.3-RP 基于Mistral-7B-Instruct-v0.1。
训练环境：它使用了8块A6000 48GB GPU进行训练，确保了在算力上的支持。
指令格式：该模型遵循ChatML格式来处理交互式指令。

模型改进计划

开发者已经完成了一些优化，如“RP（Role Play）为基础的调优模型制作”和“数据集净化”等，并正在进一步改进语言理解能力和计划更换分词器以提升表现。

模型基准测试

在目前的基准测试尚未完全实施的情况下，Synatra-7B-v0.3-RP已经在多个评估标准上取得了不错的成绩，包括ARC、HellaSwag、MMLU等。这些测评结果展示了该模型在不同任务上的优异能力。

实施代码

用户可以使用transformers库来加载和运行此模型。在简单的实现中，首先将指令格式化为ChatML格式，然后经过模型生成后，输出结果文本。

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # 使用的设备

model = AutoModelForCausalLM.from_pretrained("maywell/Synatra-7B-v0.3-RP")
tokenizer = AutoTokenizer.from_pretrained("maywell/Synatra-7B-v0.3-RP")

messages = [
    {"role": "user", "content": "바나나는 원래 하얀색이야?"},
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])