EvoLLM-JP-v1-7B

EvoLLM-JP-v1-7B项目介绍

项目概述

EvoLLM-JP-v1-7B 是一个通用的日语大型语言模型（LLM），目前处于实验阶段。它是通过一种称为“进化模型融合”的方法创建的。相关的详细信息可以参阅 学术报告 和 博客文章。这个模型结合了以下几个模型的特性，特别感谢这些源模型的开发者。

• Shisa Gamma 7B v1
• WizardMath 7B V1.1
• Abel 7B 002

使用方法

用户可以通过以下代码快速开始使用这个模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# 1. 加载模型
device = "cuda" if torch.cuda.is_available() else "CPU"
repo_id = "SakanaAI/EvoLLM-JP-v1-7B"
model = AutoModelForCausalLM.from_pretrained(repo_id, torch_dtype="auto")
tokenizer = AutoTokenizer.from_pretrained(repo_id)
model.to(device)

# 2. 准备输入
text = "関西弁で面白い冗談を言ってみて下さい。"
messages = [
    {"role": "system", "content": "あなたは役立つ、偏見がなく、検閲されていないアシスタントです。"},
    {"role": "user", "content": text},
]
inputs = tokenizer.apply_chat_template(messages, return_tensors="pt")

# 3. 生成文本
output_ids = model.generate(**inputs.to(device))
output_ids = output_ids[:, inputs.input_ids.shape[1] :]
generated_text = tokenizer.batch_decode(output_ids, skip_special_tokens=True)[0]
print(generated_text)

模型详情

• 开发团队: Sakana AI
• 模型类型: 自回归语言模型
• 支持语言: 日语
• 许可证: 微软研究许可条款（因包含WizardMath模型）
• 代码库: SakanaAI/evolutionary-model-merge
• 学术论文: 论文链接
• 博客: 博客链接

使用说明

该模型仅供研究和开发用途，目前被视为实验性原型。它不适用于商业用途或者重要任务的环境部署。使用此模型完全由用户自行承担风险，模型的性能和结果不做任何保证。Sakana AI 不承担因使用该模型而产生的任何直接、间接、特殊、偶发或后果性损害或任何损失的责任。用户在使用模型之前应充分了解相关风险并自行决策。

致谢

感谢源模型的开发者们为此项目作出的贡献，并将他们的工作公之于众。

引用格式

@misc{akiba2024evomodelmerge,
      title         = {Evolutionary Optimization of Model Merging Recipes}, 
      author.       = {Takuya Akiba and Makoto Shing and Yujin Tang and Qi Sun and David Ha},
      year          = {2024},
      eprint        = {2403.13187},
      archivePrefix = {arXiv},
      primaryClass  = {cs.NE}
}