Swallow-7b-instruct-v0.1

Swallow-7b-instruct-v0.1 项目介绍

项目概述

Swallow-7b-instruct-v0.1 是由东京工业大学的开发团队推出的一款大型语言模型。该模型主要基于 Llama 2 家族进行持续的预训练，并特别加入了大量的日语数据，旨在提升其处理日语文本的能力。Swallow 的调优版本使用了监督微调（SFT）技术，以增强模型的指令响应能力。

模型发布更新

Swallow 项目团队在不断更新和发布新的模型版本，以适应不断增长的语言处理需求。以下是最近的更新：

• 2024年4月26日：发布 Swallow-7b-instruct-v0.1、Swallow-13b-instruct-v0.1 和 Swallow-70b-instruct-v0.1 作为预览版本。
• 2024年3月2日：发布 Swallow-7b-plus-hf，使用大约两倍于 Swallow-7b-hf 的日语文本进行训练。
• 此外，从2023年底开始，陆续发布了多个其他版本，包括 Swallow-13b-NVE-hf 和 Swallow-70b-NVE-hf 等。

模型特点

Swallow 模型系列具有以下特点：

• 模型类型：基于 Llama 2 架构，具体细节可以参考 Llama 2 的技术报告。
• 支持语言：支持日语和英语。
• 分词器：使用了基于日语数据扩展词汇表的分词器，能够更高效地表示文本，从而加快推理过程。

使用场景

Swallow 模型特别适合用于需要准确理解和生成日语文本的应用场景。在指令跟随能力的评估中，Swallow 的表现相较于之前的版本有显著提升。例如，Swallow-7b-instruct-v0.1 版本在多个任务中的平均得分较其早期版本有明显提高。

风险与局限

目前发布的模型仍处于研发的早期阶段，尚未进行严密的调优以确保输出与人类意图的完全对齐。在使用这些模型时，用户需注意潜在的输出偏差。

联系方式

对于这些模型的详细信息或有任何疑问，可以通过以下方式联系项目团队：swallow[at]nlp.c.titech.ac.jp。

贡献者和合作

Swallow 项目的开发得到了多方面的支持，特别是得益于 Meta Research 机构通过开放许可发布的 Llama 2。项目还获得了日本国立先进工业科学技术研究所提供的 ABCI 大规模语言模型构建支持计划的资助。

使用与引用

如果 Swallow 项目对您的研究或应用有所帮助，请随时引用团队的相关文献以示感谢。项目用例和开发细节可通过 TokyoTech-LLM 官方网站了解到。