open-calm-small

OpenCALM-Small 项目介绍

OpenCALM-Small 是由日本 CyberAgent, Inc. 开发的一系列基于解码器的语言模型中的一种。这个项目专注于对日语数据集进行预训练，从而帮助提升日语文本生成的能力。

模型描述

OpenCALM-Small 隶属于 OpenCALM 模型系列，这是一套仅使用解码器的语言模型。模型采用了现代化的变压器架构，适用多种自然语言处理任务。其开发目的是为业界和学术界提供一个精炼而功能强大的日语语言模型。

如何使用

用户可以通过 Python 代码，利用 transformers 库直接加载并使用这一模型。以下是一个简单的使用示例：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("cyberagent/open-calm-small", device_map="auto", torch_dtype=torch.float16)
tokenizer = AutoTokenizer.from_pretrained("cyberagent/open-calm-small")

inputs = tokenizer("AIによって私達の暮らしは、", return_tensors="pt").to(model.device)
with torch.no_grad():
    tokens = model.generate(
        **inputs,
        max_new_tokens=64,
        do_sample=True,
        temperature=0.7,
        top_p=0.9,
        repetition_penalty=1.05,
        pad_token_id=tokenizer.pad_token_id,
    )
    
output = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(output)

模型详情

OpenCALM-Small 是一种变压器语言模型，具有约 1.6 亿参数。它拥有 12 层网络结构，每层维度为 768 并配备 12 个注意力头。这使得它能够高效地处理和生成日语文本。

此外，OpenCALM 家族中还包括其他规模更大的模型，如：

OpenCALM-Medium：400M 参数，24 层
OpenCALM-Large：830M 参数，24 层
OpenCALM-1B：1.4B 参数，24 层
OpenCALM-3B：2.7B 参数，32 层
OpenCALM-7B：6.8B 参数，32 层

这些模型提供了不同的选择来适应各种应用场景。

开发信息

开发者: CyberAgent, Inc.
库: 使用 GPT-NeoX 框架开发
语言: 日语
许可: Creative Commons 署名-相同方式共享 4.0 国际许可证 (CC BY-SA 4.0)

训练数据集

模型的训练主要基于两个重要的日语数据集：

大规模的 Wikipedia 数据集
来自 Common Crawl 的日语文本

作者信息

OpenCALM-Small 项目的主要贡献者是 Ryosuke Ishigami。

引用格式

对于使用或研究本模型时需引用以下格式：

@software{gpt-neox-library,
  title = {{GPT-NeoX: Large Scale Autoregressive Language Modeling in PyTorch}},
  author = {Andonian, Alex and Anthony, Quentin and Biderman, Stella and Black, Sid and …},
  url = {https://www.github.com/eleutherai/gpt-neox},
  doi = {10.5281/zenodo.5879544},
  month = {8},
  year = {2021},
  version = {0.0.1},
}

OpenCALM-Small 作为一个创新的语言模型，对于在日语自然语言处理领域的应用和研究进展都提供了宝贵的支持。通过该模型，用户能够更为高效地探索和应对各种语言生成任务。