leo-hessianai-7b

项目简介：Leo-HessianAI-7B

项目背景

Leo-HessianAI-7B 是一个开创性的项目，目标是创建第一个公开和商业可用的德国语言模型。此项目以 Llama-2 为基础，通过在大量的德语语料库上进行进一步训练，从而扩展了 Llama-2 在德语方面的能力。由于 HessianAI 的超算“42”的计算支持，项目团队发布了两个基础模型：LeoLM/leo-hessianai-7b 和 LeoLM/leo-hessianai-13b。这些模型都在 Llama-2 社区许可协议下发布。

项目特点

Leo-HessianAI-7B 的特别之处在于，它以 Llama-2-7b 为基础进行微调，专为因果解码的 Transformer 语言模型。这一模型支持英德双语，旨在推动德国开放源代码和商业语言模型的研究，并加速这些技术的普及。

使用方法

使用 Leo-HessianAI-7B 进行文本生成，首先需要安装一些直接依赖项，比如 transformers 和 torch。为了提高推理速度，可以选择安装闪存注意力（flash-attention2）的相关依赖项。

安装命令如下：

pip install transformers torch sentencepiece
pip install packaging ninja
pip install flash-attn==v2.1.1 --no-build-isolation
pip install git+https://github.com/HazyResearch/flash-attention.git@v2.1.1#subdirectory=csrc/rotary

模型加载示例代码：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    model="LeoLM/leo-hessianai-7b",
    device_map="auto",
    torch_dtype=torch.float16,
    trust_remote_code=True  # 若使用 flash-attn2 则为 True，否则为 False
)

联系方式

如果对模型有任何疑问或需求，团队提供了多种联系方式。用户可以通过 LAION 的 Discord 或直接联系 Björn Plüster（邮箱：bjoern.pl@outlook.de）。

训练参数与基准

模型的训练参数和基准得分提供了有关模型性能的详细信息。训练参数和基准测试分数表明，这一技术项目在性能和效果上都有着良好的表现（相关图表可以在原项目页面查看）。

通过这些信息，Leo-HessianAI-7B 项目不仅为德语语言模型的开发提供了新的可能性，也为大型语言模型的研究开辟了新的道路。