leo-hessianai-7b

项目简介：Leo-HessianAI-7B

项目背景

Leo-HessianAI-7B 是一个开创性的项目，目标是创建第一个公开和商业可用的德国语言模型。此项目以 Llama-2 为基础，通过在大量的德语语料库上进行进一步训练，从而扩展了 Llama-2 在德语方面的能力。由于 HessianAI 的超算“42”的计算支持，项目团队发布了两个基础模型：LeoLM/leo-hessianai-7b 和 LeoLM/leo-hessianai-13b。这些模型都在 Llama-2 社区许可协议下发布。

项目特点

Leo-HessianAI-7B 的特别之处在于，它以 Llama-2-7b 为基础进行微调，专为因果解码的 Transformer 语言模型。这一模型支持英德双语，旨在推动德国开放源代码和商业语言模型的研究，并加速这些技术的普及。

使用方法

使用 Leo-HessianAI-7B 进行文本生成，首先需要安装一些直接依赖项，比如 transformers 和 torch。为了提高推理速度，可以选择安装闪存注意力（flash-attention2）的相关依赖项。

安装命令如下：

pip install transformers torch sentencepiece
pip install packaging ninja
pip install flash-attn==v2.1.1 --no-build-isolation
pip install git+https://github.com/HazyResearch/flash-attention.git@v2.1.1#subdirectory=csrc/rotary

模型加载示例代码：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    model="LeoLM/leo-hessianai-7b",
    device_map="auto",
    torch_dtype=torch.float16,
    trust_remote_code=True  # 若使用 flash-attn2 则为 True，否则为 False
)