Hebrew-Mistral-7B

Hebrew-Mistral-7B 项目介绍

项目概述

Hebrew-Mistral-7B 是一个开源的大型语言模型（LLM），它在希伯来语和英语上进行了预训练，拥有70亿个参数。该模型基于Mistral的Mistral-7B-v1.0版本进行扩展和训练。值得一提的是，Hebrew-Mistral-7B 拥有64,000个词汇的希伯来语分词器，并在持续预训练中进一步在希伯来语和英语的语料中进行了调优。

功能与应用

Hebrew-Mistral-7B 是一个功能强大的通用语言模型，适用于各种自然语言处理任务。尤其在希伯来语理解和生成方面有着突出的表现。这使得它成为了处理涉及希伯来语言问题的理想工具。

使用方法

下面介绍了一些快速开始使用此模型的代码示例。

在CPU上运行

要在CPU上运行该模型，首先确保安装最新版本的 transformers 库。然后根据下面的代码示例来使用:

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Mistral-7B")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Mistral-7B")

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

在GPU上运行

若有GPU支持，可以使用以下代码在GPU上运行Hebrew-Mistral-7B：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Mistral-7B")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Mistral-7B", device_map="auto")

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

使用4位精度运行

如果希望在资源受限的情况下进行模型推理，可以使用4位精度的方式：

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Mistral-7B")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Mistral-7B", quantization_config = BitsAndBytesConfig(load_in_4bit=True))

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

注意事项

需要注意的是，Hebrew-Mistral-7B 是一个预训练的基础模型，因此不具备任何内容审核或过滤机制。

作者与合作者

Hebrew-Mistral-7B 由Yam Peleg训练，合作伙伴包括Jonathan Rouach和Arjeo公司。这体现了多方合作的精神，共同推动希伯来语自然语言处理技术的发展。