Hebrew-Gemma-11B-V2

Hebrew-Gemma-11B-V2项目介绍

项目概述

Hebrew-Gemma-11B-V2是一个基于Hebrew-Gemma-11B模型的更新版。原模型Hebrew-Gemma-11B是一个大型语言模型（LLM），拥有110亿个参数，专为希伯来语和英语的文本生成和理解任务而设计。这个模型是基于谷歌的Gemma-7B架构，经过延长的预训练和错误修正，使得模型能够在处理自然语言处理任务时表现出更强大的能力，尤其是在希伯来语言的理解和生成方面。

基础模型

• 07.03.2024: Hebrew-Gemma-11B
• 16.03.2024: Hebrew-Gemma-11B-V2

指令模型

• 07.03.2024: Hebrew-Gemma-11B-Instruct

使用条款

Hebrew-Gemma-11B-V2模型作为Gemma-7B的扩展，依照Google的原始许可协议和使用条款进行分发和使用。有关详细条款，请参阅Terms。

使用方法

以下是如何快速上手运行此模型的一些代码示例。

在CPU上运行

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2")

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

在GPU上运行

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2", device_map="auto")

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

以4位精度运行

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2", quantization_config = BitsAndBytesConfig(load_in_4bit=True))

input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

注意事项

需要注意的是，Hebrew-Gemma-11B-V2是一个预训练的基础模型，因此不具备内容审核机制。

项目作者

• 该模型由Yam Peleg训练。
• 与Jonathan Rouach和Arjeo公司共同合作。