dictalm2.0-instruct

项目介绍：DictaLM 2.0-Instruct

概述

DictaLM-2.0-Instruct 是一种大型语言模型(LLM)，由 DictaLM-2.0 模型通过多种对话数据集微调而成。这个模型专为生成模拟对话和聊天而设计，提供更优的指令化和语言生成能力，特别适用于英语和希伯来语环境。

项目背景

随着自然语言处理技术的不断进步，如何使语言模型更好地适应特定语言和语境成为一项重要的研究内容。DictaLM-2.0-Instruct 的研发目标是使其具有更强的希伯来语指令处理能力，并通过改进词汇表和指令能力，满足各种应用场景的需求。

功能特性

多语言支持：该模型支持英语和希伯来语，通过微调展现了在这些语言环境中优异的指令化能力。
指令微调：为了优化指令响应，采用一种特殊的指令格式，用于增强模型在处理复杂指令时的性能。模型输入需要通过 [INST] 和 [/INST] 标记来包围指令。
高精度模型：这是一个非量化的全精度模型，保证了文本生成的高质量。

使用示例

开发者可以通过以下示例代码了解如何使用该模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

device = "cuda" # 将模型加载到的设备

model = AutoModelForCausalLM.from_pretrained("dicta-il/dictalm2.0-instruct", torch_dtype=torch.bfloat16, device_map=device)
tokenizer = AutoTokenizer.from_pretrained("dicta-il/dictalm2.0-instruct")

messages = [
    {"role": "user", "content": "איזה רוטב אהוב עליך?"},
    {"role": "assistant", "content": "טוב, אני די מחבב כמה טיפות מיץ לימון סחוט טרי. זה מוסיף בדיוק את הכמות הנכונה של טעם חמצמץ לכל מה שאני מבשל במטבח!"},
    {"role": "user", "content": "האם יש לך מתכונים למיונז?"}
]

encoded = tokenizer.apply_chat_template(messages, return_tensors="pt").to(device)

generated_ids = model.generate(encoded, max_new_tokens=50, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])