SeewebLLM-it

SeewebLLM-it项目简介

SeewebLLM-it项目是一个针对意大利语进行专业微调的语言模型。它基于LLama-2-7b-chat-hf模型，专注于意大利语的处理和生成能力。这一模型的背后支撑者是Seeweb公司，通过利用先进的机器学习技术，进一步提升其在意大利语上的表现。

项目背景

SeewebLLM-it使用了LLama2作为基础模型，并且在LLama-2-7b-chat-hf的基础上进行了微调，使其更加适应意大利语语境和应用。项目的贡献者主要是来自Seeweb的Lorenzo Rocchi。

模型的潜在偏差、风险和局限性

如同许多机器学习模型一样，SeewebLLM-it在生成输出时也可能无法保证百分之百的准确性。这意味着在某些情况下，输出的句子可能存在偏差，需要人为进一步的审核和调整。

训练脚本和推理技术

关于微调和测试所用的脚本和指令，可以在以下的GitHub仓库中找到：finetuning-llama2-ita。

通过以下的Python代码片段，可以对SeewebLLM-it进行推理抑或与原始的LLama 2做对比：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

tokenizer = AutoTokenizer.from_pretrained("itsrocchi/SeewebLLM-it-ver2")
model = AutoModelForCausalLM.from_pretrained(
    "itsrocchi/SeewebLLM-it-ver2",
    device_map="auto",
    torch_dtype=torch.float16,
    load_in_8bit=True,
    rope_scaling={"type": "dynamic", "factor": 2} 
)

prompt = "### User:\nDescrivi cos' è l'intelligenza artificiale\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

output = model.generate(**inputs, streamer=streamer, use_cache=True, max_new_tokens=float('inf'))
output_text = tokenizer.decode(output[0], skip_special_tokens=True)