gemma-2-9b-it-russian-function-calling-GGUF

Gemma-2-9b-it-Russian-Function-Calling-GGUF项目介绍

项目概述

Gemma-2-9b-it-russian-function-calling-GGUF是一个基于Google的Gemma-2-9b-it模型的精调版本，专门用于函数调用任务。该模型使用人类注释的真实数据集——俄罗斯版本的DiTy/function-calling进行了调优。该模型旨在生成文本，并通过结合函数调用的方式，提高对话的交互性和实用性。

模型特点

• 多格式支持：该模型支持safetensors和GGUF格式，用户可以根据需求下载不同的文件类型。

• 多种量化方式：提供多个量化选项，例如F16、Q8_0、Q6_K等，以满足不同质量和性能的需求。推荐Q6_K量化类型，因为它质量高且接近完美。

功能使用指南

准备自定义函数

用户可以为模型编写Python函数，并在函数中添加Python注释（docstrings），以便模型调用。例如：

def get_weather(city: str):
    """
    返回指定城市的天气。

    Args:
        city: 需要获取天气的城市。
    """
    import random
    
    return "sunny" if random.random() > 0.5 else "rainy"

def get_sunrise_sunset_times(city: str):
    """
    返回指定城市的日出和日落时间。

    Args:
        city: 需要获取日出和日落时间的城市。
    """
    return ["6:00", "18:00"]

简易生成对话

要利用该模型生成对话，首先需要加载模型和分词器：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("DiTy/gemma-2-9b-it-russian-function-calling-GGUF", device_map="auto", torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained("DiTy/gemma-2-9b-it-russian-function-calling-GGUF")

通过apply_chat_template进行聊天模板应用和生成：

history_messages = [
    {"role": "system", "content": "你是一个有用的助手，拥有以下功能并在必要时使用它们 - "},
    {"role": "user", "content": "你好，你能告诉我克拉斯诺达尔的日出时间吗？"}
]
inputs = tokenizer.apply_chat_template(history_messages, tokenize=False, add_generation_prompt=True, tools=[get_weather, get_sunrise_sunset_times])

然后可以通过model.generate生成模型响应。

提示语和历史记录格式

为了最佳使用模型，建议使用apply_chat_template传递消息历史，格式如下：

history_messages = [
    {"role": "system", "content": "你是一个友好的助手"},
    {"role": "user", "content": "请告诉我关于莫斯科的事情"}
]

模型评估

在训练过程中的验证损失近似值为：

这份介绍为用户提供了从模型特点、使用指南到函数编写及生成方法的详细说明，降低了模型应用的门槛。