local-llm-function-calling学习资料汇总 - 用于生成函数参数和选择调用函数的本地LLM工具

local-llm-function-calling

local-llm-function-calling简介

local-llm-function-calling是一个开源项目,旨在使用本地大语言模型(LLMs)来实现类似OpenAI函数调用的功能。该项目提供了一个Generator类,可以完全替代OpenAI的函数调用功能,使开发者能够在本地环境中使用开源模型生成函数参数并选择要调用的函数。

项目地址: https://github.com/rizerphe/local-llm-function-calling

主要特性

支持使用本地LLM模型生成函数参数和选择函数
提供类似OpenAI函数调用的API接口
支持多种开源LLM模型,如Hugging Face模型、Llama等
可自定义提示模板和约束条件
支持完成模型和指令模型

安装使用

可以通过pip安装:

pip install local-llm-function-calling

基本使用示例:

from local_llm_function_calling import Generator

functions = [
    {
        "name": "get_current_weather",
        "description": "Get the current weather in a given location",
        "parameters": {
            "type": "object",
            "properties": {
                "location": {
                    "type": "string", 
                    "description": "The city and state, e.g. San Francisco, CA",
                },
                "unit": {"type": "string", "enum": ["celsius", "fahrenheit"]},
            },
            "required": ["location"],
        },
    }
]

generator = Generator.hf(functions, "gpt2")

function_call = generator.generate("What's the weather like in San Francisco?")