local-llm-function-calling学习资料汇总 - 用于生成函数参数和选择调用函数的本地LLM工具

local-llm-function-calling简介

local-llm-function-calling是一个开源项目,旨在使用本地大语言模型(LLMs)来实现类似OpenAI函数调用的功能。该项目提供了一个Generator类,可以完全替代OpenAI的函数调用功能,使开发者能够在本地环境中使用开源模型生成函数参数并选择要调用的函数。

项目地址: https://github.com/rizerphe/local-llm-function-calling

主要特性

• 支持使用本地LLM模型生成函数参数和选择函数
• 提供类似OpenAI函数调用的API接口
• 支持多种开源LLM模型,如Hugging Face模型、Llama等
• 可自定义提示模板和约束条件
• 支持完成模型和指令模型

安装使用

可以通过pip安装:

pip install local-llm-function-calling

基本使用示例:

from local_llm_function_calling import Generator

functions = [
    {
        "name": "get_current_weather",
        "description": "Get the current weather in a given location",
        "parameters": {
            "type": "object",
            "properties": {
                "location": {
                    "type": "string", 
                    "description": "The city and state, e.g. San Francisco, CA",
                },
                "unit": {"type": "string", "enum": ["celsius", "fahrenheit"]},
            },
            "required": ["location"],
        },
    }
]

generator = Generator.hf(functions, "gpt2")

function_call = generator.generate("What's the weather like in San Francisco?")

文档资源

• 项目文档: https://local-llm-function-calling.readthedocs.io/
• 生成函数调用教程: https://github.com/rizerphe/local-llm-function-calling/blob/main/docs/generation.md

社区讨论

• GitHub Issues: https://github.com/rizerphe/local-llm-function-calling/issues
• Reddit讨论: https://www.reddit.com/r/LocalLLaMA/comments/1asr8hn/function_calling_with_local_llms/

相关文章

• Function Calling with Local LLMs
• State of "Function Calling" in LLM

local-llm-function-calling为开发者提供了在本地环境中实现类似OpenAI函数调用功能的解决方案。通过使用开源模型,可以降低成本、提高隐私性,同时保留函数调用的强大功能。希望这个项目能帮助更多开发者在本地环境中构建智能应用。