kani

项目介绍：kani

项目概述

kani 是一个轻量级且高度可定制的框架，专为基于对话的语言模型而设计，还支持工具使用和功能调用。与其他框架不同，kani 提供了更精细的定制选项，适合自然语言处理（NLP）研究人员、业余爱好者和开发人员使用。

支持的模型

kani 具有丰富的模型支持能力，包括：

托管模型：OpenAI 的 GPT-3.5 和 GPT-4 等模型，以及 Anthropic 的 Claude 模型。
开源模型：通过 Hugging Face 和 llama.cpp 平台上的许多开源聊天模型：
- LLaMA 3、Mistral 和 Vicuna 等多种变体。
- 这些模型的参考实现和调优版本。

用户可以在项目的模型库中查看如何在不同应用中使用这些模型。

项目特点

轻量与高级别：kani 提供与语言模型接口的基本功能，而不过多干预开发者的提示形式。
模型无关性：kani 提供了简单的接口，可以轻松切换底层运行的语言模型，而无需大幅重构代码。
自动对话记忆管理：无需手动管理对话历史中的 token 数量，kani 会自动处理。
支持模型反馈和重试的函数调用：通过简单的代码行即可让模型访问函数，kani 会优雅地处理参数偏差和错误，并支持重试。
完全控制提示：kani 不会擅自决定数据的格式，开发者拥有完全的提示控制权。
快速迭代和直观学习：在 kani 中仅需编写 Python 代码，其余部分由框架处理。
异步设计：可轻松并行运行多个对话会话，无需管理多个进程或程序。

安装指南

安装要求 Python 3.10 或以上版本。可以通过 pip 安装特定模型的依赖项：

# 对于 OpenAI 模型
$ pip install "kani[openai]"
# 对于 Hugging Face 模型
$ pip install "kani[huggingface]" torch
# 或者安装所有内容：
$ pip install "kani[all]"

如需最新的更改和新模型，用户还可以从 Git 的 main 分支安装开发版本。

快速入门

kani 的快速开始指南展示了如何通过 OpenAI 的 ChatGPT 创建一个简单的对话机器人：

第一步是安装库，然后使用以下代码来运行：

import asyncio
from kani import Kani, chat_in_terminal
from kani.engines.openai import OpenAIEngine

api_key = "sk-..."  # 替换为您的 OpenAI API 密钥

engine = OpenAIEngine(api_key, model="gpt-4o-mini")
ai = Kani(engine)

chat_in_terminal(ai)

# 或通过异步函数调用
async def main():
    resp = await ai.chat_round("What is the airspeed velocity of an unladen swallow?")
    print(resp.text)

asyncio.run(main())

功能调用

kani 通过简单的 @ai_function 装饰器，将 Python 函数暴露给语言模型。例如：

import asyncio
from typing import Annotated
from kani import AIParam, Kani, ai_function, chat_in_terminal
from kani.engines.openai import OpenAIEngine

api_key = "sk-..."
engine = OpenAIEngine(api_key, model="gpt-4o-mini")

class MyKani(Kani):
    @ai_function()
    def get_weather(self, location: Annotated[str, AIParam(desc="The city and state, e.g. San Francisco, CA")]):
        return f"Weather in {location}: Sunny, 72 degrees fahrenheit."

ai = MyKani(engine)
chat_in_terminal(ai)