kani: 一个轻量级且高度可定制的语言模型应用框架

kani: 为语言模型应用开发而生的微框架

kani (カニ) 是一个轻量级且高度可定制的微框架,专为构建基于聊天的语言模型应用而设计。与其他语言模型框架相比,kani 更加灵活,对开发者的限制更少,同时提供了更细粒度的可定制性,使其成为 NLP 研究人员、爱好者和开发者的理想选择。

主要特性

kani 具有以下几个突出的特性:

1. 轻量级和高级抽象: kani 实现了与语言模型接口的常见样板代码,但不强制使用特定的提示框架或复杂的库特定工具。

2. 模型无关性: kani 提供了一个简单的接口来实现令牌计数和补全生成。这使得开发者可以在不进行大规模代码重构的情况下切换后端语言模型。

3. 自动聊天记忆管理: 允许聊天会话流畅进行,无需担心历史记录中的令牌数量 - kani 会自动处理这些细节。

4. 支持函数调用: 只需一行代码即可让模型访问函数。kani 优雅地提供关于幻觉参数和错误的反馈,并允许模型重试调用。

5. 提示词完全可控: 没有隐藏的提示技巧。与其他流行的语言模型库不同,kani 不会决定如何格式化你的数据。

6. 快速迭代和直观学习: 使用 kani,你只需编写 Python 代码 - 其他细节由框架处理。

7. 原生异步设计: kani 可以轻松扩展以并行运行多个聊天会话,无需管理多个进程或程序。

支持的模型

kani 开箱即用地支持多种流行的语言模型:

托管模型:

• OpenAI 模型 (GPT-3.5-turbo, GPT-4, GPT-4-turbo, GPT-4o)
• Anthropic 模型 (Claude, Claude Instant)

开源模型: kani 通过 transformers 或 llama.cpp 支持 Hugging Face 上的所有聊天模型!

特别地,kani 为以下基础模型及其微调版本提供了参考实现:

• LLaMA 3 (所有尺寸)
• Mistral-7B, Mixtral-8x7B, 和 Mixtral-8x22B
• Command R 和 Command R+
• Gemma (所有尺寸)
• LLaMA 2 (所有尺寸)
• Vicuna v1.3

快速上手

kani 需要 Python 3.10 或更高版本。首先,让我们安装库。在这个快速入门中,我们将使用 OpenAI 引擎,尽管 kani 是模型无关的。

pip install "kani[openai]"

然后,让我们使用 kani 创建一个简单的聊天机器人,使用 ChatGPT 作为后端:

import asyncio
from kani import Kani, chat_in_terminal
from kani.engines.openai import OpenAIEngine

# 替换为你的 OpenAI API 密钥: https://platform.openai.com/account/api-keys
api_key = "sk-..."

# kani 使用 Engine 与语言模型交互。你可以在这里指定其他模型参数,如 temperature=0.7
engine = OpenAIEngine(api_key, model="gpt-3.5-turbo")

# kani 管理聊天状态、提示和函数调用。这里我们只给它调用 ChatGPT 的引擎,
# 但你可以在这里指定其他参数,如 system_prompt="You are..."
ai = Kani(engine)

# kani 提供了一个实用工具,可以通过终端与 kani 交互...
chat_in_terminal(ai)

# 或者你可以以编程方式在异步函数中使用 kani!
async def main():
    resp = await ai.chat_round("What is the airspeed velocity of an unladen swallow?")
    print(resp.text)

asyncio.run(main())

kani 使设置工作聊天模型的时间变短,同时为程序员提供了对每个提示、函数调用,甚至底层语言模型的深度可定制性。

函数调用

函数调用使语言模型能够根据你提供的文档选择何时调用函数。

使用 kani,你可以用 Python 编写函数,并仅用一行代码就能将它们暴露给模型:使用 @ai_function 装饰器。

import asyncio
from typing import Annotated
from kani import AIParam, Kani, ai_function, chat_in_terminal, ChatRole
from kani.engines.openai import OpenAIEngine

# 设置引擎如上所示
api_key = "sk-..."
engine = OpenAIEngine(api_key, model="gpt-3.5-turbo")

# 子类化 Kani 以添加 AI 函数
class MyKani(Kani):
    # 向方法添加注解将其暴露给 AI
    @ai_function()
    def get_weather(
        self,
        # 你可以为特定参数提供额外的文档
        location: Annotated[str, AIParam(desc="The city and state, e.g. San Francisco, CA")],
    ):
        """获取指定位置的当前天气。"""
        # 在这个例子中,我们模拟返回,但你可以调用真正的天气 API
        return f"Weather in {location}: Sunny, 72 degrees fahrenheit."

ai = MyKani(engine)

# 终端实用工具允许你测试函数调用...
chat_in_terminal(ai)

# 你也可以以编程方式跟踪多个回合。
async def main():
    async for msg in ai.full_round("What's the weather in Tokyo?"):
        print(msg.role, msg.text)

asyncio.run(main())

kani 确保函数调用在到达你的方法时是有效的,同时让你专注于编写代码。

流式响应

kani 支持从底层语言模型逐个令牌地流式传输响应,即使存在函数调用也是如此。流式传输设计为 chat_round 和 full_round 方法的直接替代品,允许你逐步重构代码而不会使其处于损坏状态。

async def stream_chat():
    stream = ai.chat_round_stream("What does kani mean?")
    async for token in stream:
        print(token, end="")
    print()
    msg = await stream.message()  # 或 `await stream`

async def stream_with_function_calling():
    async for stream in ai.full_round_stream("What's the weather in Tokyo?"):
        async for token in stream:
            print(token, end="")
        print()
        msg = await stream.message()

为什么选择 kani?

现有的语言模型框架如 LangChain 和 simpleaichat 要么过于固执己见,要么过重 - 它们在后台编辑开发者的提示,难以学习,并且在不添加大量高维护代码的情况下难以定制。

我们构建 kani 作为一个更灵活、简单和健壮的替代方案。框架之间的一个很好的类比是说,kani 之于 LangChain,就像 Flask (或 FastAPI) 之于 Django。

kani 适合从学术研究人员到行业专业人士再到爱好者的所有人使用,无需担心隐藏的技巧。

开发团队

kani 的核心开发团队由宾夕法尼亚大学计算机与信息科学系的三名博士生组成。他们都是 Chris Callison-Burch 教授实验室的成员,致力于推动 NLP 的未来发展。

• Andrew Zhu 于 2022 年秋季入学。他的研究兴趣包括自然语言处理、编程语言、分布式系统等。他还是一名全栈软件工程师,精通各种后端、开发运维、数据库和前端工程。Andrew 致力于编写惯用、清晰、高性能和低维护的代码 —— 这些哲学在学术界往往很少见。他的研究得到了 NSF 研究生研究奖学金的支持。

• Liam Dugan 于 2021 年秋季入学。他的研究主要集中在大型语言模型以及人类如何与它们交互。特别是,他对人类检测生成文本的能力感兴趣,并且希望将这些见解应用于自动检测系统。他还对大型语言模型在教育中的实际应用感兴趣。

• Alyssa Hwang 于 2020 年秋季入学,由 Chris Callison-Burch 和 Andrew Head 指导。她的研究重点是有效传达复杂信息的 AI 助手,例如指导用户完成指令的语音助手或允许用户无缝导航口述文本的有声读物。除了研究之外,Alyssa 还担任 Penn CIS 博士协会主席,创立了 CIS 博士导师计划,并得到了 NSF 研究生研究奖学金计划的支持。

开发团队在研究中积极使用 kani,并致力于使其与现代 NLP 实践保持同步。

结语

kani 为构建基于语言模型的应用提供了一个强大而灵活的框架。无论你是研究人员、开发者还是爱好者,kani 都能帮助你快速构建和实验各种语言模型应用。通过其轻量级设计、模型无关性和深度可定制性,kani 为 NLP 领域带来了新的可能性。

如果你对 kani 感兴趣,可以查看官方文档以获取更多信息,或者直接在 GitHub 仓库中探索示例和源代码。kani 的开发团队也欢迎社区贡献,共同推动这个框架的发展。

让我们一起探索 kani 带来的无限可能,为 NLP 应用开发开辟新的篇章! 🦀🚀