tanuki.py

项目介绍: Tanuki

Tanuki 是一个易于使用的工具包，它使得使用大语言模型（LLM）增强的函数能够在 Python 中轻松实现。这些函数支持良好的类型约束、可靠、无状态并且已准备好投入生产。其独特之处在于，随着使用时间的增加，执行成本和延迟会自动降低。

功能特性

• 轻松无缝集成：在几秒钟内添加 LLM 增强的函数到任何工作流中。只需用 @tanuki.patch 修饰一个函数，并可选地添加类型提示和文档字符串，即可实现。
• 类型感知：确保 LLM 输出遵循函数的类型约束，避免由于使用 LLM 而产生的错误或意外副作用。
• 输出对齐：通过简单的断言语句，可以使修饰过的函数行为与预期一致。
• 降低成本与延迟：随着使用的增加，可实现最多 90% 的成本降低和 80% 的延迟降低。
• 支持多种流行模型：支持多种流行模型（如 OpenAI、Amazon Bedrock、Together AI）来执行函数。
• 支持 RAG：轻松获得下游 RAG 实现的嵌入输出，优化长文本内容的性能。
• 无远程依赖：除了 OpenAI，无其他远程依赖。

安装和开始使用

要安装 Tanuki，可运行以下命令：

pip install tanuki.py

或使用 Poetry:

poetry add tanuki.py

设置 OpenAI 密钥：

export OPENAI_API_KEY=sk-...

快速开始

1. 创建一个使用 @tanuki.patch 修饰的 Python 函数，并包含类型提示和文档字符串。
2. （可选）创建另一个用 @tanuki.align 修饰的函数，包含期望行为的断言语句。
3. （可选）配置要使用的模型，默认使用 GPT-4。

保持修饰后的函数在代码的其余部分中的正常调用。

工作原理

在开发过程中调用 Tanuki 修饰的函数时，会调用配置的 LLM 来生成类型化的响应。通过自动模型蒸馏，随着数据量的增加，Tanuki 会使用大型模型的输出来蒸馏更小的模型，从而实现更低的计算成本和延迟。

类型化输出

Tanuki 支持为函数的参数和输出指定严格的类型，使得输出数据格式符合预期，并保证模型不产生破坏程序或下游工作流的意外输出。

示例

@dataclass
class ActionItem:
    goal: str
    deadline: datetime
    
@tanuki.patch
def action_items(input: str) -> List[ActionItem]:
    """生成行动项目列表"""

@tanuki.align
def align_action_items():
    goal = "请在周二之前把演示文稿交给我。"
    next_tuesday = (datetime.now() + timedelta((1 - datetime.now().weekday() + 7) % 7)).replace(hour=0, minute=0, second=0, microsecond=0)

    assert action_items(goal) == ActionItem(goal="准备演示文稿", deadline=next_tuesday)

通过限制通过修饰函数的数据类型，您可以声明模型可能返回的潜在输出，并制定程序存在的世界项目。

测试驱动对齐

Tanuki 中的测试驱动对齐 (TDA) 让您的函数行为与预期一致，通过 @align 进行修饰并使用普通的 assert 语句。

扩展和优化

使用 Tanuki 的一大优势是，随着数据量的增加，可以享受低成本和低延迟的好处。

Tanuki 库会自动处理更小函数专用模型的培训和部署，因此用户可以从中受益，而不需要额外的 MLOps 或者 DataOps 努力。

以上即为 Tanuki 项目的核心介绍和功能说明。通过这种方式，开发者可以有效地整合 LLM 技术到他们的 Python 项目中，并在降低成本和提升性能的同时保持代码的简洁和功能的一致性。