Unify：简化LLM应用开发的统一接口

Unify:为LLM应用开发提供统一解决方案

在人工智能和自然语言处理领域,大型语言模型(LLM)正在迅速改变我们与技术交互的方式。然而,随着LLM提供商和模型种类的不断增加,开发人员面临着日益复杂的集成挑战。Unify应运而生,它是一个创新的Python库,旨在简化LLM应用开发过程,为开发者提供一个统一、高效的解决方案。

Unify的核心优势

Unify的设计理念围绕三个核心优势展开:

统一接口访问多种LLM: Unify提供了一个简单而强大的接口,使开发者能够通过更改一个字符串就轻松切换不同的LLM提供商和模型。这种灵活性使得开发者可以快速尝试和比较不同模型的性能,而无需管理多个API密钥或处理不同的输入输出格式。
性能优化与基准测试: Unify允许开发者添加自定义测试和评估,对所有模型和提供商进行基准测试。这使得开发者能够比较质量、成本和速度,并迭代优化系统提示,直到所有测试用例都通过为止。
智能动态路由: Unify的一大亮点是其动态路由功能。它可以根据每个独立提示的需求,自动选择最佳的模型和提供商,从而在质量、成本和速度之间取得最佳平衡。

快速上手Unify

开始使用Unify非常简单。首先,通过pip安装Unify包:

pip install unifyai

安装完成后,您需要在Unify官网注册并获取API密钥。有了API密钥,您就可以开始使用Unify了:

import unify

client = unify.Unify("gpt-4@openai", api_key="your_api_key")
response = client.generate("Hello world!")
print(response)

为了更好地管理API密钥,建议使用python-dotenv库将密钥存储在.env文件中。这样,您就可以避免在代码中直接暴露API密钥。

Unify的高级功能

Unify不仅提供了基本的LLM访问功能,还包含了许多高级特性,使开发者能够更灵活地控制和优化其应用:

模型和提供商管理: Unify提供了一系列实用函数,允许开发者列出和筛选可用的模型、提供商和端点:

models = unify.utils.list_models()
providers = unify.utils.list_providers()
endpoints = unify.utils.list_endpoints()

这些函数还支持筛选,例如:

anthropic_models = unify.utils.list_models("anthropic")
openai_endpoints = unify.utils.list_endpoints("openai")

灵活的模型切换: Unify允许开发者在运行时轻松切换模型、提供商或端点:

client.set_endpoint("mistral-7b-instruct-v0.3@deepinfra")
client.set_model("mistral-7b-instruct-v0.3")
client.set_provider("deepinfra")

自定义提示和对话管理: Unify支持自定义系统提示和多轮对话:

response = client.generate(
    user_prompt="Hello Llama! Who was Isaac Newton?",
    system_prompt="You should always talk in rhymes"
)

messages = [
    {"role": "user", "content": "Who won the world series in 2020?"},
    {"role": "assistant", "content": "The Los Angeles Dodgers won the World Series in 2020."},
    {"role": "user", "content": "Where was it played?"}
]
response = client.generate(messages=messages)

异步支持: 对于需要处理多个并发请求的应用,Unify提供了异步客户端:

import unify
import asyncio

async_client = unify.AsyncUnify("llama-3-8b-chat@anyscale")

async def main():
    response = await async_client.generate("Hello Llama! Who was Isaac Newton?")
    print(response)

asyncio.run(main())

流式响应: Unify支持流式响应,允许开发者在生成过程中逐步获取和处理模型输出:

stream = client.generate("Hello Llama! Who was Isaac Newton?", stream=True)
for chunk in stream:
    print(chunk, end="")

异步客户端同样支持流式响应:

async def main():
    async_stream = await async_client.generate("Hello Llama! Who was Isaac Newton?", stream=True)
    async for chunk in async_stream:
        print(chunk, end="")