Manifest: 简化基础模型提示编程的强大工具

manifest

Manifest简介

在人工智能和自然语言处理领域,基础模型(Foundation Models)的出现引发了一场革命。这些庞大的预训练模型展现出了惊人的语言理解和生成能力,为各种下游任务提供了强大的基础。然而,如何有效地利用这些模型,设计合适的提示(prompt)以获得理想的输出,对许多开发者来说仍然是一个挑战。

为了解决这个问题,HazyResearch团队开发了Manifest这个开源工具。Manifest是一个轻量级的Python包,旨在简化基础模型的提示编程过程,让开发者能够更轻松、高效地与各种大型语言模型进行交互。

Manifest Logo

Manifest的核心特性

Manifest的设计理念围绕三个核心特性展开:

统一的API接口: Manifest提供了一个统一的接口,支持文本生成、评分和嵌入等多种操作。这意味着开发者可以使用相同的编程模式来处理不同类型的任务,大大简化了工作流程。
多模型支持: Manifest支持多种流行的模型和API服务,包括OpenAI、AI21、Cohere、Together等。开发者可以轻松切换不同的模型,比较它们的性能,而无需修改大量代码。
缓存机制: Manifest内置了强大的缓存功能,可以存储模型的输入和输出。这不仅有助于提高开发效率,还可以节省API调用成本,同时确保实验的可重复性。

开始使用Manifest

要开始使用Manifest,首先需要安装这个包。可以通过pip来安装基础版本:

pip install manifest-ml

如果需要支持图像生成(diffusion)功能,可以安装带有额外依赖的版本:

pip install manifest-ml[diffusers]

对于希望使用本地Hugging Face模型的用户,可以安装带有API支持的版本:

pip install manifest-ml[api]

安装完成后,使用Manifest非常简单。以下是一个基本的示例,展示如何使用OpenAI的模型:

from manifest import Manifest

# 创建一个Manifest会话,默认使用OpenAI的text-davinci-003引擎
manifest = Manifest(
    client_name = "openai",
)

# 运行一个简单的查询
result = manifest.run("为什么天空是蓝色的?")
print(result)

Manifest的主要组件

模型支持

Manifest目前支持多种流行的模型和API服务:

OpenAI
AI21
Cohere
Together
Hugging Face (包括本地托管的模型)

开发者可以通过修改client_name和client_connection参数来切换不同的模型。例如,要使用Cohere的模型:

manifest = Manifest(
    client_name = "cohere",
    client_connection = "<COHERE_API_KEY>",
)

全局缓存

Manifest提供了强大的缓存功能,支持SQLite和Redis两种后端。这使得开发者可以轻松地存储和共享模型的输入输出,提高开发效率并节省API调用成本。

使用SQLite缓存的示例:

manifest = Manifest(
    client_name = "openai",
    cache_name = "sqlite",
    cache_connection = "mycache.sqlite",
)

查询执行

Manifest提供了灵活的查询执行方式,支持单个查询、批量查询以及异步查询:

# 单个查询
result = manifest.run("Hello, my name is Laurel")

# 批量查询
results = manifest.run(["Where are the cats?", "Where are the dogs?"])

# 异步批量查询
import asyncio
results = asyncio.run(manifest.arun_batch(["Where are the cats?", "Where are the dogs?"]))

此外,Manifest还支持流式响应,这对于需要实时显示生成结果的应用非常有用:

result_iterator = manifest.run("Tell me a story. Once upon a time", max_tokens=100, stream=True)
for res_text in result_iterator:
    print(res_text)

模型池

Manifest引入了模型池的概念,允许开发者同时使用多个模型,并通过不同的调度策略来分配查询:

from manifest.connections.client_pool import ClientConnection

client_connection1 = ClientConnection(
    client_name="huggingface",
    client_connection="http://127.0.0.1:5000",
)
client_connection2 = ClientConnection(client_name="openai", engine="text-ada-001")
manifest = Manifest(
    client_pool=[client_connection1, client_connection2],
    cache_name="sqlite",
    client_connection=sqlite_cache,
)

这种设计使得开发者可以轻松地比较不同模型的性能,或者在多个API密钥之间进行负载均衡。

高级功能

本地Hugging Face模型

Manifest不仅支持云端API,还允许开发者使用本地托管的Hugging Face模型。这对于需要更多控制权或者处理敏感数据的场景非常有用。要使用本地模型,首先需要启动一个Flask应用来托管模型:

python3 -m manifest.api.app \
    --model_type huggingface \
    --model_name_or_path EleutherAI/gpt-j-6B \
    --device 0

然后,在Manifest中连接到这个本地服务:

manifest = Manifest(
    client_name = "huggingface",
    client_connection = "http://127.0.0.1:5000",
)

聊天模型支持

对于像ChatGPT这样的对话式AI模型,Manifest提供了专门的支持:

manifest = Manifest(client_name="openaichat")
dialogue = [
    {"role": "system", "content": "You are a helpful assistant who also responds in rhymes"},
    {"role": "user", "content": "What is the date?"},
]
res = manifest.run(dialogue, max_tokens=100)

嵌入模型

Manifest还支持获取文本嵌入,这对于各种NLP任务都非常有用:

manifest = Manifest(client_name="openaiembedding")
embedding_as_np = manifest.run("Get me an embedding for a bunny")

未来发展路线

Manifest团队有着雄心勃勃的发展计划,未来将会引入更多exciting的功能:

更多客户端支持: 计划增加对HuggingFace Hub、Azure OpenAI、Google Vertex和Anthropic等服务的支持。
扩展数据类型: 将支持扩展到扩散模型(Diffusion Models)等其他AI模型类型。
增强的编排功能: 改进连接池和任务调度机制。
本地推理优化: 集成FlexGen等技术,提升本地模型的推理性能。

开发与贡献

Manifest是一个开源项目,欢迎社区贡献。如果你想为Manifest做出贡献,可以遵循以下步骤:

Fork项目仓库
创建你的特性分支
提交你的改动
推送到你的分支
创建一个Pull Request

在提交PR之前,请确保运行了所有测试:

export REDIS_PORT="6379"  # 或者你本地Redis运行的端口
cd <REDIS_PATH>
docker run -d -p 127.0.0.1:${REDIS_PORT}:6379 -v `pwd`:`pwd` -w `pwd` --name manifest_redis_test redis
make test

结语

Manifest为开发者提供了一个强大而灵活的工具,大大简化了与基础模型进行交互的过程。无论是进行学术研究、开发商业应用,还是仅仅出于兴趣探索AI的可能性,Manifest都能为你提供便利。

通过统一的API、多模型支持和智能缓存等特性,Manifest让开发者能够更专注于创意和应用逻辑,而不是被繁琐的模型交互细节所困扰。随着AI技术的快速发展,像Manifest这样的工具将在帮助开发者充分利用最新AI成果方面发挥越来越重要的作用。

如果你正在从事NLP或AI相关的项目,不妨尝试使用Manifest来简化你的工作流程。相信它会为你的开发过程带来新的效率和可能性。

Manifest Features

最后,如果你在学术或商业项目中使用了Manifest,请考虑引用它:

@misc{orr2022manifest,
  author = {Orr, Laurel},
  title = {Manifest},
  year = {2022},
  publisher = {GitHub},
  howpublished = {\url{https://github.com/HazyResearch/manifest}},
}

让我们一起探索AI的无限可能,用Manifest构建更智能、更强大的应用吧! 🚀🤖