LangServe: 部署LangChain应用的最佳方式

langserve

LangServe简介

LangServe是一个专为部署LangChain应用而设计的框架。它可以帮助开发者将LangChain中的runnables和chains轻松地转换为REST API,从而实现快速部署和扩展。LangServe集成了FastAPI和Pydantic,为开发者提供了强大的API开发和数据验证能力。

LangServe的主要特性

自动推断输入输出模式:LangServe可以自动从LangChain对象中推断出输入和输出的模式,并在每次API调用时强制执行这些模式,同时提供丰富的错误信息。
API文档:LangServe自动生成包含JSONSchema和Swagger的API文档页面。
高效端点:提供/invoke、/batch和/stream等高效端点,支持单个服务器上的多个并发请求。
流式日志:通过/stream_log端点,可以流式传输链或代理的所有(或部分)中间步骤。
事件流:从0.0.40版本开始,支持/stream_events,使得无需解析/stream_log的输出即可轻松实现流式传输。
交互式playground:在/playground/路径提供了一个交互式页面,支持流式输出和中间步骤展示。
LangSmith集成:内置(可选)与LangSmith的集成,只需添加API密钥即可启用。
可靠性:基于经过实战检验的开源Python库构建,如FastAPI、Pydantic、uvloop和asyncio。
客户端SDK:提供客户端SDK,可以像调用本地Runnable一样调用LangServe服务器。
LangServe Hub:提供丰富的模板和示例,帮助开发者快速上手。

安装和使用

要安装LangServe,可以使用以下命令:

pip install "langserve[all]"

如果只需要客户端或服务器端功能,可以分别安装:

pip install "langserve[client]"
pip install "langserve[server]"

使用LangChain CLI

LangChain CLI提供了一种快速创建LangServe项目的方法。首先确保安装了最新版本的langchain-cli:

pip install -U langchain-cli

然后可以使用以下步骤创建和运行一个LangServe项目:

使用CLI命令创建新应用
在server.py中定义runnable
使用poetry添加第三方包
设置相关环境变量
运行应用:

poetry run langchain serve --port=8100

示例应用

下面是一个简单的LangServe服务器示例,它部署了OpenAI和Anthropic的聊天模型,以及一个使用Anthropic模型讲笑话的链:

from fastapi import FastAPI
from langchain.prompts import ChatPromptTemplate
from langchain.chat_models import ChatAnthropic, ChatOpenAI
from langserve import add_routes

app = FastAPI(
    title="LangChain Server",
    version="1.0",
    description="A simple api server using Langchain's Runnable interfaces",
)

add_routes(
    app,
    ChatOpenAI(model="gpt-3.5-turbo-0125"),
    path="/openai",
)

add_routes(
    app,
    ChatAnthropic(model="claude-3-haiku-20240307"),
    path="/anthropic",
)

model = ChatAnthropic(model="claude-3-haiku-20240307")
prompt = ChatPromptTemplate.from_template("tell me a joke about {topic}")
add_routes(
    app,
    prompt | model,
    path="/joke",
)

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="localhost", port=8000)