LLMFlows: 构建简单、明确和透明的LLM应用框架

在人工智能和大型语言模型(LLM)快速发展的今天,如何高效地构建LLM应用成为了许多开发者面临的挑战。LLMFlows应运而生,旨在为开发者提供一个简单、明确和透明的框架,用于构建各种LLM应用,如聊天机器人、问答系统和智能代理等。

LLMFlows的核心理念

LLMFlows的设计基于三个核心理念:

简单性: 提供一个文档完善、抽象最小化的框架,让用户能够构建灵活的LLM应用而不牺牲功能。
明确性: 创建一个显式的API,使用户能够编写清晰可读的代码,同时轻松创建LLM之间交互的复杂流程。LLMFlows的类给予用户完全的控制权,不存在隐藏的提示或预定义的行为。
透明性: 通过提供可追踪的流程和每个应用组件的完整信息,帮助用户对其LLM应用实现全面的透明度,使监控、维护和调试变得容易。

LLMFlows的主要特性

LLM抽象: LLMFlows提供了LLM类作为OpenAI等API的包装器,支持配置和调用这些API、自动重试失败的调用,以及格式化响应。
提示模板: PromptTemplate类允许创建带有变量的字符串,可以在后续动态填充,灵活生成提示。
聊天LLM支持: 为需要对话历史的聊天LLM提供了MessageHistory类来管理所需的对话历史。
LLM流程: 通过Flow和FlowStep类,可以构建具有复杂依赖关系的应用。LLMFlows会自动处理依赖关系,确保每个流程步骤在其所有依赖满足时运行。
异步流程: 提供异步类以优化复杂流程的运行时间,允许并行运行已满足所有输入要求的流程步骤。
向量存储集成: 通过VectorStoreFlowStep与Pinecone等向量数据库集成,支持高效和可扩展的向量嵌入存储和检索。
回调机制: 允许在流程步骤的不同阶段执行回调函数,实现增强的自定义、日志记录、跟踪或其他特定集成。

使用LLMFlows构建应用

以下是使用LLMFlows构建应用的基本步骤:

定义流程: 确定应用的整体结构和各个步骤之间的关系。
创建提示模板: 为每个需要LLM输入的步骤定义提示模板。
创建流程步骤: 使用FlowStep类定义每个步骤,包括使用的LLM、提示模板和输出键。
连接流程步骤: 使用connect方法定义步骤之间的依赖关系,创建有向无环图(DAG)。
启动流程: 创建Flow对象并使用start方法启动流程,传入所需的初始输入。

示例: 构建一个电影配乐生成器

让我们通过一个具体的例子来展示LLMFlows的强大功能。假设我们要创建一个应用,它可以生成电影标题、电影主题曲标题、主要角色描述,最后根据这些信息创作歌词。

from llmflows.flows import Flow, FlowStep
from llmflows.llms import OpenAI
from llmflows.prompts import PromptTemplate

openai_llm = OpenAI(api_key="<your-openai-api-key>")

# 创建提示模板
title_template = PromptTemplate("What is a good title of a movie about {topic}?")
song_template = PromptTemplate(
    "What is a good song title of a soundtrack for a movie called {movie_title}?"
)
characters_template = PromptTemplate(
    "What are two main characters for a movie called {movie_title}?"
)
lyrics_template = PromptTemplate(
    "Write lyrics of a movie song called {song_title}. The main characters are {main_characters}"
)

# 创建流程步骤
movie_title_flowstep = FlowStep(
    name="Movie Title Flowstep",
    llm=openai_llm,
    prompt_template=title_template,
    output_key="movie_title",
)

song_title_flowstep = FlowStep(
    name="Song Title Flowstep",
    llm=openai_llm,
    prompt_template=song_template,
    output_key="song_title",
)

characters_flowstep = FlowStep(
    name="Characters Flowstep",
    llm=openai_llm,
    prompt_template=characters_template,
    output_key="main_characters",
)

song_lyrics_flowstep = FlowStep(
    name="Lyrics Flowstep",
    llm=openai_llm,
    prompt_template=lyrics_template,
    output_key="song_lyrics",
)

# 连接流程步骤
movie_title_flowstep.connect(song_title_flowstep, characters_flowstep, song_lyrics_flowstep)
song_title_flowstep.connect(song_lyrics_flowstep)
characters_flowstep.connect(song_lyrics_flowstep)

# 创建并运行Flow
soundtrack_flow = Flow(movie_title_flowstep)
results = soundtrack_flow.start(topic="friendship", verbose=True)

这个例子展示了LLMFlows如何轻松地处理复杂的依赖关系。框架会自动确保每个步骤在其所有输入可用时运行,无需手动管理顺序。

LLMFlows的优势

完全控制: 开发者可以创建明确的应用,没有隐藏的提示或预定义的行为。
全面透明: LLMFlows允许回答诸如"特定流程步骤何时运行"、"耗时多少"、"输入变量是什么"、"提示模板是什么"、"生成的提示是什么样的"、"模型的确切配置是什么"、"重试了多少次"、"API返回的原始数据是什么"、"使用了多少令牌"、"最终结果是什么"等问题。
灵活性: 可以轻松地集成向量数据库、创建问答应用、构建代理和Web应用等。
性能优化: 通过异步流程支持并行执行,提高复杂应用的效率。