Palico AI - 构建高性能LLM应用

Palico是什么？

LLM应用在默认情况下存在许多性能问题（准确性/幻觉、延迟、成本）。为了提高性能，开发者需要能够尝试构建层的多种变体。这涉及测试不同的提示技术、LLM模型、RAG管道等。由于你需要对应用的许多组件进行反复试验，迭代开发是构建高性能LLM应用的关键。

构建LLM应用涉及三个核心活动：

构建：用于创建应用的组件，如提示、LLM模型、RAG等。
实验：测试构建层的不同变体，以提高LLM应用的性能。
部署：将LLM应用移至生产环境，与其他服务集成，并监控其性能。

Palico是一个框架，它规范了构建、实验和部署LLM应用的生命周期，使你能够最大化开发LLM应用的迭代循环速度，以达到你的性能目标。

使用Palico，你可以

构建模块化LLM应用，轻松交换不同组合的模型、提示、上下文、业务逻辑、架构等。
通过运行实验并客观测量LLM应用的性能来提高准确性。
将你的应用部署到任何云提供商作为Docker镜像。
通过REST API或SDK集成你的LLM应用与其他服务。
通过Palico Studio - 你的应用控制面板管理你的LLM应用。

快速开始

使用OpenAI Chatbot设置一个简单的入门应用

创建Palico应用
```
npx palico init <项目名称>
```
将你的OpenAI API密钥添加到.env文件中。你可以从OpenAI获取OpenAI API密钥
```
OPENAI_API_KEY=<你的openai-api-密钥>
```
为你的Palico应用初始化所需的服务。在新环境中首次设置新的Palico应用时，你只需运行一次。
```
npm run bootstrap
```
启动你的Palico应用
```
npm start
```

现在你可以在Palico Studio（http://localhost:5173/chat）与你的聊天机器人交谈了。你还可以在`src/agents/chatbot/index.ts`中修改你的聊天应用。

Palico入门应用概览

https://github.com/palico-ai/palico-main/assets/32821894/54f35583-41c1-48a3-9565-95c484a4909b

Palico应用的组件

构建

Palico让你可以构建任何LLM应用。我们为你提供完全的灵活性，可以使用任何你想用来构建LLM应用的工具或库。Palico应用最基本的构建块是Agent，它有一个单一的方法chat()。以下是一个Agent的示例：

class ChatbotAgent implements LLMAgent {
  static readonly NAME: string = __dirname.split('/').pop()!;

  async chat(
    content: ConversationRequestContent,
    context: ConversationContext
  ): Promise<LLMAgentResponse> {
    const { userMessage } = content;
    const { appConfig } = context;
    // 你的LLM提示 + 模型调用
    const response = await portkey.chat.completions.create({
      messages: [
        { role: 'system', content: '你是一个海盗' },
        { role: 'user', content: '你好' },
      ],
      model: appConfig.model,
    });
    return {
      messages: response.messages,
    };
  }
}

注意，我们使用Portkey进行LLM调用。同样，你可以使用LangChain或LlamaIndex来帮助你构建提示并管理模型调用。

我们的目标是帮助开发者创建更模块化的系统，以便他们可以轻松测试LLM系统的不同配置，找到最佳输入组合。这就是appConfig参数的作用。开发者应该将其视为功能标志，并用它来以编程方式构建更模块化的LLM应用。

除了Agent外，我们还有用于更复杂控制流和多agent应用的Workflows。

阅读更多关于Agents的信息。

实验

实验是你逐步提高应用程序准确性的方法。实验包括三个步骤。

创建你的准确性基准

基准本质上是概述你的应用程序的预期行为。这包括创建一系列测试用例，你在其中定义LLM应用程序的输入，并测量其输出。以下是一个例子：

{
  input: {
    userMessage:
      '给定方程2x + 3 = 7，求解x。',
  },
  tags: {
    category: '数学',
  },
  metrics: [
    new SemanticSimilarity([
      "答案：x = 2",
      "x = 2",
      "2",
    ]),
  ],
}

你可以使用我们提供的现成指标，或者创建自己的自定义指标。

运行评估

评估是使用特定的appConfig在基准测试套件中运行你的LLM应用程序的过程。Palico Studio帮助管理这些评估。

[此处应有视频或图片]

分析

这是理解给定更改对你的LLM应用程序影响的审查过程。通常通过审查LLM应用程序的输出指标并与其他测试进行比较来完成。我们在Palico Studio中内置了评估支持，但你也可以在Jupyter Notebook中运行自己的分析。

阅读更多关于实验的信息。

部署

你的Palico应用程序编译成一堆Docker容器，你可以轻松地将其部署到任何云服务提供商。

客户端SDK

我们提供一个客户端SDK，让你可以轻松地从其他服务连接到你的LLM代理或工作流程。

阅读更多关于客户端SDK的信息。

追踪

我们提供开箱即用的追踪功能，你可以使用OpenTelemetry添加任何自定义追踪。

阅读更多关于追踪的信息。

Palico Studio

Palico Studio是你的Palico应用程序的控制面板。使用Palico Studio，你可以：

与你的LLM代理或工作流程聊天
并排比较响应
管理实验
审查运行时追踪

在开发过程中，Palico Studio在你的本地机器上运行，以帮助你进行开发。在生产环境中，你可以使用这个控制面板来监控运行时分析。

[此处应有视频或图片]

阅读更多关于Palico Studio的信息。

常见问题

LangChain等库与Palico相比如何？

LangChain和LlamaIndex更像是帮助你完成LLM开发不同任务的库。例如，它们为你提供工具来连接不同的LLM提供商、连接向量数据库、创建评估等。它们更像是一把瑞士军刀，帮助你完成LLM开发的不同任务。由你来使用这些工具来构建你的LLM应用程序开发，以实现最大生产力。

我们是一个框架（不是库），对于如何构建你的LLM应用程序开发有强烈的观点。我们的观点偏向于通过快速实验来提高准确性。使用我们的框架，你有一个标准流程和一套集成工具，帮助你构建LLM应用程序、测量准确性并运行实验。这些流程共同作用，最大化你的LLM应用程序的可实验性，让你更快地达到准确性目标。

由于我们是一个框架，而LangChain或LlamaIndex是库，你可以直接在我们的应用程序中使用LangChain或LlamaIndex来帮助完成诸如调用LLM模型或管理RAG层等任务，同时使用我们的框架来简化你的实验过程。

评估库与Palico相比如何？

评估框架通常只是一个帮助你评分LLM应用程序响应的工具。它们可能提供一些专有的可观察性和追踪工具。然而，它们并不帮助你构建LLM应用程序以进行快速实验。它们不帮助你构建LLM应用程序。它们不帮助你部署LLM应用程序。当使用评估框架时，你的责任是需要建立自己的实验管理系统，帮助你在团队中扩展实验过程。你将有许多零散的工具，需要整合在一起才能全面了解你的LLM应用程序。我们是一个更加集成化的框架，可以帮助您构建、扩展实验并部署您的大语言模型应用。我们为您的团队提供更加集成的体验，以便更好地开发大语言模型应用。