EdgeChains

EdgeChains 项目介绍

项目概述

EdgeChains 是一个致力于简化生成式人工智能（Generative AI）应用程序部署和配置的项目。与许多框架不同，EdgeChains 构建在由 Cloudflare 和 Google 创建的稳定技术之上，分别是 honojs 和 jsonnet。因此，无需担心其可靠性和稳定性。

项目的独特之处

在 EdgeChains 项目中，团队认识到生成式 AI 的核心挑战在于如何有效地进行部署和配置管理，而不仅仅是界面和库设计。因此，EdgeChains 采用了 Kubernetes 配置管理领域的解决方案，并将其应用到生成式 AI 中。

EdgeChains 的核心功能

1. 简化的执行流程: EdgeChains 极为简洁，只需一个脚本文件和一个 jsonnet 文件即可执行生产级的生成式 AI 应用程序。

2. 提示的版本控制: 提示（Prompts）采用 jsonnet 编写，易于进行版本管理和差异化处理。

3. 自动化并行处理: EdgeChains 利用 WebAssembly 运行时自动将大型语言模型（LLM）链和思维链任务并行化处理至 CPU、GPU 和 TPU。

4. 容错性: EdgeChains 设计时考虑到了容错机制，即使部分请求失败也能继续重试和退避。

5. 可扩展性: EdgeChains 具有良好的扩展性，适用于处理大量 API、提示长短和向量数据集的链式思维应用程序。

为什么需要提示和链式工程

很多首次接触生成式 AI 的人认为，只需提问 OpenAI 或其他 LLM 即可得到“神奇”的回复。然而，实际情况却复杂得多。

提示工程的复杂性

生成式 AI、OpenAI 和 LLM 需要以特定方式撰写提示，每种撰写提示的方式都十分复杂。例如：

• Reason & Act - REACT 样式提示链
• HyDE 提示链 - 精准的零样本密集检索
• FrugalGPT - 如何在减少成本和提高性能的同时使用大型语言模型

提示泛滥问题

不同 LLM 需要不同的提示和链式方法。这意味着，一个为 GPT-3.5 编写的提示必须重新编写以适应 Llama2，从而导致提示数量激增，难以管理。

提示漂移

随着时间的推移，提示会发生变化，被称为提示漂移。这需要基础设施具备足够的能力来适应这些变化。

生产中的可测试性

在生产环境中，如何快速迭代测试提示和链是一个挑战。在 EdgeChains 中，提示和链逻辑可以保存在 S3 或 API 中，这使得测试过程变得简单。

令牌成本与测量

每个提示或链都有相应的令牌成本。EdgeChains 内建了细粒度的跟踪和测量功能，以管理这些成本。

如何使用 EdgeChains

项目的设置相对简单，开发者只需克隆代码库，设置密钥，然后配置数据库，即可运行例如 ChatWithPdf 的示例。

贡献指南

欢迎开发者参与 EdgeChains 项目的建设。项目使用 GitHub issues 跟踪请求和漏洞，详细的贡献指南和行为守则在相关链接中提供。

致谢

EdgeChains 向 Next.js 及所有为该项目做出贡献的个人和社区致以诚挚的感谢。无论是 LangChain、Anthropic、Mosaic，还是其他开源 LLM 社区，感谢你们的知识分享和支持。

许可证

EdgeChains 采用 GNU Affero 通用公共许可证 v3.0 以及商业软件许可证。若需商业授权，请通过 GitHub 提问题与我们联系。