EdgeChains: 下一代生成式AI开发框架

EdgeChains

EdgeChains: 革新生成式AI开发流程

在人工智能快速发展的今天,生成式AI技术正在深刻改变着各个行业。然而,随着技术的进步,开发者们也面临着越来越多的挑战。如何有效管理复杂的提示工程?如何应对不同大语言模型之间的差异?如何确保AI应用的可扩展性和生产就绪性?EdgeChains应运而生,旨在解决这些关键问题,为开发者提供一个强大而灵活的框架。

EdgeChains的独特视角

EdgeChains的创始团队认为,生成式AI的核心挑战不仅仅是用户界面设计或库的模式,更是一个部署和配置管理的难题。基于这一洞察,他们借鉴了Kubernetes配置管理的成功经验,将其应用到生成式AI领域。EdgeChains构建在Google开发的Jsonnet之上,这一技术源自Google在管理Borg基础设施中大量配置代码的经验。

EdgeChains架构示意图

EdgeChains的核心优势

简单高效: EdgeChains极大地简化了生成式AI应用的开发流程。只需一个脚本文件和一个Jsonnet文件,即可执行生产级别的GenAI应用。这种简洁性让开发者能够快速上手,专注于核心业务逻辑。
提示版本控制: 在EdgeChains中,提示使用Jsonnet编写。这使得提示可以轻松地进行版本控制和差异比较,极大地提高了团队协作效率和代码管理的便捷性。
自动并行化: EdgeChains能够自动在CPU、GPU和TPU上并行化LLM链和链式思考任务。这种设计充分利用了WebAssembly运行时的优势,显著提升了应用性能。
容错能力: 框架内置了强大的容错机制。即使系统中的某些请求失败,EdgeChains也能继续重试并采取退避策略,确保应用的稳定性和可靠性。
高度可扩展: EdgeChains的设计理念注重可扩展性。无论是处理大量API、长提示还是大规模向量数据集,它都能胜任自如,为开发者提供了构建复杂AI应用的强大工具。

为什么需要提示和链式工程?

对于生成式AI领域的新手来说,可能认为使用OpenAI或其他LLM就是简单地提出问题并等待回答。然而,现实情况远比这复杂得多。

提示工程的复杂性

生成式AI、OpenAI和LLM要求开发者以非常特定的方式编写提示。每种提示编写方法都涉及深奥复杂的技巧,以至于这个领域已经成为了学术研究的热点。例如:

"提示爆炸" - 太多LLM,太多提示

更棘手的是,为一种LLM设计的提示和链可能无法直接应用于另一种LLM。例如,为GPT-3.5精心设计的提示可能需要重写才能在Llama2上实现相同的目标。这导致了提示数量的激增,使得版本控制和管理变得异常困难。

提示漂移现象

提示会随时间而变化,这就是所谓的"提示漂移"。已有大量研究表明ChatGPT的行为会发生变化。因此,基础设施必须能够适应这种漂移并进行版本控制。如果使用将提示隐藏在多层抽象之下的库,就几乎不可能做到这一点。即使你什么都不做,生产代码也会随时间而腐化。

ChatGPT的行为如何随时间变化?

生产环境中的可测试性

在生产环境中,持续测试和快速迭代提示与链是一个重大挑战。如果提示被深埋在库和抽象层之下,这几乎是不可能的。但如果提示是声明式的并且"存在于代码之外",这就变得容易多了。事实上,在EdgeChains中,你可以将整个提示和链逻辑存储在S3或API中。

EdgeChains提示管理

Token成本与测量

每个提示或链都有相关的token成本。你可能认为某个提示非常好,但它可能消耗大量token。例如,链式思考风格的提示至少消耗正常提示3倍的输出token。你需要在框架中内置精细的跟踪和测量功能来管理这一点。EdgeChains在这方面做得很出色。

EdgeChains的实际应用

为了更好地理解EdgeChains的实际应用,让我们来看一个具体的例子:ChatWithPdf功能。这个功能允许用户与PDF文档进行交互式对话,展示了EdgeChains在处理复杂AI任务时的强大能力。

设置过程

克隆EdgeChains仓库:

git clone https://github.com/arakoodev/EdgeChains/


2. 进入ChatWithPdf示例目录:

cd JS/edgechains/examples/chat-with-pdf/


3. 安装必要的npm包。

4. 在`secrets.jsonnet`文件中配置你的API密钥:
```jsonnet
local SUPABASE_API_KEY = "你的Supabase API密钥";
local OPENAI_API_KEY = "你的OpenAI API密钥";
local SUPABASE_URL = "你的Supabase URL";

{
"supabase_api_key": SUPABASE_API_KEY,
"supabase_url": SUPABASE_URL,
"openai_api_key": OPENAI_API_KEY,
}

配置数据库:
- 在Supabase设置PostgreSQL向量数据库。
- 在Supabase的SQL编辑器中运行提供的SQL查询,创建必要的表和函数。

使用方法

启动服务器。
访问GET端点:

http://localhost:3000/chatWithpdf?question=who is nirmala sitarama


3. 现在你可以通过npm run start运行ChatWithPdf示例,并继续与example.pdf进行对话。

注意:如果你再次运行代码,请记得注释掉InsertToSupabase函数,否则PDF数据将再次被推送到Supabase向量数据中。

### EdgeChains的未来展望

EdgeChains正在快速发展,其潜力远未被完全发掘。随着更多开发者加入社区,我们可以期待看到:

1. **更多集成**: 与更多LLM提供商和AI服务的无缝集成。
2. **增强的性能优化**: 进一步提升并行处理和资源利用效率。
3. **高级分析工具**: 为提示工程和链式操作提供更深入的洞察。
4. **扩展生态系统**: 更多的插件、工具和社区贡献的模板。

### 加入EdgeChains社区

EdgeChains是一个开源项目,欢迎所有人的贡献。如果你对改进生成式AI开发流程感兴趣,可以通过以下方式参与:

- 加入[Discord社区](https://discord.gg/aehBPdPqf5),与其他开发者交流。
- 在[GitHub仓库](https://github.com/arakoodev/EdgeChains)上提交问题或拉取请求。
- 阅读[贡献指南](https://github.com/arakoodev/.github/blob/main/CLA.md)和[行为准则](https://github.com/arakoodev/.github/blob/main/CODE_OF_CONDUCT.md)。

![EdgeChains社区活跃度](https://camo.githubusercontent.com/21da112dd60946f3d24857a00738a63e1373b4e20478b022f17cf1480fbc93b1/68747470733a2f2f696d672e736869656c64732e696f2f6769746875622f636f6e7472696275746f72732f6172616b6f6f6465762f45646765436861696e733f7374796c653d666c61742d737175617265)

### 结语

EdgeChains正在重新定义生成式AI的开发方式。通过将复杂性抽象化,同时保持灵活性和可控性,它为开发者提供了一个强大的工具,以应对AI应用开发中的各种挑战。无论你是经验丰富的AI工程师,还是刚刚踏入这个领域的新手,EdgeChains都能为你提供所需的工具和框架,帮助你构建下一代AI应用。

随着AI技术的不断进步,像EdgeChains这样的框架将在塑造未来的软件开发范式中扮演越来越重要的角色。通过简化复杂性,提高效率,并为开发者提供更大的控制权,EdgeChains不仅仅是一个开发框架,它代表了AI应用开发的未来方向。

加入EdgeChains社区,一起探索生成式AI的无限可能吧!