ax

Ax 项目介绍

Ax 是一个开源项目，专注于构建由大型语言模型（LLMs）驱动的智能代理。Ax 提供了一个流式、多模态的 DSPy 框架，集成了代理和类型化的签名，并支持所有类型的 LLMs。Ax 在流式处理中能够验证输出类型，这不仅提高了响应速度，还降低了令牌使用量。

项目的目标

Ax 的目标是提供一个易于使用且功能强大的框架，使开发人员可以轻松地构建生产就绪的工作流程和智能代理。通过最新的研究和技术，Ax 努力简化 LLM 的复杂性，帮助用户实现更快、更高效的应用程序。

Ax 的优势

使用 Ax 有许多优点，包括：

• 支持多种 LLM 和向量数据库。
• 从简单的签名中自动生成提示。
• 构建能够相互调用的智能代理。
• 支持各种文档格式到文本的转换。
• 提供 RAG（检索增强生成）、智能分块、嵌入查询等功能。
• 与 Vercel AI SDK 的集成。
• 支持多模态 DSPy 和流式输出验证。
• 自动化提示调优和 OpenTelemetry 跟踪/可观测性。
• 使用 TypeScript 编写的生产级代码，轻量且无依赖。

提示签名

提示签名是一种高效的类型安全提示，它是从简单的签名自动生成的。示例格式为："任务描述" 输入字段:类型 "字段描述" -> 输出字段:类型。这种格式特别适合定义清晰的输入输出关系，并鼓励 AI 在使用 JSON 类型时生成正确的 JSON 格式。

支持的 LLM 供应商

Ax 兼容多种大型语言模型供应商，包括但不限于：

• OpenAI（支持所有 GPT 4/o1 模型）
• Azure OpenAI
• Cohere
• Anthropic
• Google Gemini
• Hugging Face

使用示例

1. 文本摘要：可以使用链式思维的方法来总结文本。
2. 构建代理：Ax 提供了一个代理框架，使构建任务执行代理变得轻而易举。
3. 向量数据库支持：提供对流行的向量数据库的支持，同时还支持使用内存中的快速数据库。

实施步骤

1. 安装 Ax：通过 npm 或 yarn 将 Ax 安装到项目中。
2. 选择一个 AI：根据需要选择一个合适的 LLM。
3. 创建提示签名：基于用例定义提示签名。
4. 执行签名程序：使用定义的输入来执行程序，获取结果。

开放遥测与调优功能

Ax 支持开放遥测（OpenTelemetry），这使得对 LLM 工作流的跟踪和观测变得简单。此外，Ax 还提供了调优工具，可以使用更大的模型和热门数据集优化提示，以提高性能和准确性。

Ax 项目的整体设计和实现使得构建复杂的 LLM 应用不再困难。用户可以轻松实现任务自动化、智能文档处理和语义搜索等功能，极大地提高了开发效率和应用创新能力。