AgentLego - 多功能 LLM Agent 工具库 - 增强大语言模型代理的能力

AgentLego 简介

AgentLego 是一个专为增强大语言模型 (LLM) 代理能力而设计的开源工具库。它提供了丰富的多模态工具 API,可以轻松扩展 LLM 代理的功能,包括视觉感知、图像生成与编辑、语音处理、视觉-语言推理等多个方面。

AgentLego 的主要特点包括:

• 提供丰富的多模态工具集,支持视觉、语音、图像生成等多个领域
• 灵活的工具接口,允许用户轻松扩展自定义工具
• 易于集成到现有的 LLM 代理框架中,如 LangChain、Transformers Agents 等
• 支持工具服务化和远程访问,便于处理需要特殊环境的重型模型

快速开始

安装

1. 安装 AgentLego 包:

pip install agentlego

2. 安装特定工具的依赖:

例如,要使用 ImageDescription 工具,需要安装以下依赖:

pip install -U openmim
mim install -U mmpretrain

直接使用工具

from agentlego import list_tools, load_tool

print(list_tools())  # 列出 AgentLego 中的所有工具

image_caption_tool = load_tool('ImageDescription', device='cuda')
print(image_caption_tool.description)
image = './examples/demo.png'
caption = image_caption_tool(image)

集成到代理框架

AgentLego 可以轻松集成到多个流行的 LLM 代理框架中:

• Lagent
• Transformers Agent
• VisualChatGPT

支持的工具

AgentLego 提供了丰富的工具集,涵盖多个领域:

通用能力

• Calculator: 使用 Python 解释器进行计算
• GoogleSearch: 在 Google 上搜索信息

语音相关

• TextToSpeech: 将文本转换为语音
• SpeechToText: 将语音转录为文本

图像处理相关

• ImageDescription: 描述输入图像的内容
• OCR: 从图像中识别文本
• VQA: 根据图像回答问题
• ObjectDetection: 检测图像中的所有物体

AIGC 相关

• TextToImage: 根据文本生成图像
• ImageExpansion: 扩展图像的周边区域
• ObjectRemove: 移除图像中的特定物体

更多工具及其详细说明,请参阅 AgentLego GitHub 仓库。

学习资源

1. AgentLego GitHub 仓库: 包含完整的代码、文档和示例
2. 快速入门指南: 帮助您快速上手 AgentLego
3. 工具文档: 详细介绍每个工具的用法和参数
4. 示例代码: 展示如何在不同场景中使用 AgentLego

AgentLego 为开发者提供了强大而灵活的工具集,可以显著增强 LLM 代理的能力。无论您是想扩展现有的 AI 助手,还是构建全新的多模态应用,AgentLego 都是一个值得探索的优秀工具库。