ControlLLM

ControlLLM

通过图搜索增强大语言模型工具使用能力实现复杂任务解决

ControlLLM框架通过图搜索方法提升大语言模型的多模态工具使用能力。其核心包括任务分解器、基于图的思维范式和执行引擎,有效解决复杂任务。该框架在图像、音频和视频处理等领域展现出高准确性和效率,为大语言模型应用开辟新途径。

ControlLLM大语言模型多模态工具图搜索任务分解Github开源项目
<img src="https://github.com/OpenGVLab/ControlLLM/assets/13723743/5ee0314a-d983-444a-8671-88cc0b52b752" width=10% align="left" />

ControlLLM

ControlLLM:通过图搜索增强大型语言模型的工具使用能力

[论文] [项目主页] [演示] [🤗 Space]

我们提出了ControlLLM,这是一个创新框架,使大型语言模型(LLMs)能够利用多模态工具解决复杂的现实世界任务。尽管LLMs表现出色,但在工具调用方面仍然存在挑战,如用户提示模糊、工具选择和参数设置不准确以及工具调度效率低下。为克服这些挑战,我们的框架包含三个关键组件:(1) 一个$\textit{任务分解器}$,将复杂任务分解为具有明确输入输出的子任务;(2) 一个$\textit{图上思维(ToG)范式}$,在预先构建的工具图上搜索最佳解决方案路径,该图指定了不同工具之间的参数和依赖关系;(3) 一个$\textit{具有丰富工具箱的执行引擎}$,解释解决方案路径并在不同计算设备上高效运行工具。我们在涉及图像、音频和视频处理的多样化任务上评估了我们的框架,展示了其相比现有方法在准确性、效率和多功能性方面的优越性。

🤖 视频演示

https://github.com/OpenGVLab/ControlLLM/assets/13723743/cf72861e-0e7b-4c15-89ee-7fa1d838d00f

🏠 系统概览

架构

🎁 主要特性

  • 图像感知
  • 图像编辑
  • 图像生成
  • 视频感知
  • 视频编辑
  • 视频生成
  • 音频感知
  • 音频生成
  • 多解决方案
  • 指向输入
  • 资源类型感知

🗓️ 计划

  • ✅ (🔥 新) 发布在线演示和🤗Hugging Face space
  • ✅ (🔥 新) 支持PixArt-alpha,一种最先进的文本到图像合成方法。

🛠️安装

基本要求

  • Linux
  • Python 3.10+
  • PyTorch 2.0+
  • CUDA 11.8+

克隆项目

在根目录执行以下命令:

git clone https://github.com/OpenGVLab/ControlLLM.git cd controlllm

安装依赖

设置环境:

conda create -n cllm python=3.10 conda activate cllm conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.8 -c pytorch -c nvidia

安装LLaVA

pip install git+https://github.com/haotian-liu/LLaVA.git

然后安装其他依赖:

pip install -r requirements.txt pip install -e .

👨‍🏫 入门指南

步骤1:启动工具服务

请将您的个人OpenAI密钥和Weather Key放入相应的环境变量中。

😬 一键启动所有端点:

# openai密钥 export OPENAI_API_KEY="..." # openai基础URL export OPENAI_BASE_URL="..." # 天气API密钥 export WEATHER_API_KEY="..." # 资源目录 export SERVER_ROOT="./server_resources" python -m cllm.services.launch --port 10056 --host 0.0.0.0

工具即服务

以图像生成为例,我们首先启动服务。

python -m cllm.services.image_generation.launch --port 10011 --host 0.0.0.0

然后,我们可以通过Python API调用服务:

from cllm.services.image_generation.api import * setup(port=10011) text2image('A horse')

步骤2:启动ToG服务

export OPENAI_BASE_URL="..." export OPENAI_API_KEY="..." python -m cllm.services.tog.launch --port 10052 --host 0.0.0.0

步骤3:启动Gradio演示

使用openssl生成证书:

mkdir certificate openssl req -x509 -newkey rsa:4096 -keyout certificate/key.pem -out certificate/cert.pem -sha256 -days 365 -nodes

最后,您可以在服务器上启动Gradio演示:

export TOG_PORT=10052 export CLLM_SERVICES_PORT=10056 export CLIENT_ROOT="./client_resources" export GRADIO_TEMP_DIR="$HOME/.tmp" export OPENAI_BASE_URL="..." export OPENAI_API_KEY="..." python -m cllm.app.gradio --controller "cllm.agents.tog.Controller" --server-port 10003 --https

或者,您可以在run.sh中设置上述变量,并通过运行以下命令启动所有服务:

bash ./run.sh

🎫 许可证

本项目采用Apache 2.0许可证发布。

🖊️ 引用

如果您在研究中发现本项目有用,请引用我们的论文:

@article{2023controlllm, title={ControlLLM: Augment Language Models with Tools by Searching on Graphs}, author={Liu, Zhaoyang and Lai, Zeqiang and Gao, Zhangwei and Cui, Erfei and Li, Zhiheng and Zhu, Xizhou and Lu, Lewei and Chen, Qifeng and Qiao, Yu and Dai, Jifeng and Wang, Wenhai}, journal={arXiv preprint arXiv:2305.10601}, year={2023} }

🤝 致谢


如果您想加入我们的微信群,请扫描以下二维码添加我们的助手为微信好友:

<p align="center"><img width="300" alt="image" src="https://github.com/OpenGVLab/DragGAN/assets/26198430/e3f0807f-956a-474e-8fd2-1f7c22d73997"></p>

编辑推荐精选

Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
OmniParser

OmniParser

帮助AI理解电脑屏幕 纯视觉GUI元素的自动化解析方案

开源工具通过计算机视觉技术实现图形界面元素的智能识别与结构化处理,支持自动化测试脚本生成和辅助功能开发。项目采用模块化设计,提供API接口与多种输出格式,适用于跨平台应用场景。核心算法优化了元素定位精度,在动态界面和复杂布局场景下保持稳定解析能力。

OmniParser界面解析交互区域检测Github开源项目
Grok3

Grok3

埃隆·马斯克旗下的人工智能公司 xAI 推出的第三代大规模语言模型

Grok3 是由埃隆·马斯克旗下的人工智能公司 xAI 推出的第三代大规模语言模型,常被马斯克称为“地球上最聪明的 AI”。它不仅是在前代产品 Grok 1 和 Grok 2 基础上的一次飞跃,还在多个关键技术上实现了创新突破。

腾讯元宝

腾讯元宝

腾讯自研的混元大模型AI助手

腾讯元宝是腾讯基于自研的混元大模型推出的一款多功能AI应用,旨在通过人工智能技术提升用户在写作、绘画、翻译、编程、搜索、阅读总结等多个领域的工作与生活效率。

AI助手AI对话AI工具腾讯元宝智能体热门 AI 办公助手
Windsurf Wave 3

Windsurf Wave 3

Windsurf Editor推出第三次重大更新Wave 3

新增模型上下文协议支持与智能编辑功能。本次更新包含五项核心改进:支持接入MCP协议扩展工具生态,Tab键智能跳转提升编码效率,Turbo模式实现自动化终端操作,图片拖拽功能优化多模态交互,以及面向付费用户的个性化图标定制。系统同步集成DeepSeek、Gemini等新模型,并通过信用点数机制实现差异化的资源调配。

AI IDE
Cursor

Cursor

增强编程效率的AI代码编辑器

Cursor作为AI驱动的代码编辑工具,助力开发者效率大幅度提升。该工具简化了扩展、主题和键位配置的导入,可靠的隐私保护措施保证代码安全,深受全球开发者信赖。此外,Cursor持续推出更新,不断优化功能和用户体验。

AI开发辅助编程AI工具CursorAI代码编辑器
Manus

Manus

全面超越基准的 AI Agent助手

Manus 是一款通用人工智能代理平台,能够将您的创意和想法迅速转化为实际成果。无论是定制旅行规划、深入的数据分析,还是教育支持与商业决策,Manus 都能高效整合信息,提供精准解决方案。它以直观的交互体验和领先的技术,为用户开启了一个智慧驱动、轻松高效的新时代,让每个灵感都能得到完美落地。

飞书知识问答

飞书知识问答

飞书官方推出的AI知识库 上传word pdf即可部署AI私有知识库

基于DeepSeek R1大模型构建的知识管理系统,支持PDF、Word、PPT等常见文档格式解析,实现云端与本地数据的双向同步。系统具备实时网络检索能力,可自动关联外部信息源,通过语义理解技术处理结构化与非结构化数据。免费版本提供基础知识库搭建功能,适用于企业文档管理和个人学习资料整理场景。

酷表ChatExcel

酷表ChatExcel

大模型驱动的Excel数据处理工具

基于大模型交互的表格处理系统,允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令,自动执行排序、公式计算和数据透视等操作,支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内,支持超过100万行数据的即时分析。

AI工具酷表ChatExcelAI智能客服AI营销产品使用教程
DeepEP

DeepEP

DeepSeek开源的专家并行通信优化框架

DeepEP是一个专为大规模分布式计算设计的通信库,重点解决专家并行模式中的通信瓶颈问题。其核心架构采用分层拓扑感知技术,能够自动识别节点间物理连接关系,优化数据传输路径。通过实现动态路由选择与负载均衡机制,系统在千卡级计算集群中维持稳定的低延迟特性,同时兼容主流深度学习框架的通信接口。

下拉加载更多