通过图搜索增强大语言模型工具使用能力实现复杂任务解决
ControlLLM框架通过图搜索方法提升大语言模型的多模态工具使用能力。其核心包括任务分解器、基于图的思维范式和执行引擎,有效解决复杂任务。该框架在图像、音频和视频处理等领域展现出高准确性和效率,为大语言模型应用开辟新途径。
ControlLLM:通过图搜索增强大型语言模型的工具使用能力
我们提出了ControlLLM,这是一个创新框架,使大型语言模型(LLMs)能够利用多模态工具解决复杂的现实世界任务。尽管LLMs表现出色,但在工具调用方面仍然存在挑战,如用户提示模糊、工具选择和参数设置不准确以及工具调度效率低下。为克服这些挑战,我们的框架包含三个关键组件:(1) 一个$\textit{任务分解器}$,将复杂任务分解为具有明确输入输出的子任务;(2) 一个$\textit{图上思维(ToG)范式}$,在预先构建的工具图上搜索最佳解决方案路径,该图指定了不同工具之间的参数和依赖关系;(3) 一个$\textit{具有丰富工具箱的执行引擎}$,解释解决方案路径并在不同计算设备上高效运行工具。我们在涉及图像、音频和视频处理的多样化任务上评估了我们的框架,展示了其相比现有方法在准确性、效率和多功能性方面的优越性。
https://github.com/OpenGVLab/ControlLLM/assets/13723743/cf72861e-0e7b-4c15-89ee-7fa1d838d00f
在根目录执行以下命令:
git clone https://github.com/OpenGVLab/ControlLLM.git cd controlllm
设置环境:
conda create -n cllm python=3.10 conda activate cllm conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.8 -c pytorch -c nvidia
安装LLaVA:
pip install git+https://github.com/haotian-liu/LLaVA.git
然后安装其他依赖:
pip install -r requirements.txt pip install -e .
请将您的个人OpenAI密钥和Weather Key放入相应的环境变量中。
😬 一键启动所有端点:
# openai密钥 export OPENAI_API_KEY="..." # openai基础URL export OPENAI_BASE_URL="..." # 天气API密钥 export WEATHER_API_KEY="..." # 资源目录 export SERVER_ROOT="./server_resources" python -m cllm.services.launch --port 10056 --host 0.0.0.0
以图像生成为例,我们首先启动服务。
python -m cllm.services.image_generation.launch --port 10011 --host 0.0.0.0
然后,我们可以通过Python API调用服务:
from cllm.services.image_generation.api import * setup(port=10011) text2image('A horse')
export OPENAI_BASE_URL="..." export OPENAI_API_KEY="..." python -m cllm.services.tog.launch --port 10052 --host 0.0.0.0
使用openssl
生成证书:
mkdir certificate openssl req -x509 -newkey rsa:4096 -keyout certificate/key.pem -out certificate/cert.pem -sha256 -days 365 -nodes
最后,您可以在服务器上启动Gradio演示:
export TOG_PORT=10052 export CLLM_SERVICES_PORT=10056 export CLIENT_ROOT="./client_resources" export GRADIO_TEMP_DIR="$HOME/.tmp" export OPENAI_BASE_URL="..." export OPENAI_API_KEY="..." python -m cllm.app.gradio --controller "cllm.agents.tog.Controller" --server-port 10003 --https
或者,您可以在run.sh
中设置上述变量,并通过运行以下命令启动所有服务:
bash ./run.sh
本项目采用Apache 2.0许可证发布。
如果您在研究中发现本项目有用,请引用我们的论文:
@article{2023controlllm, title={ControlLLM: Augment Language Models with Tools by Searching on Graphs}, author={Liu, Zhaoyang and Lai, Zeqiang and Gao, Zhangwei and Cui, Erfei and Li, Zhiheng and Zhu, Xizhou and Lu, Lewei and Chen, Qifeng and Qiao, Yu and Dai, Jifeng and Wang, Wenhai}, journal={arXiv preprint arXiv:2305.10601}, year={2023} }
如果您想加入我们的微信群,请扫描以下二维码添加我们的助手为微信好友:
<p align="center"><img width="300" alt="image" src="https://github.com/OpenGVLab/DragGAN/assets/26198430/e3f0807f-956a-474e-8fd2-1f7c22d73997"></p>字节跳动发布的AI编程神器IDE
Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。
帮助AI理解电脑屏幕 纯视觉GUI元素的自动化解析方案
开源工具通过计算机视觉技术实现图形界面元素的智能识别与结构化处理,支持自动化测试脚本生成和辅助功能开发。项目采用模块化设计,提供API接口与多种输出格式,适用于跨平台应用场景。核心算法优化了元素定位精度,在动态界面和复杂布局场景下保持稳定解析能力。
埃隆·马斯克旗下的人工智能公司 xAI 推出的第三代大规模语言模型
Grok3 是由埃隆·马斯克旗下的人工智能公司 xAI 推出的第三代大规模语言模型,常被马斯克称为“地球上最聪明的 AI”。它不仅是在前代产品 Grok 1 和 Grok 2 基础上的一次飞跃,还在多个关键技术上实现了创新突破。
腾讯自研的混元大模型AI助手
腾讯元宝是腾讯基于自研的混元大模型推出的一款多功能AI应用,旨在通过人工智能技术提升用户在写作、绘画、翻译、编程、搜索、阅读总结等多个领域的工作与生活效率。
Windsurf Editor推出第三次重大更新Wave 3
新增模型上下文协议支持与智能编辑功能。本次更新包含五项核心改进:支持接入MCP协议扩展工具生态,Tab键智能跳转提升编码效率,Turbo模式实现自动化终端操作,图片拖拽功能优化多模态交互,以及面向付费用户的个性化图标定制。系统同步集成DeepSeek、Gemini等新模型,并通过信用点数机制实现差异化的资源调配。
增强编程效率的AI代码编辑器
Cursor作为AI驱动的代码编辑工具,助力开发者效率大幅度提升。该工具简化了扩展、主题和键位配置的导入,可靠的隐私保护措施保证代码安全,深受全球开发者信赖。此外,Cursor持续推出更新,不断优化功能和用户体验。
全面超越基准的 AI Agent助手
Manus 是一款通用人工智能代理平台,能够将您的创意和想法迅速转化为实际成果。无论是定制旅行规划、深入的数据分析,还是教育支持与商业决策,Manus 都能高效整合信息,提供精准解决方案。它以直观的交互体验和领先的技术,为用户开启了一个智慧驱动、轻松高效的新时代,让每个灵感都能得到完美落地。
飞书官方推出的AI知识库 上传word pdf即可部署AI私有知识库
基于DeepSeek R1大模型构建的知识管理系统,支持PDF、Word、PPT等常见文档格式解析,实现云端与本地数据的双向同步。系统具备实时网络检索能力,可自动 关联外部信息源,通过语义理解技术处理结构化与非结构化数据。免费版本提供基础知识库搭建功能,适用于企业文档管理和个人学习资料整理场景。
大模型驱动的Excel数据处理工具
基于大模型交互的表格处理系统,允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令,自动执行排序、公式计算和数据透视等操作,支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内,支持超过100万行数据的即时分析。
DeepSeek开源的专家并行通信优化框架
DeepEP是一个专为大规模分布式计算设计的通信库,重点解决专家并行模式中的通信瓶颈问题。其核心架构采用分层拓扑感知技术,能够自动识别节点间物理连接关系,优化数据传输路径。通过实现动态路由选择与负载均衡机制,系统在千卡级计算集群中维持稳定的低延迟特性,同时兼容主流深度学习框架的通信接口。
最新AI工具、AI资讯
独家AI资源、AI项目落地
微信扫一扫关注公众号