Project Icon

ControlLLM

通过图搜索增强大语言模型工具使用能力实现复杂任务解决

ControlLLM框架通过图搜索方法提升大语言模型的多模态工具使用能力。其核心包括任务分解器、基于图的思维范式和执行引擎,有效解决复杂任务。该框架在图像、音频和视频处理等领域展现出高准确性和效率,为大语言模型应用开辟新途径。

ControlLLM

ControlLLM:通过图搜索增强大型语言模型的工具使用能力

[论文] [项目主页] [演示] [🤗 Space]

我们提出了ControlLLM,这是一个创新框架,使大型语言模型(LLMs)能够利用多模态工具解决复杂的现实世界任务。尽管LLMs表现出色,但在工具调用方面仍然存在挑战,如用户提示模糊、工具选择和参数设置不准确以及工具调度效率低下。为克服这些挑战,我们的框架包含三个关键组件:(1) 一个$\textit{任务分解器}$,将复杂任务分解为具有明确输入输出的子任务;(2) 一个$\textit{图上思维(ToG)范式}$,在预先构建的工具图上搜索最佳解决方案路径,该图指定了不同工具之间的参数和依赖关系;(3) 一个$\textit{具有丰富工具箱的执行引擎}$,解释解决方案路径并在不同计算设备上高效运行工具。我们在涉及图像、音频和视频处理的多样化任务上评估了我们的框架,展示了其相比现有方法在准确性、效率和多功能性方面的优越性。

🤖 视频演示

https://github.com/OpenGVLab/ControlLLM/assets/13723743/cf72861e-0e7b-4c15-89ee-7fa1d838d00f

🏠 系统概览

架构

🎁 主要特性

  • 图像感知
  • 图像编辑
  • 图像生成
  • 视频感知
  • 视频编辑
  • 视频生成
  • 音频感知
  • 音频生成
  • 多解决方案
  • 指向输入
  • 资源类型感知

🗓️ 计划

  • ✅ (🔥 新) 发布在线演示和🤗Hugging Face space
  • ✅ (🔥 新) 支持PixArt-alpha,一种最先进的文本到图像合成方法。

🛠️安装

基本要求

  • Linux
  • Python 3.10+
  • PyTorch 2.0+
  • CUDA 11.8+

克隆项目

在根目录执行以下命令:

git clone https://github.com/OpenGVLab/ControlLLM.git
cd controlllm

安装依赖

设置环境:

conda create -n cllm python=3.10

conda activate cllm

conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.8 -c pytorch -c nvidia

安装LLaVA

pip install git+https://github.com/haotian-liu/LLaVA.git

然后安装其他依赖:

pip install -r requirements.txt
pip install -e .

👨‍🏫 入门指南

步骤1:启动工具服务

请将您的个人OpenAI密钥和Weather Key放入相应的环境变量中。

😬 一键启动所有端点:

# openai密钥
export OPENAI_API_KEY="..."
# openai基础URL
export OPENAI_BASE_URL="..."
# 天气API密钥
export WEATHER_API_KEY="..."
# 资源目录
export SERVER_ROOT="./server_resources"

python -m cllm.services.launch --port 10056 --host 0.0.0.0

工具即服务

以图像生成为例,我们首先启动服务。


python -m cllm.services.image_generation.launch --port 10011 --host 0.0.0.0

然后,我们可以通过Python API调用服务:

from cllm.services.image_generation.api import *
setup(port=10011)
text2image('A horse')

步骤2:启动ToG服务

export OPENAI_BASE_URL="..."
export OPENAI_API_KEY="..."
python -m cllm.services.tog.launch --port 10052 --host 0.0.0.0

步骤3:启动Gradio演示

使用openssl生成证书:

mkdir certificate

openssl req -x509 -newkey rsa:4096 -keyout certificate/key.pem -out certificate/cert.pem -sha256 -days 365 -nodes

最后,您可以在服务器上启动Gradio演示:

export TOG_PORT=10052
export CLLM_SERVICES_PORT=10056
export CLIENT_ROOT="./client_resources"

export GRADIO_TEMP_DIR="$HOME/.tmp"
export OPENAI_BASE_URL="..."
export OPENAI_API_KEY="..."

python -m cllm.app.gradio --controller "cllm.agents.tog.Controller" --server-port 10003 --https

或者,您可以在run.sh中设置上述变量,并通过运行以下命令启动所有服务:

bash ./run.sh

🎫 许可证

本项目采用Apache 2.0许可证发布。

🖊️ 引用

如果您在研究中发现本项目有用,请引用我们的论文:

@article{2023controlllm,
  title={ControlLLM: Augment Language Models with Tools by Searching on Graphs},
  author={Liu, Zhaoyang and Lai, Zeqiang and Gao, Zhangwei and Cui, Erfei and Li, Zhiheng and Zhu, Xizhou and Lu, Lewei and Chen, Qifeng and Qiao, Yu and Dai, Jifeng and Wang, Wenhai},
  journal={arXiv preprint arXiv:2305.10601},
  year={2023}
}

🤝 致谢


如果您想加入我们的微信群,请扫描以下二维码添加我们的助手为微信好友:

image

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号