ai_webui

<div align="center"> <div class="logo"> <a href=""> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/7d4b113e-84a1-4475-97ee-0ca654722ec8.png" style="width:180px"> </a> </div> <h1>AI-WEBUI：通用人工智能创作网页界面，图像、音频和视频处理的便捷工具</h1>

⭐ 如果对您有帮助，请给个星标，谢谢！🤗 中文文档

</div>

🌟 1. 简介

ai-webui 是一个基于浏览器的界面，旨在提供通用的人工智能创作平台。 <img align="center" src="https://yellow-cdn.veclightyear.com/0a4dffa0/27734736-8735-43fe-9ae3-0435a35336a6.png" alt="drawing" width="768"/>

本项目提供了图像分割、物体跟踪、图像修复、语音识别、语音合成等基础功能，以及聊天机器人、视频翻译、视频去水印等高级功能，大大提高了短视频创作的效率。

⚡2. 安装

按照以下步骤安装并使用AI-WebUI：

2.1 将项目克隆到本地

git clone https://github.com/jasonaidm/ai_webui.git

2.2 进入项目目录

cd ai_webui

2.3 创建虚拟环境

conda create -n aiwebui python=3.11
conda activate aiwebui

2.4 安装所需依赖

apt install ffmpeg -y 
pip install -r requirements.txt

🚀3. 快速开始

使用AI-WebUI非常简单。只需按照界面上的指示操作即可。您可以通过上传视频、音频、图像或输入文本来输入创意元素，并与模型的输出进行交互。

python webui.py -c ./configs/webui_configs.yml

启动后，在浏览器中打开 http://localhost:9090/?__theme=dark 即可看到项目界面。

3.1 单一功能演示

考虑到部分用户个人电脑的GPU性能问题，我们提供了单一功能演示，允许用户在不启动整个项目的情况下运行特定的AI功能。

图像分割

全景分割
基于点坐标的分割
基于文本提示的分割

python webui.py -c ./configs/segmentation_demo.yml

分割演示

语音识别

多语言语音识别（如中文和英文）

python webui.py -c ./configs/asr_demo.yml

语音识别演示

语音合成

多语言语音合成（如中文和英文）

python webui.py -c ./configs/tts_demo.yml

语音合成演示

3.2 组合功能演示

通过组合多个AI模型可以获得更复杂的功能，需要更高的GPU资源。

聊天机器人

基于文本的聊天机器人
基于语音的聊天机器人

python webui.py -c ./configs/chatbot_demo.yml

聊天机器人演示

视频修复

去水印
去马赛克
物体跟踪
视频中的物体移除

python webui.py -c ./configs/video_inpainter_demo.yml

视频修复演示

视频转换

音视频分离
图像裁剪
图像噪声添加
帧提取
语音识别
字幕翻译
语音合成
背景音乐添加
一键视频生成（自动从网络复制视频）

python webui.py -c ./configs/video_convertor_demo.yml

视频转换演示

3.3 完整功能在线

通过运行以下命令开启所有AI功能：

python webui.py -c ./configs/webui_configs.yml

由于模型加载时间较长，建议在启动后首次推理时加载模型。您可以通过configs/base.yml配置文件中的"init_model_when_start_server"选项控制每个AI模型的加载策略。

🔥4. 模型文件

4.1 模型文件下载

模型	模型文件大小	小模型列表	下载链接
chatglm2-6b-int4	3.7G	✅	百度网盘
chatglm2-6b	12G		清华大学网盘
sam_vit_b	358M	✅	百度网盘
sam_vit_h	2.4G		百度网盘
FastSAM-s	23M	✅	百度网盘
FastSAM-x	138M		百度网盘
ProPainter	150M	✅	百度网盘
raft-things	20M	✅	百度网盘
recurrent_flow_completion	19M	✅	百度网盘
cutie	134M	✅	百度网盘
whisper-samll	461M	✅	百度网盘
whisper-large-v3	2.9G		百度网盘

百度网盘提取码：zogk

4.2 模型权重文件目录结构

model_weights/
├── chatglm
│   └── chatglm2-6b-int4
│       ├── config.json
│       ├── configuration_chatglm.py
│       ├── modeling_chatglm.py
│       ├── pytorch_model.bin
│       ├── quantization.py
│       ├── tokenization_chatglm.py
│       ├── tokenizer.model
│       └── tokenizer_config.json
├── fastsam
│   ├── FastSAM-s.pt
│   └── FastSAM-x.pt
├── propainter
│   ├── ProPainter.pth
│   ├── cutie-base-mega.pth
│   ├── raft-things.pth
│   └── recurrent_flow_completion.pth
├── sam
│   ├── sam_vit_b.pth
│   └── sam_vit_h.pth
└── whisper
    ├── large-v3.pt
    └── small.pt

如果GPU内存小于8G，您可能需要使用小模型来运行项目；但是，小模型的性能可能不够理想，因此建议尽可能运行大模型。