FunClip

项目介绍：FunClip

FunClip 是一个完全开源、准确且易于使用的视频剪辑工具。该工具由阿里巴巴TONGYI语音实验室的开源项目 FunASR Paraformer 系列模型提供技术支持，用于视频的语音识别。用户可以根据识别结果自由选择文本片段或指定的说话人，然后点击剪辑按钮即可获得相应的视频片段。

项目亮点

智能剪辑功能： FunClip 集成了大语言模型（LLM），用户可以现在试用 AI 剪辑功能。
优质识别模型：集成了阿里巴巴开源的工业级别模型 Paraformer-Large。此模型在 Modelscope 上下载量超过1300万次，是性能最优的中文 ASR 模型之一，同时能够精确预测时间戳。
热词定义功能：为提升识别结果，用户可以在 ASR 过程中通过 SeACo-Paraformer 自定义一些词语，如实体词、名字等。
说话人识别功能：通过 CAM++ 说话人识别模型，用户可以自动识别说话人 ID，并以此为目标进行剪辑。
简单上手的界面：通过 Gradio 实现的交互界面，使得安装简单、使用方便，能够部署在服务器上，并通过浏览器访问。
多段剪辑和字幕生成：支持多段自由剪辑，自动返回完整视频的 SRT 字幕和目标片段 SRT 字幕，极大提升用户体验。

正在进行

支持 Whisper 模型以服务英语用户。
针对基于大语言模型的 AI 剪辑能力，进一步探索。
计划新增反向选取时间段与去除静音时段的功能。

安装指南

Python 环境

FunClip 的基础功能仅需一个 Python 环境即可运行：

git clone https://github.com/alibaba-damo-academy/FunClip.git
cd FunClip
pip install -r ./requirements.txt

安装 imagemagick（可选）

如需剪辑带内嵌字幕的视频文件，需安装 ffmpeg 和 imagemagick。

Ubuntu 上的安装：

apt-get -y update && apt-get -y install ffmpeg imagemagick
sed -i 's/none/read,write/g' /etc/ImageMagick-6/policy.xml

使用方法

A. 本地 Gradio 服务

在本地建立一个与 Modelscope Space 相同的 FunClip 服务：

python funclip/launch.py
# '-l en' 用于英文音频识别
# '-p xxx' 用于设定端口号
# '-s True' 用于建立可供公共访问的服务

访问 localhost:7860 即可使用 Gradio 服务，按步骤进行视频剪辑。

B. Modelscope 体验

FunClip@Modelscope Space⭐

C. 命令行操作

FunClip 支持通过命令识别和剪辑操作：

# 第一步：识别
python funclip/videoclipper.py --stage 1 \
       --file examples/2022云栖大会_片段.mp4 \
       --output_dir ./output

# 第二步：剪辑
python funclip/videoclipper.py --stage 2 \
       --file examples/2022云栖大会_片段.mp4 \
       --output_dir ./output \
       --dest_text '我们把它跟乡村振兴去结合起来，利用我们的设计的能力' \
       --start_ost 0 \
       --end_ost 100 \
       --output_file './output/res.mp4'