Qwen2.5-VL

项目介绍

Qwen2.5-VL 是由阿里巴巴云开发的视觉语言模型，结合了语言理解和视觉感知能力。它支持图像和视频输入，对于图像可接受本地文件、base64 编码和 URL 等多种形式，目前视频仅支持本地文件。项目提供了多种部署方式，包括启动 OpenAI API 服务和 Web UI 示例，方便用户进行交互和测试。同时，项目还包含了qwen-vl-utils工具包，用于处理视觉信息，如提取视频帧、调整图像大小等，为开发者提供了便利。

主要功能

支持图像和视频输入，进行视觉和语言的交互。提供 OpenAI 兼容的 API 服务，方便用户使用。具备 Web UI 示例，用户可通过网页进行交互。提供视觉处理工具，如提取视觉信息、处理视频帧等。

应用场景

图像识别与描述：识别图像中的文字、物体等，并进行描述。视频分析：总结视频中的商品特点、事件等。智能客服：结合图像和视频信息，提供更准确的回答。内容创作：辅助创作与图像、视频相关的文案。教育领域：用于图像和视频的教学与学习。

常见问题

问题 1：这个项目支持哪些输入格式？回答：对于输入图像，支持本地文件、base64 编码和 URL；对于视频，目前仅支持本地文件。

问题 2：如何启动 OpenAI API 服务？回答：可以运行命令vllm serve Qwen/Qwen2.5-VL-7B-Instruct --port 8000 --host 0.0.0.0 --dtype bfloat16 --limit-mm-per-prompt image=5,video=5来启动 OpenAI 兼容的 API 服务。

问题 3：是否有 Web UI 示例？回答：有的，在使用前需要先安装依赖pip install -r requirements_web_demo.txt，然后运行相应的脚本即可启动 Web UI 示例。

问题 4：项目中的视觉处理工具能做什么？回答：视觉处理工具可以提取视觉信息，如从对话中提取图像和视频信息；还能处理视频帧，包括调整视频的帧率、大小等。

问题 5：可以用这个项目做商品特点总结吗？回答：可以，通过输入商品相关的视频，项目可以总结视频中的商品特点，你可以使用项目提供的 API 服务或 Web UI 示例来完成这个任务。