Qwen2-VL-7B-Instruct-GPTQ-Int8

项目介绍：Qwen2-VL-7B-Instruct-GPTQ-Int8

项目简介

Qwen2-VL-7B-Instruct-GPTQ-Int8是最新的Qwen-VL模型系列的一部分，这个版本经过近一年的持续创新和开发，提升了视觉和语言的理解能力。

Qwen2-VL的主要改进

关键特性

图像理解能力提升：Qwen2-VL在多种分辨率和比例的图像理解上达到了最先进的水平，其在MathVista、DocVQA、RealWorldQA、MTVQA等视觉理解基准上表现卓越。
长时间视频理解：该模型能够理解长达20分钟以上的视频，这使得它在视频问答、对话生成、内容创作等任务上表现出色。
可操控设备代理：Qwen2-VL具备复杂的推理和决策能力，可以整合到移动设备、机器人等中，依据视觉环境和文本指令自动操作。
多语言支持：为了服务全球用户，除了对英语和中文的支持，Qwen2-VL还支持解析图像中的其他语言文本，包括多数欧洲语言、日语、韩语、阿拉伯语和越南语等。

模型架构更新

动态分辨率处理：Qwen2-VL可以处理任意图像分辨率，将其转换为动态视觉标记，模拟人类的视觉处理方式。

Qwen2-VL

多模态旋转位置嵌入(M-ROPE)：将位置嵌入分解以捕获一维文本、二维视觉和三维视频的位置信息，提升其多模态处理能力。

M-ROPE

此模型库中含有参数规模为2亿、7亿和72亿的三种模型，目前展示的是经过指导的7B版本。

性能基准测试

Qwen2-VL模型经过量化处理以提升生成性能，主要测试结果如下：

在不同的基准测试（MMMU_VAL、DocVQA_VAL、MMBench_DEV_EN、MathVista_MINI）中表现出色。

使用指南

Qwen2-VL支持多种视觉输入格式，如base64、URL、混杂的图片和视频。模型加载和推理可通过以下Python代码片段进行，推荐使用qwen-vl-utils工具包来便捷处理视觉信息输入。

from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
from qwen_vl_utils import process_vision_info

model = Qwen2VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2-VL-7B-Instruct-GPTQ-Int8", torch_dtype="auto", device_map="auto"
)

processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct-GPTQ-Int8")

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg"},
            {"type": "text", "text": "Describe this image."}
        ]
    }
]

text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(text=[text], images=image_inputs, videos=video_inputs, padding=True, return_tensors="pt")
inputs = inputs.to("cuda")

generated_ids = model.generate(**inputs, max_new_tokens=128)
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)
print(output_text)

制约条件

尽管Qwen2-VL具有广泛的应用潜力，但仍需关注其在以下方面的限制：

无音频支持：模型未能理解视频中的音频信息。
数据时效性：模型训练数据截至2023年6月。
个体及知识产权识别：对特定人物或品牌的识别尚不完善。
复杂指令处理能力有限：在处理复杂的多步骤指令时，模型的理解和执行能力需进一步提升。
计数准确性不足：尤其在复杂场景中，物体计数的准确性有待改善。
空间推理能力弱：尤其是在三维空间，模型对物体相对位置的判断不够准确。

引用

如果我们的工作对您有所帮助，请在发表时进行引用。

@article{Qwen2VL,
  title={Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution},
  author={Wang, Peng and Bai, Shuai and Tan, Sinan and others},
  journal={arXiv preprint arXiv:2409.12191},
  year={2024}
}