MiniCPM-V-2

MiniCPM-V-2 项目介绍

项目概览

MiniCPM-V-2 是一个强大的多模态大模型，其设计目标是实现高效的终端设备部署。该模型基于 SigLip-400M 和 MiniCPM-2.4B，通过感知器重采样器（perceiver resampler）连接起来。MiniCPM-V-2 拥有几个值得注意的特性，使其在多个领域表现出色。

项目特点

性能卓越

MiniCPM-V-2 在多个基准测试（如 OCRBench、TextVQA、MME 等）中表现出色，尤其在 7B 参数以下的模型中拥有顶级性能。此外，在全面的多模态评测 OpenCompass 中，它甚至超越了强大的 Qwen-VL-Chat 9.6B 和 Yi-VL 34B 等模型，尤其在场景文本识别上媲美 Gemini Pro。

可信赖的行为

与许多大模型容易产生幻觉不同，MiniCPM-V-2 是第一个通过多模态 RLHF 对齐以确保生成内容可信赖的终端侧 LMM（大型多模态模型），能够在 Object HalBench 上实现与 GPT-4V 相匹敌的表现。

高分辨率图像处理能力

MiniCPM-V-2 支持接受任意长宽比的 180 万像素（如 1344x1344）的高分辨率图像，能够更好地感知细粒度的视觉信息，例如小物体和光学字符。

高效性

MiniCPM-V-2 能高效地部署在大多数 GPU 卡及个人电脑上，甚至可以在移动设备如手机上运行。通过重采样器将图像表征压缩为更少的 token，使其在推理阶段处理高分辨率图像时，内存和速度的表现尤为优异。

双语支持

该模型支持中英文双语的多模态能力，这是通过通用跨语言的多模态技术实现的，使其在多语言环境下的应用更加广泛。

模型评估

在多个基准测试中，包括 TextVQA、DocVQA、OCRBench 等，MiniCPM-V-2 显示了其卓越的能力。这些测试结果进一步验证了其强大的多模态处理水平。

应用案例和演示

MiniCPM-V-2 可以部署在终端设备上进行实操，例如在小米 14 Pro 上的原始屏幕录制展示了该模型在移动设备上的运行能力。用户可通过此链接进行在线演示尝试。

移动设备部署

MiniCPM-V-2 支持在 Android 和 Harmony 操作系统的手机上进行部署，用户可以通过此链接尝试。

使用说明

用户可以在具备英伟达 GPU 或 Mac 的设备上使用 Huggingface transformers 进行推理。推荐的环境配置包括 Pillow、torch、transformers 等库的特定版本。

结论

MiniCPM-V-2 凭借其强大的多模态处理能力和高效性，为多语言多模态应用提供了极大的便利，并满足了跨平台部署的需求。它在多模态学习领域中展现了极高的潜力和广泛的应用前景。有关更多详细使用方法，请参看 GitHub。

声明

作为大语言模型，MiniCPM-V-2 通过学习大量文本生成内容，但不具备理解、表达个人意见或进行价值判断的能力。使用 MiniCPM-V-2 开源模型所产生的问题，开发者不承担相关责任。