ComfyUI_VLM_nodes

项目介绍：ComfyUI_VLM_nodes

项目概况

ComfyUI_VLM_nodes 是一个帮助用户更好地运用视觉语言模型（VLM）的项目。该项目通过多种节点设计，使用户能够在 Python 3.9 环境下，灵活加载和使用不同格式的 VLM 模型。它支持在 Windows 和 Linux 平台上运行，用户只需在 custom_nodes 目录下克隆项目即可。

项目功能

VLM Nodes

该项目利用了 llama-cpp-python，允许用户集成 LLaVa 模型。通过这些节点，用户可以加载任何与 LLaVa 模型兼容的 VLM 模型。必要的模型文件需要放置在 models/LLavacheckpoints 文件夹中。

结构化输出

ComfyUI_VLM_nodes 提供了结构化输出节点，使得通过简单的提示工程便能得到清晰可靠的答案。用户可以提取实体、数字，或按类进行提示分类，还可以根据具体需求生成特定的提示。

图像到音乐

项目利用视觉语言模型（VLM）、大语言模型（LLM）及 AudioLDM-2 技术，从图像生成音乐。生成的音乐会保存在 output 文件夹中。

LLM 转音乐

借助 Chat Musician 开源项目，该模块将语言模型的内在音乐能力转化为实际音乐内容。用户可以选择 ChatMusician.Q5_K_M.gguf 或 ChatMusician.Q5_K_S.gguf 文件来尝试此功能。

自动化提示生成与建议节点

• 获取关键词节点：从 LLava 输出中提取关键词。
• LLava 提示生成器节点：基于描述或关键词创建提示。
• 建议节点：生成多个不同的提示。

特殊模型节点

InternLM-XComposer2-VL Node

集成了 InternLM-XComposer2-VL 模型，专为视觉感知而设。这是一个比较重的模型，需要较大存储空间。

UForm-Gen2 Qwen Node

UForm-Gen2 是一个快速的小型生成视觉语言模型，用于图像描述和视觉问答。

Kosmos-2 Node

Kosmos-2 结合多模态大语言模型，从视觉语言模型中获得更深入的世界理解能力。

moondream 模型节点

moondream1 和 moondream2 同属视听模型，前者拥有16亿参数量，主打小型设备上的高效运行。

JoyTag Node

JoyTag 是一个革命性的图像标记模型，专注于性别包容和多样性，只用于研究目的。

Qwen2-VL Node

支持不同分辨率、比例及多语言的视觉语言模型，适用于复杂的视觉推理和决策。

应用示例

项目文档中包含多种功能实例展示，包括图像到音乐、自动化提示生成、LLaVa 采样器高级、以及简单聊天等场景展示。

通过 ComfyUI_VLM_nodes，研究人员和开发者可以更加便捷地进行 VLM 实验，体验视觉语言模型的创新应用。