Meta Chameleon

本仓库包含来自Meta AI的FAIR团队的Meta Chameleon模型相关资料。仓库内容包括：

独立推理代码 — 用于运行模型检查点的快速GPU推理实现
输入输出查看器 — 一个基于浏览器的工具，用于丰富地查看多模态模型的输入和输出
评估提示 — 用于人工评估的混合模态和纯文本提示

系统要求

目前运行推理和输入输出查看器的组件需要支持CUDA的GPU。如果您想在其他硬件上运行推理，其他推理实现（包括HuggingFace）是平台无关的。

入门指南

首先，通过pip安装本仓库：

pip install -U git+https://github.com/facebookresearch/chameleon.git

或者，如果您想访问完整的可视化工具，您需要克隆本仓库（而不是安装），然后从仓库根目录进行pip安装：

git clone https://github.com/facebookresearch/chameleon.git
cd chameleon
pip install -e .

在运行推理或查看器之前，必须下载模型检查点和配置文件。申请模型访问权限后，运行以下脚本，在提示时添加您收到的预签名下载URL：

python -m chameleon.download_data [预签名URL]

（您也可以粘贴包含下载链接的邮件中给出的命令）

运行查看器

查看器可视化多模态模型的输入和输出。使用docker-compose可以最容易地运行它。您需要克隆仓库，而不仅仅是pip安装。

以下命令同时运行服务和查看器界面。

默认情况下，这将运行7B参数模型。您可以在./config/model_viewer.yaml中更改model_path变量以选择其他模型并更改其他配置：

docker-compose up --build

您可以在 http://localhost:7654/ 打开查看器

运行迷你查看器

迷你查看器是一个轻量级调试可视化工具，可以通过以下命令运行：

python -m chameleon.miniviewer

这将运行7B参数模型。要运行30B模型，请使用以下命令：

python -m chameleon.miniviewer --model-size 30b

您可以在 http://localhost:5000/ 打开迷你查看器。

许可证

本仓库及相关资源的使用受Chameleon研究许可证和LICENSE文件的约束。

引用

如需引用论文、模型或软件，请使用以下格式：

@article{Chameleon_Team_Chameleon_Mixed-Modal_Early-Fusion_2024,
  author = {Chameleon Team},
  doi = {10.48550/arXiv.2405.09818},
  journal = {arXiv preprint arXiv:2405.09818},
  title = {Chameleon: Mixed-Modal Early-Fusion Foundation Models},
  url = {https://github.com/facebookresearch/chameleon},
  year = {2024}
}