MultiModalMamba

MultiModalMamba 项目介绍

MultiModalMamba 是一款全新的人工智能模型，结合了 Vision Transformer (ViT) 和 Mamba，推出了一种高性能的多模态模型。该模型建立在名为 Zeta 的简约而强大的 AI 框架之上，旨在优化和提升机器学习模型的管理效率。

多数据类型处理能力

在当今多维的世界中，同时处理和解释多种数据类型的能力显得尤为重要。MultiModalMamba 凭借 Vision Transformer 和 Mamba 的强大功能，实现了文本与图像数据的高效处理，使其成为众多 AI 任务中非常灵活的解决方案。

安装方法

为了安装 MultiModalMamba，你只需要在命令行中键入：

pip3 install mmm-zeta

基本使用方式

MultiModalMambaBlock

MultiModalMamba 提供了一个名为 MultiModalMambaBlock 的模块，能够处理随机输入的张量数据。下面是一个简单的示例代码：

import torch 
from torch import nn
from mm_mamba import MultiModalMambaBlock

x = torch.randn(1, 16, 64)
y = torch.randn(1, 3, 64, 64)

model = MultiModalMambaBlock(
    dim = 64,
    depth = 5,
    dropout = 0.1,
    heads = 4,
    d_state = 16,
    image_size = 64,
    patch_size = 16,
    encoder_dim = 64,
    encoder_depth = 5,
    encoder_heads = 4,
    fusion_method="mlp",
)

out = model(x, y)
print(out.shape)

MultiModalMamba，准备好训练的模型

数据类型灵活性：MultiModalMamba 模型可以同时处理文本和图像数据，适用于需要理解多种数据类型的数据集和任务。
可定制架构：该模型提供了多种参数可供配置，如深度、丢弃率、头数、状态维度、图像大小、补丁大小、编码器维度和深度等，可以根据具体任务需求进行微调。
嵌入输出选择：模型具有 return_embeddings 选项，当设置为 True 时，模型将返回嵌入而非最终输出，这对于需要中间表示的任务如迁移学习或特征提取非常有用。

使用示例如下：

import torch
from mm_mamba import MultiModalMamba

x = torch.randint(0, 10000, (1, 196))
img = torch.randn(1, 3, 224, 224)
aud = torch.randn(1, 224)
vid = torch.randn(1, 3, 16, 224, 224)

model = MultiModalMamba(
    vocab_size=10000,
    dim=512,
    depth=6,
    dropout=0.1,
    heads=8,
    d_state=512,
    image_size=224,
    patch_size=16,
    encoder_dim=512,
    encoder_depth=6,
    encoder_heads=8,
    fusion_method="mlp",
    return_embeddings=False,
    post_fuse_norm=True,
)

out = model(x, img, aud, vid)
print(out.shape)