convnextv2_large.fcmae

项目介绍：convnextv2_large.fcmae

ConvNeXtV2 是一种面向图像特征表示的自监督学习模型，其目的是为了图像分类和特征提取。它采用了全卷积掩码自编码器框架（简称FCMAE）的预训练方法。这个模型没有预训练的头部，主要用于微调或特征提取。

模型详情

模型类型： 图像分类/特征提取骨干网络（feature backbone）
模型参数：
- 参数量（百万）：196.4
- GMACs（十亿次乘加运算）：34.4
- 激活量（百万）：43.1
- 图像尺寸：224 x 224
相关论文：
- "ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders" 论文链接
原始代码库：GitHub链接
预训练数据集： ImageNet-1k

模型使用

图像分类

from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
    'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model('convnextv2_large.fcmae', pretrained=True)
model = model.eval()

# 获取模型特定的变换（标准化，缩放）
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0))  # 将单张图像扩展为大小为1的批量

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)

特征图提取

from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
    'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
    'convnextv2_large.fcmae',
    pretrained=True,
    features_only=True,
)
model = model.eval()

# 获取模型特定的变换（标准化，缩放）
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0))  # 将单张图像扩展为大小为1的批量

for o in output:
    print(o.shape)  # 打印每个输出特征图的形状

图像嵌入

from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
    'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
    'convnextv2_large.fcmae',
    pretrained=True,
    num_classes=0,  # 移除分类器nn.Linear
)
model = model.eval()

# 获取模型特定的变换（标准化，缩放）
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0))  # 输出为形状为(batch_size, num_features)的张量

# 或等效地（无需设置num_classes=0）
output = model.forward_features(transforms(img).unsqueeze(0))
output = model.forward_head(output, pre_logits=True)  # 输出为(1, num_features)形状的张量