convnext_small.fb_in22k_ft_in1k_384

项目介绍：ConvNext Small 图像分类模型

ConvNext Small 是一个现代化的图像分类模型，由原论文的作者在大型数据集 ImageNet-22k 上进行预训练，并在小型数据集 ImageNet-1k 上进行了微调。这个模型结合了现代卷积网络的优点，旨在实现更高效的图像识别和特征提取。

模型详情

模型类型: 图像分类 / 特征网络
参数信息:
- 模型参数数量: 50.2M
- 计算量: 25.6 GMACs
- 激活数: 63.4M
- 图像输入尺寸: 384 x 384
引用的论文: "A ConvNet for the 2020s"，详情可在这里读取。
相关链接: GitHub 源代码
数据集: 使用 ImageNet-1k 数据集进行微调，同时在 ImageNet-22k 数据集上进行了预训练。

模型用途

图像分类

ConvNext Small 模型可以用来进行图像分类，以下是一个简单的代码示例：

from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model('convnext_small.fb_in22k_ft_in1k_384', pretrained=True)
model = model.eval()

# 获取模型特定的变换（标准化、尺寸调整）
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0))  # 将单张图片扩充为批量大小1

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)

特征图提取

除了图像分类，ConvNext Small 还能用于提取图像的特征图，以下提供了一段示例代码：

from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model(
    'convnext_small.fb_in22k_ft_in1k_384',
    pretrained=True,
    features_only=True,
)
model = model.eval()

# 获取模型特定的变换
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0))

for o in output:
    print(o.shape)

图像嵌入

此外，该模型还可用来获取图像嵌入，在图像处理中扮演重要角色，可以作为下游任务的基础输入：

from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model(
    'convnext_small.fb_in22k_ft_in1k_384',
    pretrained=True,
    num_classes=0,  # 删除分类器中的线性层
)
model = model.eval()

data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0))