discogs-maest-30s-pw-129e

项目介绍：discogs-maest-30s-pw-129e

项目背景

discogs-maest-30s-pw-129e项目基于音乐分析应用而开发。该项目使用的是MAEST系列的Transformer模型，这是Pablo Alonso基于PASST模型进行优化和微调的成果。MAEST模型在音乐分类任务上的表现引人注目，并在音乐风格分类任务中表现尤为突出，每个模型都可以通过Essentia库和其官方仓库进行推断和训练。

模型详情

模型是由Pablo Alonso开发和分享的，类型为Transformer模型，遵循cc-by-nc-sa-4.0许可协议，允许非商业使用。该模型来源于MAEST的官方仓库，并在名为“Efficient Supervised Training of Audio Transformers for Music Representation Learning”的论文中有详尽描述。

使用场景

MAEST模型主要用于音乐音频表示，特别是在音乐风格分类任务上进行了预训练。模型在一系列音乐分析任务中均展现出良好性能。

直接应用：通过Discogs的公共元数据，模型能够对400种音乐风格进行预测。

下游应用：模型在音乐风格识别、音乐情感识别和乐器检测等下游应用中表现良好，特别是在提取模型中间层表示时，获得了最佳性能。

不适用场景：该模型并未在音乐理解应用之外的领域中评估，因此无法保证在其他音频分类任务中的表现，例如AudioSet中的任务。该模型不是通用音频分类模型，因此不适用于超出音乐风格分类的任务。

偏置、风险与限制

MAEST模型使用的是Discogs20数据集，该数据集主要来源于MTG团队构建的内部数据，尽管团队努力提升数据的多样性，但数据集中仍存在西方音乐（特别是电子音乐）的过度代表现象。

模型使用指南

MAEST模型可以通过transformers库中的音频分类管道进行使用。示例代码如下：

import numpy as np
from transformers import pipeline

# audio @16kHz
audio = np.random.randn(30 * 16000)

pipe = pipeline("audio-classification", model="mtg-upf/discogs-maest-30s-pw-129e")
pipe(audio)

训练细节

训练使用的是Discogs20数据集，包括约330万匹配Discogs元数据的音乐曲目。MAEST模型依赖于Essentia库提取的mel谱图作为输入，与以往的几次发表的成果相呼应。

环境影响

模型的训练使用了4台Nvidia RTX 2080 Ti显卡，训练约32小时，碳排放为约3.46 kg的二氧化碳当量。

技术规格

模型使用Audio Spectrogram Transformer，并基于本地基础设施进行训练，使用的深度学习框架为Pytorch。

引用

如果使用此模型，请引用：

APA格式：

Alonso-Jiménez, P., Serra, X., & Bogdanov, D. (2023). Efficient Supervised Training of Audio Transformers for Music Representation Learning. In Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023)

BibTeX格式：

@inproceedings{alonso2023music,
  title={Efficient supervised training of audio transformers for music representation learning},
  author={Alonso-Jim{\'e}nez, Pablo and Serra, Xavier and Bogdanov, Dmitry},
  booktitle={Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023)},
  year={2022},
  organization={International Society for Music Information Retrieval (ISMIR)}
}