nnAudio

nnAudio是一个使用PyTorch卷积神经网络作为后端的音频处理工具箱。通过这种方式，可以在神经网络训练过程中即时从音频生成频谱图，并且可以训练傅里叶核（例如CQT核）。Kapre有类似的概念，他们也使用一维卷积神经网络基于Keras提取频谱图。

其他GPU音频处理工具包括torchaudio和tf.signal。但它们并没有使用神经网络方法，因此傅里叶基础无法被训练。截至PyTorch 1.6.0版本，由于sox的原因，torchaudio在Windows环境下仍然非常难以安装。nnAudio主要依赖于PyTorch卷积神经网络，因此是一个在不同操作系统之间更兼容的音频处理工具。nnAudio的名称来源于torch.nn

安装

pip install git+https://github.com/KinWaiCheuk/nnAudio.git#subdirectory=Installation

或

pip install nnAudio==0.3.1

文档

https://kinwaicheuk.github.io/nnAudio/index.html

与其他库的比较

功能	nnAudio	torch.stft	kapre	torchaudio	tf.signal	torch-stft	librosa
可训练	✅	❌	✅	❌	❌	✅	❌
可微分	✅	✅	✅	✅	✅	✅	❌
线性频率STFT	✅	✅	✅	✅	✅	✅	✅
对数频率STFT	✅	❌	✅	❌	❌	❌	❌
逆STFT	✅	✅	✅	✅	✅	✅	✅
Griffin-Lim算法	✅	❌	❌	✅	✅	❌	✅
Mel频谱	✅	❌	✅	✅	✅	❌	✅
MFCC	✅	❌	❌	✅	✅	❌	✅
CQT	✅	❌	❌	❌	❌	❌	✅
VQT	✅	❌	❌	❌	❌	❌	✅
伽玛通滤波器	✅	❌	❌	❌	❌	❌	❌
CFP<sup>1</sup>	✅	❌	❌	❌	❌	❌	❌
GPU支持	✅	✅	✅	✅	✅	✅	❌

✅: 完全支持 ☑️: 开发中（仅在开发版本中可用） ❌: 不支持 <sup>1</sup> 结合谱和时间表示的多音调音乐多音高估计

新闻与更新日志

查看完整更新日志，请访问 CHANGELOG.md

0.3.1 版本 (2021年12月24日):

增加了VQT功能 #113

0.3.0 版本 (2021年11月19日):

更改了模块命名。在未来的版本中，nnAudio.Spectrogram 将被 nnAudio.features 替代。目前，各种频谱图类型可通过两种方法访问。

如何引用 nnAudio

nnAudio 的论文可在 IEEE Access 上获取

K. W. Cheuk, H. Anderson, K. Agres 和 D. Herremans, "nnAudio: 使用一维卷积神经网络的即时GPU音频到频谱图转换工具箱"，IEEE Access，第8卷，第161981-162003页，2020年，doi: 10.1109/ACCESS.2020.3019084。

BibTex

@ARTICLE{9174990, author={K. W. {Cheuk} 和 H. {Anderson} 和 K. {Agres} 和 D. {Herremans}}, journal={IEEE Access}, title={nnAudio: 使用一维卷积神经网络的即时GPU音频到频谱图转换工具箱}, year={2020}, volume={8}, number={}, pages={161981-162003}, doi={10.1109/ACCESS.2020.3019084}}

贡献邀请

nnAudio 是一个快速发展的软件包。随着功能请求的增加，我们欢迎任何熟悉数字信号处理和神经网络的人为 nnAudio 做出贡献。当前待处理功能列表包括：

可逆常数 Q 变换 (CQT)

（单元测试快速提示：在 Installation 文件夹内 cd，然后输入 pytest。您至少需要 1931 MiB GPU 内存才能通过所有单元测试）

另外，您也可以通过以下方式贡献：

制作更好的演示代码或教程

依赖项

Numpy >= 1.14.5

Scipy >= 1.2.0

PyTorch >= 1.6.0 (Griffin-Lim 仅在 1.6.0 之后可用)

Python >= 3.6

librosa = 0.7.0 (理论上 nnAudio 依赖于 librosa。但我们只需要使用 librosa.filters 中的单个函数 mel。为了避免用户为这个单一功能安装 librosa 的麻烦，我只是在代码中复制了与 mel 相对应的一系列函数，这样 nnAudio 就可以在不需要安装 librosa 的情况下运行)