torchcrepe:基于PyTorch的高精度音高跟踪工具

torchcrepe

torchcrepe:基于PyTorch的高精度音高跟踪工具

在音频信号处理领域,准确的音高估计一直是一个具有挑战性的任务。近年来,随着深度学习技术的发展,基于神经网络的音高跟踪算法取得了显著的进展。其中,CREPE(Convolutional Representation for Pitch Estimation)算法因其出色的性能而备受关注。今天,我们将为大家介绍torchcrepe,这是一个基于PyTorch实现的CREPE音高跟踪工具,它为音频处理领域的研究者和开发者提供了一个强大而易用的解决方案。

什么是torchcrepe?

torchcrepe是CREPE音高跟踪算法的PyTorch实现版本。CREPE最初由J. W. Kim等人在2018年IEEE国际声学、语音和信号处理会议(ICASSP)上提出,是一种基于卷积神经网络的音高估计方法。torchcrepe项目由maxrmorrison在GitHub上开源,旨在为PyTorch用户提供一个高效、灵活的CREPE实现。

与原始的TensorFlow实现相比,torchcrepe具有以下优势:

与PyTorch生态系统无缝集成
提供了更多的解码和后处理选项
支持GPU加速,提高处理速度
易于安装和使用

安装torchcrepe

安装torchcrepe非常简单,只需要先安装PyTorch,然后通过pip安装torchcrepe即可:

# 先安装PyTorch(根据系统和CUDA版本选择合适的安装命令)
# 参考 https://pytorch.org/ 的安装指南

# 安装torchcrepe
pip install torchcrepe

使用torchcrepe进行音高估计

torchcrepe的核心功能是从音频数据中估计音高。以下是一个基本的使用示例:

import torchcrepe

# 加载音频文件
audio, sr = torchcrepe.load.audio('path/to/your/audio.wav')

# 设置参数
hop_length = int(sr / 200)  # 5毫秒的hop length
fmin = 50  # 最小频率
fmax = 550  # 最大频率
model = 'tiny'  # 模型大小,'tiny'或'full'
device = 'cuda:0'  # 使用GPU进行计算
batch_size = 2048  # 批处理大小

# 计算音高
pitch = torchcrepe.predict(audio,
                           sr,
                           hop_length,
                           fmin,
                           fmax,
                           model,
                           batch_size=batch_size,
                           device=device)

# 如果需要周期性信息,可以设置return_periodicity=True
pitch, periodicity = torchcrepe.predict(audio,
                                        sr,
                                        hop_length,
                                        fmin,
                                        fmax,
                                        model,
                                        batch_size=batch_size,
                                        device=device,
                                        return_periodicity=True)

这个示例展示了如何使用torchcrepe从音频文件中提取音高信息。通过调整参数,如hop_length、fmin和fmax,我们可以根据具体应用场景优化音高估计的结果。

torchcrepe的高级特性

除了基本的音高估计功能,torchcrepe还提供了许多高级特性,使其成为一个功能丰富的音频分析工具:

多种解码方法

torchcrepe提供了多种解码方法,以适应不同的应用需求:

# 使用Viterbi解码(默认方法)
torchcrepe.predict(..., decoder=torchcrepe.decode.viterbi)

# 使用加权argmax解码(与原始CREPE实现相同)
torchcrepe.predict(..., decoder=torchcrepe.decode.weighted_argmax)

# 使用简单的argmax解码
torchcrepe.predict(..., decoder=torchcrepe.decode.argmax)

滤波和阈值处理

为了处理低周期性区域的不可靠音高估计,torchcrepe提供了滤波和阈值处理功能:

# 假设使用5毫秒的hop length,设置15毫秒的窗口长度
win_length = 3

# 对周期性进行中值滤波
periodicity = torchcrepe.filter.median(periodicity, win_length)

# 移除非谐波区域
pitch = torchcrepe.threshold.At(.21)(pitch, periodicity)

# 可选:对音高进行均值滤波以去除量化伪影
pitch = torchcrepe.filter.mean(pitch, win_length)

静音区域处理

CREPE模型在训练时没有使用静音音频,因此可能会在静音区域产生错误的高置信度估计。torchcrepe提供了一种方法来处理这个问题:

periodicity = torchcrepe.threshold.Silence(-60.)(periodicity,
                                                 audio,
                                                 sr,
                                                 hop_length)

计算CREPE模型的嵌入空间

torchcrepe还允许我们计算CREPE模型的嵌入空间,这在某些高级应用中可能会很有用:

embeddings = torchcrepe.embed(audio, sr, hop_length)

批处理文件处理

对于需要处理大量音频文件的场景,torchcrepe提供了便捷的批处理函数:

torchcrepe.predict_from_files_to_files(
    audio_files, output_pitch_files, output_periodicity_files, ...)

命令行接口

torchcrepe还提供了一个命令行接口,方便进行快速的音高分析:

python -m torchcrepe --audio_files input.wav --output_files output.txt

torchcrepe的应用场景

torchcrepe作为一个高精度的音高跟踪工具,在多个领域都有广泛的应用:

音乐信息检索(MIR):用于自动转录、和声分析等任务。
语音处理:辅助语音合成、语音转换等应用。
音频效果处理:如自动音高校正(Auto-Tune)等效果的实现。
音乐教育:开发音高训练、演奏评估等教育工具。
声学分析:用于研究动物叫声、环境声音等的音高特征。

结语

torchcrepe为音频处理领域带来了CREPE算法的强大功能,同时充分利用了PyTorch的优势。无论您是研究人员、开发者还是音频爱好者,torchcrepe都为您提供了一个易用、高效的音高估计工具。随着深度学习在音频处理领域的不断发展,我们期待看到更多像torchcrepe这样的创新工具,推动音频技术的进步。

如果您对音频处理感兴趣,不妨尝试使用torchcrepe,探索其丰富的功能,并将其应用到您的项目中。您可以在GitHub上找到torchcrepe的源代码和详细文档:https://github.com/maxrmorrison/torchcrepe

让我们一起,用AI的力量,开启音频处理的新篇章! 🎵🎶🎼

torchcrepe logo