torchcrepe

<h1 align="center">torchcrepe</h1> <div align="center">

</div>

CREPE [1] 音高跟踪器的 Pytorch 实现。原始的 Tensorflow 实现可以在这里找到。提供的模型权重是通过使用开源模型管理框架 MMdnn 转换 "tiny" 和 "full" 模型获得的。

安装

按照这里的说明进行系统相关的 PyTorch 安装。

pip install torchcrepe

使用

从音频计算音高和周期性

import torchcrepe

# 加载音频
audio, sr = torchcrepe.load.audio( ... )

# 这里我们使用 5 毫秒的跳跃长度
hop_length = int(sr / 200.)

# 为您的领域提供合理的频率范围（上限为 2006 Hz）
# 这对于语音来说是一个合理的范围
fmin = 50
fmax = 550

# 选择模型容量 - "tiny" 或 "full" 之一
model = 'tiny'

# 选择用于推理的设备
device = 'cuda:0'

# 选择一个不会在 GPU 上造成内存错误的批次大小
batch_size = 2048

# 使用第一个 GPU 计算音高
pitch = torchcrepe.predict(audio,
                           sr,
                           hop_length,
                           fmin,
                           fmax,
                           model,
                           batch_size=batch_size,
                           device=device)

通过向 torchcrepe.predict 传递 return_periodicity=True，也可以提取类似于 Crepe 置信度分数的周期性指标。

解码

默认情况下，torchcrepe 对网络输出的 softmax 使用维特比解码。这与原始实现不同，原始实现使用二元交叉熵概率 argmax 附近的加权平均值。argmax 操作可能导致双倍/半频率错误。通过维特比解码对大的音高跳跃进行惩罚，可以消除这些错误。decode 子模块提供了一些解码选项。

# 使用维特比解码（默认）
torchcrepe.predict(..., decoder=torchcrepe.decode.viterbi)

# 使用加权 argmax 解码（如原始实现）
torchcrepe.predict(..., decoder=torchcrepe.decode.weighted_argmax)

# 使用 argmax 解码
torchcrepe.predict(..., decoder=torchcrepe.decode.argmax)

过滤和阈值处理

当周期性较低时，音高的可靠性较低。对于某些问题，掩蔽这些不太可靠的音高值是有意义的。然而，周期性可能会有噪声，音高也会有量化伪影。torchcrepe 为此提供了 filter 和 threshold 子模块。过滤器和阈值参数应该根据您的数据进行调整。对于清晰的语音，10-20 毫秒的窗口和 0.21 的阈值效果不错。

# 假设跳跃长度为 5 毫秒，我们将使用 15 毫秒的窗口
win_length = 3

# 对噪声置信度值进行中值滤波
periodicity = torchcrepe.filter.median(periodicity, win_length)

# 移除非谐波区域
pitch = torchcrepe.threshold.At(.21)(pitch, periodicity)

# 可选地平滑音高以去除量化伪影
pitch = torchcrepe.filter.mean(pitch, win_length)

要对音高阈值处理进行更精细的控制，请参见 torchcrepe.threshold.Hysteresis。这对于消除由周期性值中的噪声引起的虚假有声区域特别有用，但参数更多，可能需要针对您的数据进行更多手动调整。

CREPE 并未在静音音频上训练。因此，它有时会为静音区域的音高区间分配高置信度。您可以使用 torchcrepe.threshold.Silence 手动将静音区域的周期性设置为零。

periodicity = torchcrepe.threshold.Silence(-60.)(periodicity,
                                                 audio,
                                                 sr,
                                                 hop_length)

计算 CREPE 模型输出激活

batch = next(torchcrepe.preprocess(audio, sr, hop_length))
probabilities = torchcrepe.infer(batch)

计算 CREPE 嵌入空间

如差分数字信号处理 [2] 中所述，这使用第五个最大池化层的输出作为预训练的音高嵌入

embeddings = torchcrepe.embed(audio, sr, hop_length)

从文件计算

torchcrepe 定义了以下函数，方便直接从磁盘上的音频文件进行预测。这些函数都有一个 device 参数，可用于设备放置（例如，device='cuda:0'）。

torchcrepe.predict_from_file(audio_file, ...)
torchcrepe.predict_from_file_to_file(
    audio_file, output_pitch_file, output_periodicity_file, ...)
torchcrepe.predict_from_files_to_files(
    audio_files, output_pitch_files, output_periodicity_files, ...)

torchcrepe.embed_from_file(audio_file, ...)
torchcrepe.embed_from_file_to_file(audio_file, output_file, ...)
torchcrepe.embed_from_files_to_files(audio_files, output_files, ...)

命令行界面

用法: python -m torchcrepe
    [-h]
    --audio_files AUDIO_FILES [AUDIO_FILES ...]
    --output_files OUTPUT_FILES [OUTPUT_FILES ...]
    [--hop_length HOP_LENGTH]
    [--output_periodicity_files OUTPUT_PERIODICITY_FILES [OUTPUT_PERIODICITY_FILES ...]]
    [--embed]
    [--fmin FMIN]
    [--fmax FMAX]
    [--model MODEL]
    [--decoder DECODER]
    [--gpu GPU]
    [--no_pad]

可选参数:
  -h, --help            显示此帮助消息并退出
  --audio_files AUDIO_FILES [AUDIO_FILES ...]
                        要处理的音频文件
  --output_files OUTPUT_FILES [OUTPUT_FILES ...]
                        保存音高或嵌入的文件
  --hop_length HOP_LENGTH
                        分析窗口的跳跃长度
  --output_periodicity_files OUTPUT_PERIODICITY_FILES [OUTPUT_PERIODICITY_FILES ...]
                        保存周期性的文件
  --embed               执行嵌入而不是音高预测
  --fmin FMIN           允许的最小频率
  --fmax FMAX           允许的最大频率
  --model MODEL         模型容量。"tiny" 或 "full" 之一
  --decoder DECODER     要使用的解码器。"argmax"、"viterbi" 或 "weighted_argmax" 之一
  --gpu GPU             用于推理的 GPU
  --no_pad              是否对音频进行填充

测试

可以按以下方式运行模块测试。

pip install pytest
pytest

参考文献

[1] J. W. Kim, J. Salamon, P. Li, and J. P. Bello, "Crepe: A Convolutional Representation for Pitch Estimation," in 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP).

[2] J. H. Engel, L. Hantrakul, C. Gu, and A. Roberts, "DDSP: Differentiable Digital Signal Processing," in 2020 International Conference on Learning Representations (ICLR).