SOME: 一款革命性的歌声MIDI提取工具

什么是SOME?

SOME (Singing-Oriented MIDI Extractor) 是由OpenVPI团队开发的一款专门针对歌声设计的MIDI提取工具。它能够将人声录音转换为MIDI序列,为歌声合成、音乐制作等领域提供了便捷的MIDI生成解决方案。

作为一款开源工具,SOME在GitHub上发布并持续更新,目前已获得近400颗星标。它的出现为音乐创作者和AI歌声合成爱好者带来了新的可能性。

SOME的主要特点

SOME具有以下几个突出的优势:

1. 速度快:在i5 12400 CPU上,SOME的处理速度是实时的9倍;在3080Ti GPU上更是达到了惊人的300倍实时速度。这意味着它可以在几秒钟内完成一首歌曲的MIDI提取。

2. 资源需求低:SOME可以在少量训练数据(仅3小时)的情况下就能取得不错的效果,非常适合个人用户或小型团队使用。

3. 功能强大:SOME能够生成非整数MIDI值,特别适合用于DiffSinger等AI歌声合成模型的变量标注。

4. 开源免费:作为MIT协议下的开源项目,SOME可以被自由使用和修改,为研究和应用提供了极大的便利。

5. 跨平台支持:SOME支持Windows、Linux和macOS等多个操作系统平台。

如何使用SOME?

安装配置

要使用SOME,你需要先安装Python 3.8或更高版本。强烈建议使用Conda或venv创建虚拟环境来安装依赖包。

1. 按照官方指南安装PyTorch 2.1或更高版本。

2. 使用以下命令安装其他依赖:

pip install -r requirements.txt

3. (可选)为获得更好的音高提取结果,可以从这里下载RMVPE预训练模型,并将其解压到pretrained/目录。

使用预训练模型进行推理

SOME提供了命令行和Web UI两种使用方式:

命令行方式

1. 从releases页面下载预训练模型并解压。

2. 运行以下命令进行推理:

python infer.py --model CKPT_PATH --wav WAV_PATH

这将加载指定路径的模型,从音频文件提取MIDI,并保存MIDI文件。

Web UI方式

运行以下命令启动Web界面:

python webui.py --work_dir WORK_DIR

然后通过浏览器打开gradio界面,按照页面说明使用WORK_DIR下的模型。

用于DiffSinger数据集

SOME还可以用于处理现有的DiffSinger数据集:

1. 准备包含name、ph_seq、ph_dur和ph_num字段的transcriptions.csv文件。

2. 运行以下命令:

python batch_infer.py --model CKPT_PATH --dataset RAW_DATA_DIR --overwrite

这将使用模型从数据集中的录音提取所有MIDI序列(带浮点音高值),并在transcriptions.csv中添加或替换note_seq和note_dur字段。

SOME的应用场景

SOME在音乐制作和AI歌声合成领域有广泛的应用前景:

1. 歌声合成训练数据准备:为DiffSinger等AI歌声合成模型提供精确的MIDI标注。

2. 音乐转写:将人声录音快速转换为MIDI,便于编曲和创作。

3. 歌声分析:通过提取的MIDI序列分析歌手的演唱特点和风格。

4. 音乐教育:帮助学习者可视化和分析自己的演唱。

5. 音乐版权保护:通过MIDI序列比对检测歌曲相似度。

SOME的发展前景

作为一个开源项目,SOME具有巨大的发展潜力:

1. 模型优化:通过更多数据训练和算法改进,进一步提高MIDI提取的准确性。

2. 功能扩展:增加对和声、节奏等更多音乐元素的识别。

3. 插件开发:开发VST插件等,方便在主流DAW中直接使用。

4. 多语言支持:优化对不同语言歌曲的处理能力。

5. 社区生态:鼓励更多开发者参与,形成活跃的开源社区。

结语

SOME作为一款高效、灵活的歌声MIDI提取工具,为音乐创作和AI歌声合成领域带来了新的可能性。它不仅大大提高了MIDI提取的效率,还为个人用户和小型团队提供了可负担的解决方案。随着持续的开发和社区贡献,SOME有望在音乐科技领域发挥越来越重要的作用。

无论你是音乐制作人、AI研究者,还是单纯对音乐技术感兴趣的爱好者,SOME都值得一试。它不仅是一个强大的工具,更是探索音乐与技术结合的绝佳起点。让我们共同期待SOME在未来带来更多惊喜!

🎵🎹🤖

相关链接

• SOME GitHub仓库
• OpenVPI项目主页
• DiffSinger项目