Audacity*的OpenVINO™ AI插件 :metal:

这是一套为Audacity®开发的AI功能插件，包括效果器、生成器和分析器。这些AI功能100%在本地PC上运行:computer:，无需互联网连接！OpenVINO™用于在用户系统上支持的加速器（如CPU、GPU和NPU）上运行AI模型。

• 音乐分离:musical_note: -- 将单声道或立体声轨道分离成单独的音轨 -- 鼓、贝斯、人声和其他乐器。
• 噪音抑制:broom: -- 从音频样本中去除背景噪音。
• 音乐生成与延续:notes: -- 使用MusicGen LLM生成音乐片段，或为现有音乐片段生成延续部分。
• Whisper转录:microphone: -- 使用whisper.cpp为选定的语音或人声音频生成包含转录或翻译的标签轨道。

安装 :floppy_disk:

前往这里查找最新Windows版本的安装包和说明。

构建说明 :hammer:

• Windows构建说明
• Linux构建说明

帮助、反馈与错误报告 🙋‍♂️

欢迎您在这里提交问题，包括：

• 问题
• 错误报告
• 功能请求
• 任何形式的反馈 -- 我们如何改进这个项目？

贡献 :handshake:

无论大小，我们都欢迎并重视您的贡献。欢迎提交拉取请求！

致谢与引用 :pray:

• Audacity®开发团队与Muse Group -- 感谢您们的支持！
• Audacity® GitHub -- https://github.com/audacity/audacity
• Whisper转录与翻译分析器使用whisper.cpp（使用OpenVINO™后端）：https://github.com/ggerganov/whisper.cpp
• 音乐生成与延续使用Meta的MusicGen模型。
  • 我们目前支持MusicGen-Small和MusicGen-Small-Stereo
  • 文本到音乐的管道从Python移植到C++，参考了Hugging Face transformers项目的逻辑：https://github.com/huggingface/transformers
• 音乐分离效果使用Meta的Demucs v4模型（https://github.com/facebookresearch/demucs），已移植以适用于OpenVINO™
• 噪音抑制：
  • noise-suppression-denseunet-ll：来自OpenVINO™的Open Model Zoo：https://github.com/openvinotoolkit/open_model_zoo
  • DeepFilterNet2 & DeepFilterNet3：
    • 从这里移植模型和管道：https://github.com/Rikorose/DeepFilterNet
    • 我们还使用了@grazder的分支（https://github.com/grazder/DeepFilterNet/tree/torchDF-changes）以更好地理解Rust实现，因此我们的C++实现也部分基于这里的```torch_df_offline.py```。
    • 引用：

      @inproceedings{schroeter2022deepfilternet2,
      title = {{DeepFilterNet2}: Towards Real-Time Speech Enhancement on Embedded Devices for Full-Band Audio},
      author = {Schröter, Hendrik and Escalante-B., Alberto N. and Rosenkranz, Tobias and Maier, Andreas},
      booktitle={17th International Workshop on Acoustic Signal Enhancement (IWAENC 2022)},
      year = {2022},
      }
        
      @inproceedings{schroeter2023deepfilternet3,
      title = {{DeepFilterNet}: Perceptually Motivated Real-Time Speech Enhancement},
      author = {Schröter, Hendrik and Rosenkranz, Tobias and Escalante-B., Alberto N. and Maier, Andreas},
      booktitle={INTERSPEECH},
      year = {2023},
      }

• OpenVINO™ Notebooks -- 我们从这套优秀的Python笔记本中学到了很多，并且仍在使用它来学习使用OpenVINO™实现AI管道的最新/最佳实践！