LPCNet

基于WaveRNN的LPCNet算法的低复杂度实现，详见以下论文：

J.-M. Valin, J. Skoglund, LPCNet: 通过线性预测改进神经语音合成，国际声学、语音和信号处理会议论文集（ICASSP），arXiv:1810.11846，2019。
J.-M. Valin, U. Isik, P. Smaragdis, A. Krishnaswamy, 简约方式的神经语音合成：提高LPCNet的效率，ICASSP论文集，arxiv:2106.04129，2022。
K. Subramani, J.-M. Valin, U. Isik, P. Smaragdis, A. Krishnaswamy, 端到端LPCNet：具有完全可微LPC估计的神经声码器，INTERSPEECH论文集，arxiv:2106.04129，2022。

关于LPCNet在编码/PLC应用方面的内容，请参阅：

J.-M. Valin, J. Skoglund, 使用LPCNet实现1.6 kb/s的实时宽带神经声码器，INTERSPEECH论文集，arxiv:1903.12087，2019。
J. Skoglund, J.-M. Valin, 利用神经语音合成改进Opus低比特率质量，INTERSPEECH论文集，arxiv:1905.04628，2020。
J.-M. Valin, A. Mustafa, C. Montgomery, T.B. Terriberry, M. Klingbeil, P. Smaragdis, A. Krishnaswamy, 使用混合生成和预测模型的实时丢包隐藏，INTERSPEECH论文集，arxiv:2205.05785，2022。
J.-M. Valin, J. Büthe, A. Mustafa, 使用速率失真优化变分自编码器进行语音的低比特率冗余编码，ICASSP论文集，arXiv:2212.04453，2023。（博客文章）

简介

这是一个正在进行中的软件项目，旨在通过将线性预测技术应用于WaveRNN来研究低CPU复杂度的语音合成和压缩算法。在具有SIMD支持（目前支持SSE2、SSSE3、AVX、AVX2/FMA、NEON）的普通CPU上（约3 GFLOP）可以合成高质量语音。该代码还支持1.6 kb/s的超低比特率压缩。

这个BSD许可的软件使用C语言和Python/Keras编写。对于训练，建议使用GTX 1080 Ti或更好的显卡。

此软件是基于LPCNet/WaveRNN的语音合成和编码的开源起点。

使用现有软件

您可以使用以下命令构建代码：

./autogen.sh
./configure
make

请注意，autogen.sh脚本用于从Git构建，并将自动下载最新模型（模型太大，无法放入Git）。默认情况下，LPCNet将尝试使用AVX*/Neon上的8位点积指令来加速推理。要禁用此功能（例如，为了避免重新训练时的量化效应），请向configure脚本添加--disable-dot-product。LPCNet在ARMv7架构上尚未完全实现某些整数操作，因此目前在32位ARM上编译时也需要使用--disable-dot-product。

强烈建议在运行configure之前设置CFLAGS环境变量以启用AVX或NEON，否则不会进行矢量化，代码运行速度会非常慢。在最新的x86 CPU上，可以使用类似以下的命令：

export CFLAGS='-Ofast -g -march=native'

在ARM上，可以使用以下命令启用Neon：

export CFLAGS='-Ofast -g -mfpu=neon'

虽然不是严格要求，但-Ofast标志将有助于自动矢量化，特别是对于在没有-ffast-math（由-Ofast启用）的情况下无法优化的点积运算。此外，在x86上使用-falign-loops=32已被证明有帮助。

您可以使用lpcnet_demo应用程序测试LPCNet的功能。要编码文件：

./lpcnet_demo -encode input.pcm compressed.bin

其中input.pcm是以16 kHz采样的16位（机器字节序）PCM文件。原始压缩数据（无头）写入compressed.bin，每40毫秒数据包包含8字节。

要解码：

./lpcnet_demo -decode compressed.bin output.pcm

其中output.pcm也是16位、16 kHz的PCM文件。

或者，您可以使用-features替代-encode，使用-synthesis替代-decode来运行未压缩的分析/合成。同样的功能也以库的形式提供。有关API，请参见include/lpcnet.h。

要尝试丢包隐藏（PLC），首先需要一个PLC模型，可以通过以下方式获取：

./download_model.sh plc-3b1eab4

或（用于PLC挑战提交）：

./download_model.sh plc_challenge

可以使用以下命令测试PLC：

./lpcnet_demo -plc_file noncausal_dc error_pattern.txt input.pcm output.pcm

其中error_pattern.txt是一个文本文件，每个20毫秒数据包对应一个条目，1表示"数据包丢失"，0表示"数据包未丢失"。 noncausal_dc是非因果（5毫秒前瞻）且对DC偏移进行特殊处理的版本。也可以使用"noncausal"、"causal"或"causal_dc"。

训练新模型

此代码库也适用于研究，可以训练新模型。以下是具体步骤：

设置带有GPU的Keras系统。
生成训练数据：
```
./dump_data -train input.s16 features.f32 data.s16
```
其中第一个文件包含16 kHz 16位原始PCM音频（无头），其他文件是输出文件。该程序使用不同的滤波器多次处理数据，以生成大量训练数据。
现在您已经有了文件，使用以下命令进行训练：
```
python3 training_tf2/train_lpcnet.py features.f32 data.s16 model_name
```
它将为每次迭代生成一个h5文件，以model_name作为前缀。如果出现"Failed to allocate RNN reserve space"消息而停止，请尝试为train_lpcnet.py指定更小的--batch-size。

您可以使用Python和GPU卡合成语音（非常慢）：

./dump_data -test test_input.s16 test_features.f32
./training_tf2/test_lpcnet.py lpcnet_model_name.h5 test_features.f32 test.s16

或在CPU上使用C语言（C推理速度更快）：首先提取模型文件nnet_data.h和nnet_data.c
```
./training_tf2/dump_lpcnet.py lpcnet_model_name.h5
```
并将生成的nnet_data.*文件移动到src/目录。然后只需重新构建软件并按上述说明使用lpcnet_demo。