WeKws

路线图 | 论文

生产优先和生产就绪的端到端关键词检测工具包。

该工具包的目标是...

小型关键词检测（KWS），或特别是唤醒词（WuW）检测是物联网（IoT）设备中的一个典型且重要的模块。它为用户提供了一种免提方式来控制IoT设备。WuW检测系统通常在IoT设备上本地持续运行，这就要求低功耗、较少的模型参数、低计算复杂度，并能以流式方式检测预定义的关键词，即要求低延迟。

典型场景

我们将支持以下典型的唤醒词应用：

• 单一唤醒词
• 多个唤醒词
• 可定制唤醒词
• 个性化唤醒词，即唤醒词检测和声纹的结合

安装

• 克隆仓库

git clone https://github.com/wenet-e2e/wekws.git

• 安装Conda：请参见 https://docs.conda.io/en/latest/miniconda.html
• 创建Conda环境：

conda create -n wekws python=3.8
conda activate wekws
pip install -r requirements.txt
conda install pytorch=1.10.0 torchaudio=0.10.0 cudatoolkit=11.1 -c pytorch -c conda-forge

数据集

我们计划支持多种开源唤醒词数据集，包括但不限于：

• Hey Snips
• Google Speech Command
• 你好米雅
• 你好小问

所有在这些数据集上训练良好的模型都将公开可用。

运行环境

我们计划支持多种硬件和平台，包括：

• 网页浏览器
• x86
• Android
• 树莓派

讨论

对于中国用户，您可以扫描左侧二维码关注我们的WeNet官方账号。 我们还创建了一个微信群，以便更好地讨论和更快地回应。 请扫描右侧二维码加入聊天群。

参考文献

• 挖掘关键词检测的有效负样本 (github, 论文)
• 用于小型关键词检测的长短期记忆网络的最大池化损失训练 (论文)
• 用于嵌入式系统的深度可分离卷积神经网络关键词检测 (github, 论文)
• Hello Edge：微控制器上的关键词检测 (github, 论文)
• 通用卷积和循环网络用于序列建模的实证评估 (github, 论文)