whispering-ui

whispering-ui

多功能实时语音处理开源应用

Whispering Tiger UI是一个开源项目,提供原生用户界面来控制Whispering Tiger应用。它能够处理实时音频流和游戏画面,进行转录和翻译,并通过WebSocket或OSC将结果输出到浏览器或VRChat。核心功能涵盖语音转文字、文本翻译、文字转语音和图像识别。该工具支持插件扩展,界面友好,适合不同经验水平的用户使用。

Whispering Tiger UI语音转写实时翻译AI模型开源工具Github开源项目

<img src=app-icon.png width=90> 细语猛虎界面(实时翻译/转录)

细语猛虎界面是一个可用于控制细语猛虎应用程序的原生界面

细语猛虎是一款免费开源工具,可以监听/观看您计算机上的任何音频流游戏内图像,并通过Websockets或OSC将转录或翻译结果输出到网页浏览器(例如直播覆盖层VRChat)。

ko-fi

<img src=doc/images/speech2text.png width=750 alt="语音转文字标签">

内容

功能

  • Windows平台的原生界面(未来可能支持Linux)
  • 初学者高级用户易于使用
  • 可访问细语猛虎的所有功能,包括:
    • 音频流的转录/翻译
    • 文本翻译
    • 文本转语音
    • 游戏内图像的识别和翻译
    • 通过Websockets或OSC在网页浏览器或VRChat中显示结果
  • 支持回环音频设备,无需额外工具即可捕获PC音频
  • 保存加载配置
  • 预览所选音频设备是否正常工作
  • 支持插件以提供额外功能此处可查看插件列表
    • 实时字幕插件
    • 多种文本转语音插件
    • 情感预测插件
    • 当前播放歌曲插件
    • 字幕导出插件
    • 基于检索的语音转换(RVC)插件
    • 大型语言模型插件
    • 等等...
  • 自动更新细语猛虎的最新版本。

下载

从发布页面下载最新版本

<img src=doc/images/whispering-ui-dl.png width=305 alt="语音转文字标签">

教程

安装

  1. 从[发布页面]下载最新版本后,将其解压到您选择的具有足够可用空间的驱动器上的文件夹中。

    (不要直接从zip文件运行,不要从外部驱动器运行。)

  2. 安装CUDA以实现GPU加速(可选但推荐用于NVIDIA GPU)。

  3. 运行Whispering Tiger.exe文件。

  4. 让它下载细语猛虎的最新版本。(它会询问是否下载平台。)

  5. 下载完成后,您可以创建一个配置文件并开始使用细语猛虎应用程序。

    • 首次启动时,它将开始下载人工智能模型,这可能需要一段时间,具体取决于您选择的模型大小。(目前不显示模型下载状态)

设置

  1. 通过输入名称并点击新建按钮来创建配置文件

  2. Websocket IP + 端口可以保持默认值"127.0.0.1"和"5000"。

    • 这些只有在您想运行多个实例或让后端平台在单独的PC上运行时才有用。
    • 如果您想运行多个实例,需要为每个实例更改端口。
  3. 选择您的音频输入和输出设备。 您可以通过对着麦克风说话并点击测试按钮来测试它们。

    • 说话时应该看到音频输入条移动。点击测试按钮时应该听到测试音频并看到音频输出条移动。

      <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/9305c8c8-0075-4ca6-94a3-c0875235caa1.png" width=710 alt="音频测试">
    • 有关特定音频设置的更多信息,请参阅音频配置(TTS到麦克风、游戏音频翻译等)

      (例如,当您想翻译在PC上播放的游戏、视频或流媒体的音频,而不是使用麦克风作为输入时。)

  4. (可选)使用按键通话 点击字段并按下您想用于按键通话的按键

    (分别按下每个键进行配置。运行配置文件时,使用按键通话时需要同时按下所有键)

  • 要禁用语音自动检测而只使用按键通话,请将"语音音量级别"和"语音停顿检测"设置为0。
  1. 关注右下角的预估内存消耗

    这只是一个粗略估计,可能会有所变化,但它应该能让你了解所选的人工智能模型和选项需要多少(显存)内存。

    <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/70209732-e877-49ae-a88a-3632f706484a.png" width=706 alt="内存消耗估计">
  2. 根据你的硬件选择语音转文字和文本翻译的人工智能设备

    • CUDA(需要NVIDIA GPU)或CPU。
    • CUDA会将人工智能加载到显存中,比CPU更快。
  3. 选择语音转文字大小和文本翻译大小

    • 尺寸越大,转录越准确但也越慢。
    • 尺寸越大,使用的(显存)内存就越多。
    • 注意: 首次启动应用程序时,会自动下载所选尺寸和精度的人工智能模型。
  4. 选择语音转文字精度和文本翻译精度

    • 精度越高,准确性越高,使用的(显存)内存也越多。(但准确性差异几乎可以忽略不计)。
    • 现代GPU对float16有更好的加速。
    • CPU只支持float32int16int8精度。

注意: <br>

  • 你可以调整这些值,直到得到满意的结果。
  • 如果某些功能不工作,请查看高级选项卡下的日志。检查是否有任何错误。
  • 启用将日志写入文件以将日志保存到文件中。

插件设置

  • 直接使用界面安装插件,或者..
  • 手动安装插件。
    • 此处的插件列表中选择你想要的插件。
    • 下载*.py文件并将其放置在插件文件夹中。
    • 重启应用程序。
    • 现在插件应该可以在插件选项卡中使用了。

注意: <br> 大多数插件都有可以在插件选项卡的文本框中配置的特定设置。

另请参阅VoiceVox插件(日语TTS)的示例设置,了解如何设置VoiceVox插件。

特定用法设置

高级功能

额外帮助

如需额外帮助,你可以加入

截图

<img src=doc/images/profile-selection.png width=845 alt="配置文件选择"> <img src=doc/images/speech2text.png width=845 alt="语音转文字选项卡"> <img src=doc/images/text-translate.png width=845 alt="文本翻译选项卡"> <img src=doc/images/text2speech.png width=845 alt="文字转语音选项卡"> <img src=doc/images/ocr.png width=845 alt="光学字符识别(图像转文字)选项卡"> <img src=doc/images/plugins.png width=845 alt="插件选项卡"> <img src=doc/images/settings.png width=845 alt="高级设置选项卡"> <img src=doc/images/about.png width=845 alt="关于信息选项卡">

编辑推荐精选

Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
问小白

问小白

全能AI智能助手,随时解答生活与工作的多样问题

问小白,由元石科技研发的AI智能助手,快速准确地解答各种生活和工作问题,包括但不限于搜索、规划和社交互动,帮助用户在日常生活中提高效率,轻松管理个人事务。

热门AI助手AI对话AI工具聊天机器人
Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等,都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。

讯飞智文

讯飞智文

一键生成PPT和Word,让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级,全面对标OpenAI o1

科大讯飞的星火大模型,支持语言理解、知识问答和文本创作等多功能,适用于多种文件和业务场景,提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台,涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能,能为不同需求的用户提供便捷高效的帮助,助力用户轻松获取信息、解决问题,满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目,由多个知名机构联合参与。该项目提供了高效的 LLM(大语言模型)驱动的语音合成方案,支持语音克隆和语音创建功能,可通过命令行界面(CLI)和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数,生成高质量的语音。该项目适用于多种场景,如有声读物制作、智能语音助手开发等。

咔片PPT

咔片PPT

AI助力,做PPT更简单!

咔片是一款轻量化在线演示设计工具,借助 AI 技术,实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT,提供海量模板、智能美化、素材替换等功能,适用于销售、教师、学生等各类人群,能高效制作出高品质 PPT,满足不同场景演示需求。

讯飞绘文

讯飞绘文

选题、配图、成文,一站式创作,让内容运营更高效

讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
材料星

材料星

专业的AI公文写作平台,公文写作神器

AI 材料星,专业的 AI 公文写作辅助平台,为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能,支持 30 + 文稿类型生成,助力快速完成领导讲话、工作总结、述职报告等材料,提升办公效率,是体制打工人的得力写作神器。

openai-agents-python

openai-agents-python

OpenAI Agents SDK,助力开发者便捷使用 OpenAI 相关功能。

openai-agents-python 是 OpenAI 推出的一款强大 Python SDK,它为开发者提供了与 OpenAI 模型交互的高效工具,支持工具调用、结果处理、追踪等功能,涵盖多种应用场景,如研究助手、财务研究等,能显著提升开发效率,让开发者更轻松地利用 OpenAI 的技术优势。

下拉加载更多