whispering-ui

whispering-ui

多功能实时语音处理开源应用

Whispering Tiger UI是一个开源项目,提供原生用户界面来控制Whispering Tiger应用。它能够处理实时音频流和游戏画面,进行转录和翻译,并通过WebSocket或OSC将结果输出到浏览器或VRChat。核心功能涵盖语音转文字、文本翻译、文字转语音和图像识别。该工具支持插件扩展,界面友好,适合不同经验水平的用户使用。

Whispering Tiger UI语音转写实时翻译AI模型开源工具Github开源项目

<img src=app-icon.png width=90> 细语猛虎界面(实时翻译/转录)

细语猛虎界面是一个可用于控制细语猛虎应用程序的原生界面

细语猛虎是一款免费开源工具,可以监听/观看您计算机上的任何音频流游戏内图像,并通过Websockets或OSC将转录或翻译结果输出到网页浏览器(例如直播覆盖层VRChat)。

ko-fi

<img src=doc/images/speech2text.png width=750 alt="语音转文字标签">

内容

功能

  • Windows平台的原生界面(未来可能支持Linux)
  • 初学者高级用户易于使用
  • 可访问细语猛虎的所有功能,包括:
    • 音频流的转录/翻译
    • 文本翻译
    • 文本转语音
    • 游戏内图像的识别和翻译
    • 通过Websockets或OSC在网页浏览器或VRChat中显示结果
  • 支持回环音频设备,无需额外工具即可捕获PC音频
  • 保存加载配置
  • 预览所选音频设备是否正常工作
  • 支持插件以提供额外功能此处可查看插件列表
    • 实时字幕插件
    • 多种文本转语音插件
    • 情感预测插件
    • 当前播放歌曲插件
    • 字幕导出插件
    • 基于检索的语音转换(RVC)插件
    • 大型语言模型插件
    • 等等...
  • 自动更新细语猛虎的最新版本。

下载

从发布页面下载最新版本

<img src=doc/images/whispering-ui-dl.png width=305 alt="语音转文字标签">

教程

安装

  1. 从[发布页面]下载最新版本后,将其解压到您选择的具有足够可用空间的驱动器上的文件夹中。

    (不要直接从zip文件运行,不要从外部驱动器运行。)

  2. 安装CUDA以实现GPU加速(可选但推荐用于NVIDIA GPU)。

  3. 运行Whispering Tiger.exe文件。

  4. 让它下载细语猛虎的最新版本。(它会询问是否下载平台。)

  5. 下载完成后,您可以创建一个配置文件并开始使用细语猛虎应用程序。

    • 首次启动时,它将开始下载人工智能模型,这可能需要一段时间,具体取决于您选择的模型大小。(目前不显示模型下载状态)

设置

  1. 通过输入名称并点击新建按钮来创建配置文件

  2. Websocket IP + 端口可以保持默认值"127.0.0.1"和"5000"。

    • 这些只有在您想运行多个实例或让后端平台在单独的PC上运行时才有用。
    • 如果您想运行多个实例,需要为每个实例更改端口。
  3. 选择您的音频输入和输出设备。 您可以通过对着麦克风说话并点击测试按钮来测试它们。

    • 说话时应该看到音频输入条移动。点击测试按钮时应该听到测试音频并看到音频输出条移动。

      <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/9305c8c8-0075-4ca6-94a3-c0875235caa1.png" width=710 alt="音频测试">
    • 有关特定音频设置的更多信息,请参阅音频配置(TTS到麦克风、游戏音频翻译等)

      (例如,当您想翻译在PC上播放的游戏、视频或流媒体的音频,而不是使用麦克风作为输入时。)

  4. (可选)使用按键通话 点击字段并按下您想用于按键通话的按键

    (分别按下每个键进行配置。运行配置文件时,使用按键通话时需要同时按下所有键)

  • 要禁用语音自动检测而只使用按键通话,请将"语音音量级别"和"语音停顿检测"设置为0。
  1. 关注右下角的预估内存消耗

    这只是一个粗略估计,可能会有所变化,但它应该能让你了解所选的人工智能模型和选项需要多少(显存)内存。

    <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/70209732-e877-49ae-a88a-3632f706484a.png" width=706 alt="内存消耗估计">
  2. 根据你的硬件选择语音转文字和文本翻译的人工智能设备

    • CUDA(需要NVIDIA GPU)或CPU。
    • CUDA会将人工智能加载到显存中,比CPU更快。
  3. 选择语音转文字大小和文本翻译大小

    • 尺寸越大,转录越准确但也越慢。
    • 尺寸越大,使用的(显存)内存就越多。
    • 注意: 首次启动应用程序时,会自动下载所选尺寸和精度的人工智能模型。
  4. 选择语音转文字精度和文本翻译精度

    • 精度越高,准确性越高,使用的(显存)内存也越多。(但准确性差异几乎可以忽略不计)。
    • 现代GPU对float16有更好的加速。
    • CPU只支持float32int16int8精度。

注意: <br>

  • 你可以调整这些值,直到得到满意的结果。
  • 如果某些功能不工作,请查看高级选项卡下的日志。检查是否有任何错误。
  • 启用将日志写入文件以将日志保存到文件中。

插件设置

  • 直接使用界面安装插件,或者..
  • 手动安装插件。
    • 此处的插件列表中选择你想要的插件。
    • 下载*.py文件并将其放置在插件文件夹中。
    • 重启应用程序。
    • 现在插件应该可以在插件选项卡中使用了。

注意: <br> 大多数插件都有可以在插件选项卡的文本框中配置的特定设置。

另请参阅VoiceVox插件(日语TTS)的示例设置,了解如何设置VoiceVox插件。

特定用法设置

高级功能

额外帮助

如需额外帮助,你可以加入

截图

<img src=doc/images/profile-selection.png width=845 alt="配置文件选择"> <img src=doc/images/speech2text.png width=845 alt="语音转文字选项卡"> <img src=doc/images/text-translate.png width=845 alt="文本翻译选项卡"> <img src=doc/images/text2speech.png width=845 alt="文字转语音选项卡"> <img src=doc/images/ocr.png width=845 alt="光学字符识别(图像转文字)选项卡"> <img src=doc/images/plugins.png width=845 alt="插件选项卡"> <img src=doc/images/settings.png width=845 alt="高级设置选项卡"> <img src=doc/images/about.png width=845 alt="关于信息选项卡">

编辑推荐精选

博思AIPPT

博思AIPPT

AI一键生成PPT,就用博思AIPPT!

博思AIPPT,新一代的AI生成PPT平台,支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等,内置海量精美PPT模板,涵盖商务、教育、科技等不同风格,同时针对每个页面提供多种版式,一键自适应切换,完美适配各种办公场景。

AI办公办公工具AI工具博思AIPPTAI生成PPT智能排版海量精品模板AI创作热门
潮际好麦

潮际好麦

AI赋能电商视觉革命,一站式智能商拍平台

潮际好麦深耕服装行业,是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌,以及国内10万+淘宝、天猫、京东等主流平台的品牌商家,为卖家节省将近85%的出图成本,提升约3倍出图效率,让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌,基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构,帮助企业扫清合规障碍,筑牢风控防线,成为您企业专属的AI法律顾问。

SimilarWeb流量提升

SimilarWeb流量提升

稳定高效的流量提升解决方案,助力品牌曝光

稳定高效的流量提升解决方案,助力品牌曝光

Sora2视频免费生成

Sora2视频免费生成

最新版Sora2模型免费使用,一键生成无水印视频

最新版Sora2模型免费使用,一键生成无水印视频

Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等,都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。

讯飞绘文

讯飞绘文

选题、配图、成文,一站式创作,让内容运营更高效

讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
TRAE编程

TRAE编程

AI辅助编程,代码自动修复

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
商汤小浣熊

商汤小浣熊

最强AI数据分析助手

小浣熊家族Raccoon,您的AI智能助手,致力于通过先进的人工智能技术,为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答,小浣熊都能以快速、准确的响应满足您的需求,让您的生活更加智能便捷。

imini AI

imini AI

像人一样思考的AI智能体

imini 是一款超级AI智能体,能根据人类指令,自主思考、自主完成、并且交付结果的AI智能体。

下拉加载更多