AI-YinMei【AI吟美】

Github星标 <img src="https://github.com/user-attachments/assets/48ed4c9a-e1fe-4846-9887-0842b51e9526" width="700" height="400" > 【:smile:开发文档|:heartpulse:视频教程|:truck:1.8整合包教程|:sparkles:1.7整合包教程】

AI虚拟主播Vtuber研发（N卡版本）
AI名称：吟美
开发者：Winlone
B站频道：程序猿的退休生活
开源代码：https://github.com/worm128/AI-YinMei
AI吟美教程集合：https://www.bilibili.com/read/cv33640951/
Q群：27831318
版本：1.8.1
吟美整合包下载地址： 整合包教程：https://www.bilibili.com/video/BV1zD421H76q 百度网盘群号：930109408 提示：由于百度网盘分享经常被屏蔽，现已切换到百度网盘的群分享，请在"百度网盘->消息"中添加群号，加入群后可在文件列表中下载 功能整合包下载（4个）：人工智能 -> yinmei-all 吟美核心【版本迭代】：人工智能 -> 吟美核心 吟美开发文档：人工智能 -> 吟美开发文档
旧版吟美项目【因集成过多内置第三方项目，已废弃】： https://github.com/worm128/AI-YinMei-backup

技术架构

支持技术

支持fastgpt知识库聊天对话
支持LLM大语言模型的一整套解决方案：[fastgpt] + [one-api] + [Xinference]
支持对接bilibili直播间弹幕回复和进入直播间欢迎语
支持微软edge-tts语音合成
支持Bert-VITS2语音合成
支持GPT-SoVITS语音合成
支持表情控制Vtuber Studio
支持绘画stable-diffusion-webui输出OBS直播间
支持绘画图片鉴黄public-NSFW-y-distinguish
支持搜索和搜图服务duckduckgo（需要魔法上网）
支持搜图服务baidu搜图（不需要魔法上网）
支持AI回复聊天框【html插件】
支持AI唱歌Auto-Convert-Music
支持歌单【html插件】
支持跳舞功能
支持表情视频播放
支持摸摸头动作
支持砸礼物动作
支持唱歌自动启动伴舞功能
聊天和唱歌自动循环摇摆动作
支持多场景切换、背景音乐切换、白天黑夜自动切换场景
支持开放性唱歌和绘画，让AI自动判断内容
支持流式聊天，提速LLM回复与语音合成
对接bilibili开放平台弹幕【稳定性高】
支持funasr阿里语音识别系统
增加点赞、送礼物、欢迎词等触发事件
AI吟美桌宠【关注B站"程序猿的退休生活"，回复181获取下载链接】

吟美直播间功能说明

1、聊天功能： 1.1 设定了名字、性格、语气和嘲讽能力的AI，能与粉丝互怼，还录入了老粉丝的信息记录，以便更好地识别老粉丝的行为进行互怼。 1.2 多重性格：吟美有善解人意的女仆和凶残怼人的大小姐性格，能根据不同场景自行判断切换。
2、唱歌功能： 2.1 输入"唱歌+歌曲名称"，吟美会学习并演唱该歌曲。你也可以输入类似"吟美给我推荐一首最好听的动漫歌曲"这样的开放性话题，让吟美智能选择歌曲演唱。 2.2 想切歌请输入"切歌"指令，会跳过当前歌曲，直接唱下一首。
3、绘画功能： 3.1 输入"画画+图画标题"，吟美会根据你的绘画提示词实时作画。 3.2 你也可以输入类似"吟美给我画一幅最丑的小龟蛋"这样的开放性话题，让吟美智能生成绘画提示词并作画。
4、跳舞功能： 4.1 输入"跳舞+舞蹈名称"，可选舞蹈如下：书记舞、科目三、女团舞、社会摇呱呱舞、马保国、二次元、涩涩蔡徐坤、江南style、Chipi、吟美直接输入"跳舞"两个字则随机跳舞 4.2 想停止跳舞请输入"停止跳舞"
5、表情功能：输入"表情+名称"，"表情+随机"为随机表情，表情需自行猜测，如"哭、笑、吐舌头"等。
6、场景切换功能： 6.1 输入"切换+场景名称"：粉色房间、神社、海岸花坊、花房、清晨房间 6.2 系统会根据时间智能判定并进行早晚场景切换
7、换装功能：输入"换装+衣服名称"：便衣、爱的翅膀、青春猫娘、眼镜猫娘
8、搜图功能：输入"搜图+关键字"
9、搜索资讯功能：输入"搜索+关键字"
智能辅助： 1、显示歌单列表 2、显示AI回复文字框 3、提示AI动作状态 4、智能识别唱歌和绘画 5、说话、唱歌时循环随机摇摆动作 6、随心情值增加或当前聊天关键字，智能判断是否输出日语 7、绘画提示词对接C站，丰富绘画内容 8、智能判断是否需要唱歌、画画 9、根据关键字进行场景切换 10、funasr语音识别客户端

应用模块

Ai-YinMei：AI吟美核心
stable-diffusion-webui：绘画模块
public-NSFW-y-distinguish：鉴黄模块
gpt-SoVITS：语音合成模块
Auto-Convert-Music：唱歌模块
fastgpt + one-api + Xinference：聊天模块
funasr-html-client：语音识别客户端

软件下载

整合包教程：https://www.bilibili.com/video/BV1zD421H76q 百度网盘群号：930109408 功能整合包下载(4个)：人工智能 -> yinmei-all 吟美核心【版本迭代】：人工智能 -> 吟美核心吟美开发文档：人工智能 -> 吟美开发文档

语音播放器mpv：用于语音播放和音乐播放在百度网盘->人工智能->软件->mpv.exe 注意：项目根目录需放置两个播放器，分别是：mpv.exe【播放语音】、song.exe【播放音乐】
虚拟声卡：用于虚拟人物口型输出音频在百度网盘->人工智能->软件->虚拟声卡 Virtual Audio Cable v4.10 破解版
ffmpeg：音频解码器，用于语音合成在百度网盘->人工智能->软件->ffmpeg
mongodb连接工具-NoSQLBooster for MongoDB 人工智能->软件->nosqlbooster4mongo-8.1.7.exe
fastgpt的docker-compose配置人工智能->软件->docker知识库

运行环境

Python 3.11.6

启动方式

注意：更详细的启动方法，请参考 :fire:整合包说明文档 :truck:1.8整合包教程

1、吟美核心(必选)

下载整合包双击执行start.bat 整合包说明文档

2、聊天服务（可选）

2-1、【fastgpt】+【one-api】+【Xinference】（推荐）

fastgpt：https://github.com/labring/FastGPT one-api：https://github.com/songquanpeng/one-api Xinference：https://github.com/xorbitsai/inference 启动：使用Windows WSL的docker启动，启动流程参见教程文档第23点 教程视频：https://www.bilibili.com/video/BV1SH4y1J7Wy/

2-2、text-generation-webui

项目GitHub：https://github.com/oobabooga/text-generation-webui

#进入虚拟环境
& 盘符:py虚拟空间路径/Scripts/Activate.ps1
#安装py包
pip install -r requirements.txt
#启动text-generation-webui程序，start.bat是我自定义的Windows启动脚本
./start.bat

Windows的bat启动命令：

python server.py --trust-remote-code --listen-host 0.0.0.0 --listen-port 7866 --listen --api --api-port 5000 --model chatglm2-6b --load-in-8bit --bf16

API访问：http://127.0.0.1:5000/

3、语音合成（必选）

3-1、Bert-VITS2

项目地址：https://github.com/fishaudio/Bert-VITS2 启动：使用Bert-VITS2-clap-novq-ui中的start.bat启动 定制页面：hiyoriUI.py包含中英日混合语音合成方法，需放入对应项目，不一定兼容 效果：AI与用户的语音互动，包括：聊天、绘画提示、唱歌提示、跳舞提示等

3-2、gtp-sovits（推荐）

项目地址：https://github.com/fishaudio/Bert-VITS2 效果：AI与用户的语音互动，包括：聊天、绘画提示、唱歌提示、跳舞提示等

百度网盘群号：930109408
提示：因百度网盘分享经常被屏蔽，现已切换至百度网盘群分享。请在"百度网盘->消息"中添加群号，加入群后可在文件列表中下载
双击执行start.bat

整合包说明文档

3-3、edge-tts（吟美自带）

edge无需另外安装语音合成服务

4、绘画服务（可选）

stable-diffusion-webui项目 项目地址：https://github.com/AUTOMATIC1111/stable-diffusion-webui 效果：输入"画画 xxx"，触发AI使用stable-diffusion进行绘图

百度网盘群号：930109408
提示：因百度网盘分享经常被屏蔽，现已切换至百度网盘群分享。请在"百度网盘->消息"中添加群号，加入群后可在文件列表中下载
双击执行start.bat

整合包说明文档

5、鉴黄服务（可选）

public-NSFW-y-distinguish项目 项目地址：https://github.com/fd-freedom/public-NSFW-y-distinguish

百度网盘群号：930109408<br>
提示：因百度网盘分享经常被屏蔽，现已切换至百度网盘群分享。请在"百度网盘->消息"中添加群号，加入群后可在文件列表中下载<br>
双击执行start.bat <br>

整合包说明文档

6、唱歌服务（可选）

Auto-Convert-Music项目 原创开发者：木白 Mu_Bai、宫园薰ヾ(≧∪≦*)ノ〃 项目地址：https://github.com/MuBai-He/Auto-Convert-Music 启动：使用Auto-Convert-Music中的start.bat启动 效果：输入"唱歌歌曲名称"，触发AI从歌库学习唱歌

7、皮肤（必选）

皮肤启动，安装steam，安装VTube Studio 请自行下载steam平台，平台内有VTube Studio软件，用于启动live2D虚拟主播皮肤

8、虚拟声卡驱动（必选）

8-1、安装虚拟声卡：虚拟声卡驱动（Virtual Audio Cable）4.66官方版

效果：AI主播的发声来源

百度网盘群号：930109408
加群下载软件

8-2、Voicemeeter虚拟声卡：

下载banana版本即可【注意：主板需安装声卡驱动，否则虚拟声卡通道可能失效】：

百度网盘群号：930109408
加群下载软件

9、AI回复框【HTML插件】（可选）

将项目文件：ai-yinmei\html\chatui.html放入OBS浏览器插件展示 效果：AI的回复内容会在回复插件中显示

10、歌单显示【HTML插件】（可选）

将项目文件：ai-yinmei\html\songlist.html放入OBS浏览器插件展示 效果：用户点歌的歌单会以列表形式显示： 'xxx用户'点播《歌曲名称》[正在播放] 'xxx用户2'点播《歌曲名称》

11、时间显示【HTML插件】（可选）

将项目文件 ai-yinmei\html\time.html 放入 OBS 浏览器插件显示 整合包说明文档

12、跳舞能力（可选）

跳舞视频存放地址【支持子文件夹存放】：dance_path = 'J:\ai\跳舞视频\横屏' 效果：输入"跳舞"，立即随机播放跳舞视频；输入"\停止跳舞"，可以立即停止跳舞

13、弹出视频表情（可选）

表情视频存放地址【支持子文件夹存放】：emote_path = 'H:\人工智能\ai\跳舞视频\表情' 效果：输入"表情随机"或具体表情名称，立即播放表情视频，"表情随机"为随机播放表情视频 表情视频名称显示【支持子文件夹存放】：emote_font = 'H:\人工智能\ai\跳舞视频\表情\表情符号' 效果：表情名称会显示在 OBS 的字体控件中，提示用户可以输入这些表情名称

14、funasr语音识别客户端（可选）

吟美定制 funasr 插件：./funasr/index.html 服务端：需要根据阿里 funasr进行配置，建议安装容器，参考服务器部署文档：

服务端启动：

docker run -p 10095:10095 --name funasr -it --privileged=true -v /j/ai/ai-code/funasr/models:/workspace/models registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-online-cpu-0.1.9

目录说明

func： 吟美功能类库，所有功能源代码在这里
runtime： 整合包专有的 Python 运行类库
html： html 插件，包含歌单列表、流式回复框、彩色回复框、功能说明框等
background： 背景图，可以在 OBS 软件中自行添加背景图
porn： 存放鉴黄图片、绘画图片、搜图
output： 语音合成中转目录，还有歌曲、伴奏保存目录
logs： 日志输出目录
config： OBS 配置、fastgpt 配置，可供参考
api.py： 接口启动主要文件
config.yml： 所有配置文件
mpv.exe： 语音聊天播放器，输出设备设置：设置 Voicemeeter 第二个虚拟通道
song.exe： 人声唱歌播放器，输出设备设置：设置 Voicemeeter 第二个虚拟通道 <img src="https://github.com/user-attachments/assets/560f0563-5915-4f5d-b5c3-b34cb0c4c0c9" width="700">
accompany.exe： 伴奏唱歌播放器，输出设备设置：设置 Voicemeeter 第一个虚拟通道 <img src="https://github.com/user-attachments/assets/df1cc21b-d5b8-434f-ba50-115224869445" width="700">
Voicemeeter 虚拟声卡官网： 下载 banana 版本即可【注意：您的主板需要安装声卡驱动，否则虚拟声卡通道可能失效】：

特别鸣谢

唱歌变声：Auto-Convert-Music 开发者：木白 Mu_Bai、宫园薰ヾ(≧∪≦*)ノ〃 项目地址：https://github.com/MuBai-He/Auto-Convert-Music
GPT-SoVITS：花儿不哭大佬开发的 TTS 语音合成 https://github.com/RVC-Boss/GPT-SoVITS
Bert-VITS2：TTS 语音合成，合成速度超快 https://github.com/fishaudio/Bert-VITS2
知识库：fastgpt 项目地址：https://github.com/labring/FastGPT
大语言模型框架：one-api + Xinference 项目地址：https://github.com/songquanpeng/one-api 项目地址：https://github.com/xorbitsai/inference
LLM 模型：ChatGLM https://github.com/THUDM/ChatGLM2-6B
聚合 LLM 调用模型：text-generation-webui https://github.com/oobabooga/text-generation-webui
AI 虚拟主播模型：B 站的·领航员未鸟· https://github.com/AliceNavigator/AI-Vtuber-chatglm
AI 训练模型：LLaMA-Factory https://github.com/hiyouga/LLaMA-Factory
MPV 播放器：MPV https://github.com/mpv-player/mpv
语音识别系统：FunASR https://github.com/alibaba-damo-academy/FunASR/
其他： Lora 训练：https://github.com/yuanzhoulvpi2017/zero_nlp ChatGLM 训练：https://github.com/hiyouga/ChatGLM-Efficient-Tuning SillyTavern 酒馆：https://github.com/SillyTavern/SillyTavern LoRA 中文训练：https://github.com/super-wuliao/LoRA-ChatGLM-Chinese-Alpaca 数据集-训练语料：https://github.com/codemayq/chinese-chatbot-corpus

捐赠基金

捐赠名单：https://docs.qq.com/sheet/DWUZPUlRrT1BXTXBk 扫描二维码捐赠 <img src="https://github.com/user-attachments/assets/ba090305-37f8-46b6-8057-a07af82bee60" style="width: 250px;">