聆听、思考和理解

简介
引用
OpenAQA (LTU) 和 OpenASQA (LTU-AS) 数据集
- OpenAQA (LTU)
- OpenASQA (LTU-AS)
设置虚拟环境
推理
微调LTU和LTU-AS
- 使用示例数据微调LTU/LTU-AS模型
- 使用您自己的数据微调LTU/LTU-AS模型
复现LTU和LTU-AS训练
预训练模型
重要代码
所需计算资源
镜像链接

简介

本仓库包含LTU和LTU-AS的官方实现（基于PyTorch）、预训练检查点和数据集。 LTU和LTU-AS是首批连接音频/语音感知与理解的音频和语音大语言模型。它们不仅在多个封闭式音频和语音任务上达到了最先进水平，还能根据给定的音频回答任何开放式问题。请尝试交互式演示以体验它们的强大功能！

[LTU交互式演示]

[LTU-AS交互式演示]

引用

LTU（第一代，仅支持音频）：

LTU已被ICLR 2024接收。维也纳见！

[论文] [HuggingFace Space] [ICLR同行评审]

作者： Yuan Gong、Hongyin Luo、Alexander H. Liu、Leonid Karlinsky和James Glass（麻省理工学院和麻省理工学院-IBM沃森人工智能实验室）

@article{gong2023listen,
  title={Listen, Think, and Understand},
  author={Gong, Yuan and Luo, Hongyin and Liu, Alexander H and Karlinsky, Leonid and Glass, James},
  journal={arXiv preprint arXiv:2305.10790},
  year={2023}
}

LTU-AS（第二代，支持语音和音频）：

LTU-AS已被ASRU 2023接收（前3%论文）。台北见！

[论文] [HuggingFace Space] [ASRU同行评审]

作者： Yuan Gong、Alexander H. Liu、Hongyin Luo、Leonid Karlinsky和James Glass（麻省理工学院和麻省理工学院-IBM沃森人工智能实验室）

@inproceedings{gong_ltuas,
  title={Joint Audio and Speech Understanding},
  author={Gong, Yuan and Liu, Alexander H and Luo, Hongyin, and Karlinsky, Leonid and Glass, James},
  year={2023},
  booktitle={2023 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)},
}

OpenAQA (LTU) 和 OpenASQA (LTU-AS) 数据集

我们发布了LTU（OpenAQA）和LTU-AS（OpenASQA）的训练数据。具体来说，我们发布了（问题，答案，音频ID）元组。实际的音频文件来自现有的公开数据集，需要用户自行下载。我们提供完整数据集（包括所有AQA）以及细分（封闭式和开放式子集、每个原始数据集的子集等）。所有链接托管在Dropbox上，支持wget。

LTU (OpenAQA)

示例集（包含原始音频文件，仅供测试用途）：

LTU：[元数据] [音频]

OpenAQA训练（仅音频数据集，共5.6M AQA）：

完整数据集（2.3GB）：[下载]

细分子集：[下载]

LTU评估数据： [下载]

LTU-AS (OpenASQA)

示例集（包含原始音频文件，仅供测试用途）：

LTU-AS：[元数据] [音频和Whisper特征]

OpenASQA训练（音频和语音数据集，共10.2M AQA）：

完整数据集（4.6GB）：[下载]

细分子集：[下载]

LTU-AS评估数据： [下载]

准备音频文件时，请确保所有音频文件使用相同的16kHz采样率。

数据集的格式是一个包含字典列表的JSON文件，格式如下：

[
 {
  "instruction": "这段音频中哭声的意义是什么？", % 问题
  "input": "我太难过了...", % 语音内容
  "audio_id": "/data/sls/audioset/dave_version/audio/LZq4Neh-oWU.flac", % 音频ID
  "dataset": "as_strong_train", % 原始数据集（可选）
  "task": "开放式问题", % 问题类型（可选）
  "output": "哭声表明音频中正在发生一个悲伤或情绪化的场景。" % 答案
 },
  ...
]

设置虚拟环境

对于几乎所有用途，您都需要设置一个虚拟环境。请注意，LTU和LTU-AS需要不同的环境。它们的hf-dev和peft-main是不同的。请不要混用LTU和LTU-AS的虚拟环境。

将此仓库克隆或下载为ltu-main，然后，

对于LTU：

cd /ltu-main/src/ltu
conda create --name venv_ltu python=3.10
conda activate venv_ltu
pip install -r requirements.txt
# 安装自定义的hugging face transformer，原版transformer无法使用
pip install -e hf-dev/transformers-main
# 安装自定义的hugging face peft，原版peft无法使用
pip install -e peft-main

对于LTU-AS:

cd /ltu-main/src/ltu_as
conda create --name venv_ltu_as python=3.10
conda activate venv_ltu_as
pip install -r requirements.txt
# 安装自定义的hugging face transformer，原版transformer无法使用
pip install -e hf-dev/transformers-main
# 安装自定义的hugging face peft，原版peft无法使用
pip install -e peft-main/
# 安装自定义的openai-whisper，原版whisper无法使用
pip install -e whisper/

推理

我们提供三种推理选项。

选项1. 通过HuggingFace Space进行推理（无需代码）

[LTU交互式演示]

[LTU-AS交互式演示]

选项2. 使用API进行推理（无需GPU）

API支持通过简单的for循环进行批量推理。

!pip install gradio_client

对于LTU:

from gradio_client import Client

client = Client("https://yuangongfdu-ltu.hf.space/")
result = client.predict(
      "path_to_your_wav/audio.wav",  # 你的16K音频文件
      "从音频中可以推断出什么？",    # 你的问题
      api_name="/predict"
)
print(result)

对于LTU-AS:

# 对于LTU-AS
from gradio_client import Client

client = Client("https://yuangongfdu-ltu-2.hf.space/")
result = client.predict(
            "path_to_your_wav/audio.wav",  # 你的16K音频文件
            "",
            "从音频中可以推断出什么？",    # 你的问题
            "7B (默认)",    # 'LLM size'单选组件中的字符串
            api_name="/predict"
)
print(result)

选项3. 本地推理

对于有兴趣进行训练/微调的用户，我们建议先从运行推理开始。这有助于调试。 bash脚本会自动下载默认的LTU/LTU-AS模型，你不需要自己下载。 inference_gradio.py可以在CPU或GPU上运行。

对于LTU：

conda activate venv_ltu
cd ltu-main/src/ltu
chmod 777 *
./inference.sh

脚本可能会输出一些可以忽略的警告。脚本完成后，它将提供一个用于推理的gradio链接，可以在任何机器的浏览器上运行。你也可以修改脚本在本地终端上运行。

我们还提供了批量推理脚本inference_batch.py。

对于LTU-AS：

conda activate venv_ltu_as
cd ltu-main/src/ltu_as
chmod 777 *
./inference.sh

脚本可能会输出一些可以忽略的警告。脚本完成后，它将提供一个用于推理的gradio链接，可以在任何机器的浏览器上运行。

我们还提供了批量推理脚本inference_batch.py，注意这个脚本加载预先提取的whisper特征，而不是原始WAV文件。如果你想使用原始音频文件，请使用inference_gradio.py。关于如何提取whisper特征，请参见[这里]。

*LTU-AS的GPU问题：我们发现Open-AI whisper特征在不同GPU上是不同的，这会影响LTU-AS的性能，因为它以Whisper特征作为输入。在论文中，我们始终使用旧GPU（Titan-X）生成的特征。但我们确实发布了一个使用较新GPU（A5000/A6000）生成的特征的检查点，如果你在旧/新GPU上运行，请手动切换检查点（默认情况下，此代码使用新GPU特征）。训练和推理GPU的不匹配不会完全破坏模型，但会导致性能下降。

微调LTU和LTU-AS

使用玩具数据微调LTU/LTU-AS模型

由于版权原因，我们不提供OpenAQA和OpenASQA的原始音频文件。但是，为了便于复现，我们提供了一小部分样本集（玩具集）的音频文件和Whisper音频特征。具体来说，我们提供了一个非常简单、几乎一键式的脚本来微调模型。一旦成功，你可以将玩具数据更改为你自己的数据。

对于两个脚本：

你不需要下载玩具数据，prep_train.sh会为你完成这个工作。
你不需要下载预训练模型，prep_train.sh会下载默认的预训练模型。但是，你可以在finetune_toy.sh中更改要使用的预训练模型。

对于LTU：

conda activate venv_ltu
# 这个路径很重要，许多代码需要相对路径
cd ltu-main/src/ltu/train_script
# 允许脚本可执行
chmod 777 *
# 准备玩具数据和预训练模型
./prep_train.sh
# 在数据上运行微调
./finetune_toy.sh
# 对于内存小于48GB的（多个）GPU使用，速度较慢
#./finetune_toy_low_resource.sh

你应该得到类似这样的输出：

trainable params: 93065216 || all params: 6831480832 || trainable%: 1.3622993065290356
Map: 100%|███████████████████████████████████████████████████████████████████████████████████████████████| 6306/6306 [00:02<00:00, 2626.08 examples/s]
{'loss': 0.6383, 'learning_rate': 1e-05, 'epoch': 0.41}                                                                                               
{'loss': 0.6052, 'learning_rate': 2e-05, 'epoch': 0.81}                                                                                               
{'train_runtime': 142.0142, 'train_samples_per_second': 44.404, 'train_steps_per_second': 0.169, 'train_loss': 0.6136090755462646, 'epoch': 0.97}

对于LTU-AS：

conda activate venv_ltu_as
# 这个路径很重要，许多代码需要相对路径
cd ltu-main/src/ltu_as/train_script
# 允许脚本可执行
chmod 777 *
# 准备玩具数据和预训练模型
./prep_train.sh
# 在数据上运行微调
./finetune_toy.sh
# 对于内存小于48GB的（多个）GPU使用，速度较慢
#./finetune_toy_low_resource.sh

你应该得到类似这样的输出：

trainable params: 48793600 || all params: 6787209216 || trainable%: 0.718905200166442
Map: 100%|███████████████████████████████████████████████████████████████████████████████████████████████| 8769/8769 [00:04<00:00, 2088.17 examples/s]
{'loss': 0.6029, 'learning_rate': 2e-05, 'epoch': 0.29}                                                                                               
{'loss': 0.5805, 'learning_rate': 4e-05, 'epoch': 0.58}                                                                                               
{'loss': 0.5397, 'learning_rate': 6e-05, 'epoch': 0.87}                                                                                               
{'train_runtime': 175.7491, 'train_samples_per_second': 49.895, 'train_steps_per_second': 0.193, 'train_loss': 0.5713561913546394, 'epoch': 0.99}

使用你自己的数据微调LTU/LTU-AS模型

对于LTU，很简单，你只需要在finetune_toy.sh中将--data_path '../../../openaqa/data/openaqa_toy_relative.json'替换为你自己的数据。注意请确保你自己的音频是16kHz的，建议使用绝对路径，我们使用相对路径只是为了简单的一键示例。

对于LTU-AS，稍微复杂一些，我们的脚本不加载原始音频，而是预先提取的Whisper特征，所以你还需要先为自己的音频提取Whisper特征，然后更改HF transformer包中的代码，指向你的Whisper特征目录（基本上需要更改[这些代码行]）。关于如何提取whisper特征，请参见[这里]。

复现LTU和LTU-AS训练

我们建议你先尝试用玩具数据进行微调，然后再做这个。

这与微调类似，区别在于LTU和LTU-AS训练都有多阶段课程，所以你需要从第1阶段开始，然后是第2阶段，... 对于第2阶段，你需要将--base_model 'your_path_to_mdl/pytorch_model.bin'更改为第1阶段训练的模型检查点。依此类推。 对于LTU:

conda activate venv_ltu
# 这个路径很重要，许多代码需要相对路径
cd ltu/src/ltu/train_script
# 允许脚本可执行
chmod 777 *
# 准备数据和预训练模型
./prep_train.sh
# 对数据进行微调
./stage1_proj_cla.sh
./stage2_all_cla.sh # 需要指定第1阶段训练的检查点
./stage3_all_close.sh # 需要指定第2阶段训练的检查点
./stage4_all_mix.sh # 需要指定第3阶段训练的检查点

对于LTU-AS:

conda activate venv_ltu_as
# 这个路径很重要，许多代码需要相对路径
cd ltu/src/ltu_as/train_script
# 允许脚本可执行
chmod 777 *
# 准备数据和预训练模型
./prep_train.sh
# 对数据进行微调
./finetune_toy.sh
./stage1_proj_cla.sh
./stage2_all_cla.sh # 需要指定第1阶段训练的检查点
./stage4_all_mix_v2.sh # 需要指定第2阶段训练的检查点

预训练模型

对于上述大多数应用，我们的脚本会处理模型下载（因此您无需自行下载），但我们确实提供了更多检查点。

论文中提到的其他模型可能会根据要求提供，请创建一个GitHub问题来询问。

LTU模型

LTU模型	大小	训练序列长度	训练步骤	Whisper特征GPU	不可回答问题	链接
论文原版（默认）	370M	108	20000	-	包含	下载
全微调（包括LLM参数）	27G	108	20000	-	包含	下载

LTU-AS模型

LTU-AS模型	大小	训练序列长度	训练步骤	Whisper特征GPU	不可回答问题	链接
论文原版	200M	108	40000	旧GPU（Titan）	包含	下载
长序列_排除不可回答_旧GPU	200M	160	40000	旧GPU（Titan）	排除	下载
长序列_排除不可回答_新GPU（默认）	200M	160	40000	新GPU（A5000/6000）	排除	下载
全微调（包括LLM参数）	27G	160	40000	旧GPU（Titan）	排除	下载