pyannote-whisper

基于whisper和pyannote.audio运行自动语音识别和说话人分类。

安装

安装whisper。
安装pyannote.audio。
将setuptools降级到59.5.0版本。
将speechbrain降级到0.5.16版本。

命令行使用

与whisper相同，但增加了一个新参数diarization：

python -m pyannote_whisper.cli.transcribe data/afjiv.wav --model tiny --diarization True

Python使用

也可以在Python中进行转录：

import whisper
from pyannote.audio import Pipeline
from pyannote_whisper.utils import diarize_text
pipeline = Pipeline.from_pretrained("pyannote/speaker-diarization",
                                    use_auth_token="你的/令牌")
model = whisper.load_model("tiny.en")
asr_result = model.transcribe("data/afjiv.wav")
diarization_result = pipeline("data/afjiv.wav")
final_result = diarize_text(asr_result, diarization_result)

for seg, spk, sent in final_result:
    line = f'{seg.start:.2f} {seg.end:.2f} {spk} {sent}'
    print(line)

我认为如果你是一个领导者，却不理解你使用的术语，那可能就是第一步要改进的地方。作为组织的领导者，理解数字化的含义非常重要。你要花时间广泛阅读该领域的内容。有很多非常好的书，比如《连线》杂志的创始人凯文·凯利就写了一本关于各种技术的优秀著作。我认为了解这些技术，了解现有的东西，这样你就能区分炒作和希望，这是很重要的第一步。然后确保你理解这些对你的职能的相关性，以及它们如何适应你的业务，这是第二步。

我想提两个简单的建议。第一，我很喜欢"擅长基础"这个说法。你如何在基础方面做到出色？但除此之外，我看到的一个根本性的问题是，很少有组织在第一步就真正掌控了他们的支出数据。作为数字化转型的关键第一步，就是要掌握数据。这不是选择一个供应商而不是另一个的决定。这意味着我们将完全由数据驱动，我们将尽可能地实时操作。我们将能够以任何人想看到的方式来解释这些数据。

要理解你为什么要这么做。与他们交谈，合作，你会得到一个更好的结果。

考虑你最终想要什么结果，而不是考虑不同的流程和他们的软件名称。电子采购只是20个中的一个。要有大局观并勇于尝试。我认为应该与技术供应商交谈，因为与其只是给他们发表格，我们不会伤害你。

我认为我们所有人都应该从根本上重新思考采购应该如何进行，然后开始定义我们需要的功能以及如何使其发挥作用。我们现在所做的完全是错误的。我们不喜欢它，我们的同事也不喜欢它，没有人想要它，而我们却在毫无理由地花费大量金钱。

关于Python的使用2，请在这个笔记本中查看更多详细信息。

import whisper
from pyannote.audio import Pipeline
from pyannote.audio import Audio
from pyannote_whisper.utils import diarize_text
pipeline = Pipeline.from_pretrained("pyannote/speaker-diarization",
                                    use_auth_token="your/token")
model = whisper.load_model("tiny.en")
diarization_result = pipeline("data/afjiv.wav")

from pyannote.audio import Audio
audio = Audio(sample_rate=16000, mono=True)
audio_file = "data/afjiv.wav"
for segment, _, speaker in diarization_result.itertracks(yield_label=True):
    waveform, sample_rate = audio.crop(audio_file, segment)
    text = model.transcribe(waveform.squeeze().numpy())["text"]
    print(f"{segment.start:.2f}s {segment.end:.2f}s {speaker}: {text}")

ChatGPT会议总结

总结以下内容：SPEAKER_00 我认为如果你是一个领导者但不理解你所使用的术语，那可能就是第一个问题的开始。
SPEAKER_00 作为组织中的领导者，理解数字化的含义非常重要。
SPEAKER_00 你需要花时间广泛阅读该领域的内容。
SPEAKER_00 有很多非常好的书籍，比如《连线》杂志的创始人凯文·凯利就写了一本关于各种技术的优秀书籍。
...

领导者需要理解数字化的术语和技术，以区分炒作和希望，并有效地应用到他们的业务中。变得数据驱动并与技术供应商合作可以帮助组织实现他们期望的成果。采购流程需要从根本上重新思考，以改善功能并消除不必要的开支。

总结不同发言者的观点

发言者00强调领导者理解数字化术语和技术的重要性，以便有效地应用到他们的业务中。
发言者01建议控制支出数据是数字化转型的关键第一步。
发言者02认为需要重新思考采购流程，以改善功能并消除不必要的开支。
发言者03建议理解数字化的目的，并与同事合作以获得更好的结果。
发言者04建议要有远大抱负和勇气，并与技术供应商沟通以实现期望的成果。