Sprecherkennzeichnung
Auch: Sprecherkennzeichnung
Aktualisiert:
Definition
Sprecherkennzeichnung ermittelt, wer in einer Aufnahme wann gesprochen hat, damit sich ein Transkript nach Sprechern kennzeichnen lässt. Sie beantwortet „Wer hat das gesagt?“ statt „Was wurde gesagt?“.
Diarisierung ist ein eigenes Modell, getrennt von der Spracherkennung. Es achtet auf Stimmwechsel, gruppiert die Abschnitte, die nach derselben Person klingen, und gibt jeder Gruppe ein Label, meist Sprecher 1 und Sprecher 2, bis ein Name zugeordnet ist. Zusammen mit einem Transkript ergibt das das vertraute Layout von Meeting-Notizen, in dem jede Zeile einer Person zugeordnet ist.
Es ist eine Funktion fürs Transkribieren, nicht fürs Diktieren. Beim Diktieren gibt es eine sprechende Person, und das bist du. Ein Diktier-Tool braucht also keine Diarisierung, und man sollte es nicht dafür bewerten, dass sie fehlt. Wenn du ein Meeting, ein Interview oder einen Podcast transkribierst, ist sie der Unterschied zwischen einem Transkript und einer Textwand.
Warum es schwierig ist
Zwei Menschen mit ähnlichen Stimmen, eine Person, deren Stimme sich mit einer Erkältung verändert, sich überlappende Rede und ein Laptopmikrofon, das alle in denselben Raumklang drückt: All das bringt die Gruppierung aus dem Tritt. Die Zahl der Sprecher wird meist geschätzt, nicht gewusst. Die besten Systeme sind gut bei sauberem Audio mit klaren Sprecherwechseln wie in einem Podcast und deutlich schlechter in einem echten Meeting, in dem drei Leute durcheinanderreden. Rechne damit, Labels von Hand zu korrigieren.
Welche Tools es können
Meeting-Transkribierer wie Otter.ai bauen ihr Produkt darum herum. Datei-Transkribierer wie MacWhisper bieten Sprecherkennzeichnung für Aufnahmen. Diktier-Tools haben sie meist nicht, weil die Aufgabe nie zwei Sprecher hat. Wenn Diarisierung auf deiner Anforderungsliste steht, suchst du einen Transkribierer.
Sprecherlabels zu einer Aufnahme auf dem Mac hinzufügen
Das Open-Source-Toolkit pyannote.audio führt die Sprecherkennzeichnung lokal auf deinem Computer aus. Es sagt dir, wer wann gesprochen hat, mit Start- und Endzeit für jeden Redebeitrag. Die Wörter liefert es nicht. Seine Ausgabe kombinierst du also mit einem Transkript aus einer Spracherkennung.
Die Schritte unten verwenden die Community-Pipeline. Sie steht unter einer CC-BY-4.0-Lizenz, und zum Herunterladen brauchst du ein kostenloses Hugging-Face-Konto.
- Stell sicher, dass ffmpeg installiert ist, zum Beispiel mit: brew install ffmpeg
- Installiere das Toolkit im Terminal mit: pip install pyannote.audio
- Melde dich bei Hugging Face an und akzeptiere die Nutzungsbedingungen auf der Seite pyannote/speaker-diarization-community-1.
- Erstelle unter hf.co/settings/tokens einen Zugriffstoken für Hugging Face.
- Lade die Pipeline in Python mit Pipeline.from_pretrained, übergib dabei den Namen der Pipeline und deinen Token, und ruf sie dann mit deiner Audiodatei auf.
- Geh in einer Schleife durch das Feld speaker_diarization der Ausgabe, um jeden Redebeitrag mit Startzeit, Endzeit und Sprecherlabel auszulesen.
- Wenn du weißt, wie viele Personen gesprochen haben, übergib beim Aufruf der Pipeline num_speakers. Kennst du nur einen Bereich, übergib min_speakers und max_speakers.
Können Whisper oder Parakeet Sprecher unterscheiden?
Nein. Beides sind Spracherkennungsmodelle, und keines ist dafür gebaut, Sprecher zu kennzeichnen. Laut der Model Card von Whisper wurden die Modelle nicht gründlich auf Sprecherklassifikation oder Sprecherkennzeichnung geprüft. Die Model Card von NVIDIA für Parakeet TDT 0.6B v2 nennt Sprecherkennzeichnung nicht unter ihren Fähigkeiten.
Das Whisper-Paper hält eine verwandte Eigenheit fest. Frühe Modelle neigten dazu, plausible, aber fast immer falsche Vermutungen für die Namen der Sprecher zu schreiben, weil viele Trainingstranskripte den Namen der sprechenden Person enthielten. Die Autoren haben das abgestellt, indem sie mit Transkripten ohne Sprecherangaben nachtrainiert haben. Wenn ein Transkript, das nur von einem Erkennungsmodell stammt, Sprechernamen enthält, vertrau ihnen nicht.
Wie die Genauigkeit der Diarisierung gemessen wird
Die Standardmetrik ist die Diarisierungsfehlerrate (DER, Diarization Error Rate), angegeben in Prozent, wobei niedriger besser ist. Sie zählt drei Arten von Fehlern zusammen: Fehlalarm, wenn Sprache gemeldet wird, die es nicht gab, verpasste Erkennung, wenn echte Sprache niemandem zugeordnet wird, und Sprecherverwechslung, wenn Sprache der falschen Person zugeordnet wird.
Wie bei der Wortfehlerrate verändern die Bewertungsregeln den Wert. Manche Auswertungen tolerieren einen kurzen Zeitraum (Collar) um jeden Sprecherwechsel, und manche lassen überlappende Sprache aus. Die pyannote-Benchmarks geben an, dass sie keinen solchen Toleranzbereich verwenden und überlappende Sprache nicht auslassen, also die strengere Variante. Prüfe diese beiden Entscheidungen, bevor du DER-Werte aus verschiedenen Quellen vergleichst.
Fragen, die Leute stellen.
Was bedeutet Diarisierung beim Transkribieren?
Ein Transkript danach zu kennzeichnen, wer gesprochen hat. Ein Diarisierungsmodell erkennt Stimmwechsel und gruppiert Abschnitte nach Sprecher, sodass sich ein Meeting-Transkript wie ein Gespräch liest statt wie ein einziger Block.
Kennzeichnet Diktiersoftware Sprecher?
Fast nie, weil es beim Diktieren nur eine sprechende Person gibt. Sprecherkennzeichnung ist eine Funktion von Tools für Meeting- und Dateitranskription. Wenn du sie brauchst, wähle einen Transkribierer. Wenn du live diktieren willst, eine Diktier-App.
Kann Whisper Sprecherkennzeichnung?
Nein. Whisper transkribiert Wörter, und laut seiner Model Card wurde es nicht gründlich auf Sprecherkennzeichnung geprüft. Für Sprecherlabels lässt du ein eigenes Diarisierungsmodell laufen, etwa die Open-Source-Pipeline pyannote.audio, und kombinierst seine Zeitstempel mit dem Transkript.
Was ist die Diarisierungsfehlerrate?
Die Diarisierungsfehlerrate (DER) ist das übliche Genauigkeitsmaß für die Sprecherkennzeichnung, wobei niedriger besser ist. Sie fasst Fehlalarme, verpasste Sprache und Sprache zusammen, die der falschen Person zugeordnet wurde.
Kann Sprecherkennzeichnung offline auf einem Mac laufen?
Ja. Die Open-Source-Community-Pipeline von pyannote.audio läuft lokal auf deinem Computer, und sobald sie heruntergeladen ist, funktioniert sie ohne Internetverbindung.
