Halluzination
Aktualisiert:
Definition
In der Spracherkennung ist eine Halluzination Text, den das Modell erzeugt, obwohl ihn niemand gesagt hat: ein plausibler Satz, erfunden aus Stille, Rauschen oder einem Fragment, das zu kurz zum Transkribieren ist. Sie ist der Einfügungsfehler auf die Spitze getrieben.
Jedes Spracherkennungsmodell ist darauf trainiert, Text zu erzeugen, also versucht es das auch bei Audio, das keine Sprache enthält. Batch-Modelle wie Whisper sind der bekannte Fall: Bekommen sie ein paar Sekunden Raumklang, geben sie manchmal „Thank you for watching“ oder einen ganzen Satz in einer anderen Sprache aus, weil solche Zeichenfolgen in den Trainingsdaten am Ende von Aufnahmen häufig waren. Die Ausgabe ist flüssig und selbstbewusst falsch.
Dasselbe Wort wird für Sprachmodelle verwendet, die Fakten erfinden, und der Mechanismus ist verwandt: Ein System, das darauf optimiert ist, wahrscheinliche Ausgaben zu erzeugen, erzeugt sie, ob die Eingabe das rechtfertigt oder nicht. In einem Diktier-Tool bedeutet eine Halluzination, dass Text in deinem Dokument landet, den du nie gesagt hast.
Wann es passiert
Stille am Anfang oder Ende einer Aufnahme, weshalb eine Aufnahme, die genau beim Loslassen der Taste endet, und die Sprachaktivitätserkennung wichtig sind. Sehr kurze Äußerungen, ein einzelnes Wort oder ein Husten, bei denen das Modell zu wenig Halt hat. Sprache im Hintergrund aus einem Video oder von einem Kollegen, die echte Sprache ist, aber nicht deine. Lange Aufnahmen, bei denen manche Modelle den Faden verlieren und eine Passage wiederholen. Für jeden Fall gibt es eine bekannte Gegenmaßnahme, und ein Tool, das sie nicht umgesetzt hat, wird dich irgendwann überraschen.
Wie gute Tools es verhindern
Zuerst eine Sprachaktivitätserkennung laufen lassen und nie Nicht-Sprache an die Erkennung schicken. Stille an beiden Enden abschneiden. Ergebnisse aus Clips unter einer Mindestlänge verwerfen. Darauf achten, ob das Modell Text ohne entsprechende Audioenergie ausgibt, und ihn verwerfen. Auf der Formatierungsseite jede Umformulierung ablehnen, die ein Inhaltswort hinzufügt, das nicht im Transkript stand, damit auch ein Formatierungsmodell nicht halluzinieren kann. Ein Tool, das all das tut, wird dich trotzdem gelegentlich falsch verstehen; einen Satz erfinden sollte es nie.
Whisper-Halluzinationen auf der Kommandozeile verringern
Wenn du das Open-Source-Kommandozeilentool von Whisper auf Aufnahmen anwendest und es Text erfindet oder wiederholt, hat das Tool dokumentierte Optionen, die genau darauf zielen. Sie beseitigen das Problem nicht, aber sie gehen die zwei häufigen Formen an: Text, der über Stille erfunden wird, und eine Passage, die sich in einer Schleife wiederholt.
Die Whisper-Autoren beschreiben diese Prüfungen als Notlösung für verrauschte Vorhersagen, nicht als Heilmittel. Gleiche das Ergebnis also mit dem Audio ab, nachdem du sie geändert hast.
- Öffne das Terminal und lass die Datei einmal mit den Standardeinstellungen laufen, zum Beispiel: whisper recording.wav --model turbo. Notiere, wo der erfundene oder wiederholte Text auftaucht.
- Wenn sich eine Passage wiederholt, lass sie noch einmal mit --condition_on_previous_text False laufen. Laut Dokumentation kann der Text dadurch zwischen den Fenstern weniger einheitlich werden, aber das Modell bleibt seltener in einer Fehlerschleife hängen.
- Wenn Text über Stille erscheint, ergänze --word_timestamps True --hallucination_silence_threshold 2. Mit eingeschalteten Wort-Zeitstempeln überspringt das stille Abschnitte, die länger als die angegebene Zahl von Sekunden sind, sobald eine mögliche Halluzination erkannt wird.
- Lass --no_speech_threshold auf dem Standardwert 0.6 und --logprob_threshold auf dem Standardwert -1.0, solange du keinen Grund hast, sie zu ändern. Zusammen entscheiden sie, wann ein Abschnitt als still gilt.
- Schneide lange Stille am Anfang und Ende der Aufnahme in einem beliebigen Audio-Editor weg und lass sie noch einmal laufen, damit das Modell weniger Nicht-Sprache verarbeiten muss.
- Vergleiche das neue Transkript an den Stellen, die du im ersten Schritt notiert hast, mit dem Audio.
Halluzination oder Verhörer: So unterscheidest du sie
Ein Verhörer ist ein falsches Wort an der Stelle, an der du ein anderes Wort gesagt hast. Es klingt wie das, was du gesagt hast, und du siehst, warum das Modell es gewählt hat. Eine Halluzination hat überhaupt keine Quelle im Audio. Das Whisper-Paper beschreibt den Extremfall als Transkript, das mit dem tatsächlichen Audio gar nichts zu tun hat.
Der Unterschied zählt, weil die Lösungen verschieden sind. Gegen Verhörer helfen ein besseres Mikrofon, deutlicheres Sprechen oder ein Eintrag im Wörterbuch. Halluzinationen verhinderst du, indem du Stille und Geräusche vom Modell fernhältst oder Ausgaben verwirfst, bei denen sich das Modell selbst unsicher war.
- Text, der erscheint, wo du still warst oder schon aufgehört hattest zu sprechen, ist eine Halluzination.
- Dieselbe Wortgruppe oder derselbe Satz mehrmals hintereinander ist eine Wiederholungsschleife. Das Whisper-Paper führt sie als eigenen Fehler, getrennt von der Halluzination.
- Ein falsches Wort, das wie das richtige klingt, ist ein Verhörer.
- Wenn die ersten oder letzten Wörter einer Aufnahme fehlen, ist das ein dritter Fehler, den das Whisper-Paper nennt. Es ist eine Auslassung, keine Halluzination.
Wie Whisper erkennt, dass seine eigene Ausgabe fehlgeschlagen ist
Der Open-Source-Code von Whisper prüft jedes 30-Sekunden-Fenster, nachdem er es dekodiert hat. Liegt die durchschnittliche Log-Wahrscheinlichkeit der erzeugten Tokens unter −1,0 oder das gzip-Kompressionsverhältnis des Textes über 2,4, gilt das Fenster als fehlgeschlagen und wird mit höherer Temperatur erneut dekodiert. Stark wiederholter Text lässt sich gut komprimieren, deshalb fängt das Kompressionsverhältnis Schleifen ab.
Zur Stille hält das Paper fest, dass die Wahrscheinlichkeit des No-Speech-Tokens allein nicht reicht, um ein Fenster ohne Sprache zu erkennen. Erst die Kombination eines No-Speech-Schwellenwerts von 0,6 mit dem Schwellenwert von −1 für die Log-Wahrscheinlichkeit macht die Erkennung zuverlässiger. Die Model Card nennt Halluzinationen und sich wiederholenden Text trotzdem als bekannte Einschränkungen.
Fragen, die Leute stellen.
Warum hat meine Diktier-App etwas geschrieben, das ich nie gesagt habe?
Am wahrscheinlichsten hat die Erkennung Audio ohne Sprache bekommen, etwa Stille am Ende einer Aufnahme oder einen sehr kurzen Clip, und trotzdem einen plausiblen Satz erzeugt. Das ist ein bekanntes Verhalten von Batch-Modellen und lässt sich mit Sprachaktivitätserkennung und dem Abschneiden von Stille verhindern.
Kann auch der Formatierungsschritt halluzinieren?
Ja, wenn ein KI-Sprachmodell dein Transkript frei umschreibt. Die Absicherung ist eine Regel: Die Ausgabe darf Füllwörter entfernen und Satzzeichen korrigieren, aber nie ein Inhaltswort hinzufügen, das du nicht gesagt hast, und eine Umformulierung, die gegen diese Regel verstößt, wird verworfen.
Warum wiederholt Whisper immer wieder denselben Satz?
Laut der Model Card von Whisper neigt es wegen seiner Sequence-to-Sequence-Architektur dazu, sich wiederholenden Text zu erzeugen. Im Open-Source-Kommandozeilentool sorgt --condition_on_previous_text False dafür, dass das Modell seltener in einer solchen Schleife hängen bleibt.
Verhindert ein größeres Whisper-Modell Halluzinationen?
Nicht zuverlässig. Laut dem Whisper-Paper haben größere Modelle bei Wahrnehmungsfehlern, etwa dem Verwechseln ähnlich klingender Wörter, stetig zugelegt. Wiederholungsschleifen und Halluzinationen sind aber hartnäckiger und ein Problem der Dekodierung.
Ist eine Halluzination dasselbe wie ein Transkriptionsfehler?
Sie ist eine Art von Transkriptionsfehler. Die meisten Fehler sind Verhörer von etwas, das du tatsächlich gesagt hast. Eine Halluzination dagegen ist Text ganz ohne gesprochene Quelle, und bei der Berechnung der Wortfehlerrate zählt sie als Einfügung.
