Whisper
Aktualisiert:
Definition
Whisper ist eine Familie von Open-Source-Spracherkennungsmodellen, die OpenAI 2022 veröffentlicht hat, trainiert mit 680.000 Stunden Audio und für etwa 99 Sprachen. Weil die Gewichte frei verfügbar sind, wurde Whisper zur Engine in vielen lokalen Transkriptions- und Diktier-Tools.
Whisper gibt es in Größen von tiny bis large; größere Modelle sind genauer und langsamer. Es transkribiert im Batch statt im Streaming. Tools, die Wörter live zeigen, kombinieren es deshalb meist mit einem Streaming-Modell und nutzen Whisper für die Sprachen, die das Streaming-Modell nicht abdeckt.
Auf Apple silicon lassen optimierte Laufzeitumgebungen selbst die größeren Whisper-Modelle bequem auf dem Gerät laufen. Das hat die aktuelle Generation privater, lokaler Diktier-Tools für den Mac erst möglich gemacht.
Die Größen, und welche du willst
Tiny und base sind schnell und grob, gut genug für ein Sprachmemo. Small ist die brauchbare Untergrenze fürs Diktieren. Medium und large sind genau genug für professionelle Arbeit und auf einem modernen Mac trotzdem schnell. Large-v3-turbo ist derzeit der beste Kompromiss: ein großes Modell mit einem verschlankten Decoder, das den Großteil der Genauigkeit bei mehrfacher Geschwindigkeit behält. Die meisten Mac-Tools, die eine Wahl bieten, bieten diese an, und die richtige Antwort fürs Diktieren ist das größte Modell, das den Text liefert, bevor du ungeduldig wirst.
Batch, nicht Streaming
Whisper liest ein Audiofenster und schreibt dann das Transkript dazu. Das macht es genau, weil es die ganze Phrase sieht, bevor es entscheidet, und es macht es zu einem Batch-Modell: Nichts erscheint, bis du aufhörst. Tools, die nur auf Whisper bauen, fühlen sich an wie eine Pause nach jedem Satz. Tools, die streamen, kombinieren es mit einem Transducer-Modell für Live-Wörter und behalten Whisper für die Sprachen, die dieses Modell nicht beherrscht.
Bekannte Schwächen
Whisper halluziniert bei Stille und bei sehr kurzen Clips: Es erzeugt plausible Sätze, die niemand gesagt hat, und bei langem Audio kann es sich wiederholen. Beides ist gut dokumentiert und gut eingedämmt: Stille abschneiden, bevor das Modell läuft, Abschnitte kurz halten und jede Ausgabe bei Audio ohne Sprache als verdächtig behandeln. Zahlen und Eigennamen folgen dem üblichen ASR-Muster: Sie kommen in der wahrscheinlichsten Schreibweise heraus, nicht in deiner.
So führst du Whisper auf dem Mac im Terminal aus
OpenAI veröffentlicht Whisper als Python-Paket mit einem Kommandozeilen-Tool. Laut Projekt sollte der Code mit Python 3.8 bis 3.11 funktionieren, und er braucht das Tool ffmpeg, um Audiodateien zu lesen. Diese Schritte setzen voraus, dass du Python und Homebrew schon hast.
- Öffne das Terminal und installiere ffmpeg mit: brew install ffmpeg
- Installiere Whisper mit: pip install -U openai-whisper
- Transkribiere eine Datei mit: whisper audio.mp3 --model turbo
- Warte, während das Modell beim ersten Start geladen wird. Es wird im Ordner .cache/whisper in deinem Benutzerordner gespeichert und danach wiederverwendet.
- Du findest das Transkript im aktuellen Ordner. Standardmäßig schreibt Whisper txt-, vtt-, srt-, tsv- und json-Dateien.
- Ergänze --language und einen Sprachnamen, zum Beispiel --language Japanese, wenn du die automatische Erkennung überspringen willst.
- Führe whisper --help aus, um alle Optionen zu sehen.
Whisper turbo oder large: die veröffentlichten Zahlen
Die Tabelle von OpenAI nennt für das Modell large 1550 Millionen Parameter, etwa 10 GB Grafikspeicher und eine relative Geschwindigkeit von 1x. Das Modell turbo hat 809 Millionen Parameter, braucht etwa 6 GB und kommt auf etwa 8x. OpenAI beschreibt turbo als optimierte Version von large-v3 mit minimalem Genauigkeitsverlust, und es ist das Standardmodell im Kommandozeilen-Tool.
Zu diesen Zahlen gehören zwei Einschränkungen. Die Geschwindigkeiten wurden auf einer NVIDIA-A100-Grafikkarte beim Transkribieren von Englisch gemessen, und laut OpenAI kann die Geschwindigkeit in der Praxis je nach Sprache, Sprechtempo und Hardware deutlich abweichen. Und turbo ist nicht für Übersetzungen trainiert, es liefert also die Originalsprache, selbst wenn du eine Übersetzung verlangst.
- tiny: 39 Millionen Parameter, etwa 1 GB, etwa 10x.
- base: 74 Millionen Parameter, etwa 1 GB, etwa 7x.
- small: 244 Millionen Parameter, etwa 2 GB, etwa 4x.
- medium: 769 Millionen Parameter, etwa 5 GB, etwa 2x.
- large: 1550 Millionen Parameter, etwa 10 GB, 1x.
- turbo: 809 Millionen Parameter, etwa 6 GB, etwa 8x.
Kann Whisper übersetzen? Was es mit anderen Sprachen macht
Whisper wurde auf zwei Aufgaben trainiert: Sprache in ihrer eigenen Sprache zu transkribieren und Sprache aus anderen Sprachen ins Englische zu übersetzen. Von seinen 680.000 Trainingsstunden sind etwa 438.000 englisches Audio mit englischen Transkripten, etwa 126.000 nicht englisches Audio mit englischen Transkripten und etwa 117.000 nicht englisches Audio mit einem Transkript in derselben Sprache, verteilt auf 98 Sprachen.
Deshalb geht die Übersetzung nur in eine Richtung. Ergänze --task translate, um aus nicht englischer Sprache englischen Text zu bekommen, und nutze dafür das Modell medium oder large, wie OpenAI es empfiehlt. Whisper übersetzt englische Sprache nicht in andere Sprachen.
Die Größen tiny, base, small und medium gibt es auch als reine Englisch-Versionen, deren Namen auf .en enden. Laut OpenAI schneiden sie bei Englisch meist besser ab, besonders tiny.en und base.en, und bei small.en und medium.en wird der Unterschied weniger deutlich.
Fragen, die Leute stellen.
Ist Whisper kostenlos nutzbar?
Ja. Die Modelle sind Open Source unter einer MIT-Lizenz und laufen auf deiner eigenen Hardware. Die Arbeit liegt darin, ein brauchbares Diktier-Tool darum zu bauen, und genau dafür verlangen die meisten lokalen Diktier-Apps für den Mac Geld.
Kann Whisper ohne Cloud auf einem Mac laufen?
Ja, und zwar gut. Optimierte Laufzeitumgebungen für Apple silicon führen große Modelle lokal in brauchbarer Geschwindigkeit aus. Jedes lokale Diktier- und Transkriptions-Tool für den Mac auf dem Markt nutzt Whisper oder ein ähnliches Modell auf diese Weise.
Streamt Whisper Text, während ich spreche?
Nicht von sich aus. Es transkribiert einen Abschnitt, nachdem der Abschnitt zu Ende ist. Tools, die Live-Wörter zeigen, nutzen daneben ein Streaming-Modell und behalten Whisper für die Sprachen, die das Streaming-Modell nicht abdeckt.
Wie viel Speicher braucht Whisper?
OpenAI nennt etwa 1 GB Grafikspeicher für die Modelle tiny und base, etwa 2 GB für small, etwa 5 GB für medium, etwa 6 GB für turbo und etwa 10 GB für large.
Was ist der Unterschied zwischen Whisper base und base.en?
base.en ist nur auf Englisch trainiert, base ist mehrsprachig. Laut OpenAI schneiden die .en-Modelle bei Englisch meist besser ab, besonders in den Größen tiny und base.
Kann Whisper Englisch in andere Sprachen übersetzen?
Nein. Die Übersetzungsaufgabe von Whisper macht aus Sprache in anderen Sprachen englischen Text. Das Modell turbo ist überhaupt nicht für Übersetzungen trainiert, nimm dafür also medium oder large.
