Whisper large-v3 turbo
Auch: Whisper turbo, large-v3-turbo
Veröffentlicht:
Definition
Whisper large-v3 turbo ist ein Spracherkennungsmodell von OpenAI, veröffentlicht am 1. Oktober 2024. Es ist Whisper large-v3 mit einem Decoder, der von 32 auf 4 Schichten gekürzt wurde. Dadurch ist es viel schneller, bei etwas geringerer Genauigkeit.
Whisper gibt es in mehreren Größen, von tiny bis large, und jahrelang hatte man die Wahl zwischen einem kleinen Modell, das schnell war, und einem großen, das genau war. Turbo hat das geändert. OpenAI behielt den großen Encoder, den Teil, der zuhört, und ersetzte den großen Decoder, den Teil, der schreibt, durch einen, der so flach ist wie der des tiny-Modells.
Das Ergebnis hat 809 Millionen Parameter, gegenüber 1.550 Millionen bei large-v3. OpenAI beschreibt es als schnellere Transkription bei minimal geringerer Genauigkeit.
Was sich gegenüber large-v3 geändert hat
OpenAIs Ankündigung fasst es in einem Satz zusammen: Turbo ist eine optimierte Version von large-v3 mit nur 4 Decoder-Schichten, so vielen wie beim tiny-Modell, statt der 32 der large-Reihe. Die Model Card nennt es eine feinabgestimmte Version eines beschnittenen large-v3.
Nachdem der Decoder gekürzt war, wurde das Modell zwei weitere Epochen auf denselben mehrsprachigen Transkriptionsdaten wie large-v3 trainiert. Übersetzungsdaten blieben außen vor, was für den nächsten Abschnitt wichtig ist.
Wie schnell und wie genau es ist
OpenAIs eigene Tabelle nennt für Turbo etwa die 8-fache Geschwindigkeit des großen Modells und etwa 6 GB Grafikspeicher statt etwa 10 GB. Diese Werte wurden beim Transkribieren englischer Sprache auf einer A100-Grafikkarte gemessen. Sie beschreiben also das Verhältnis, nicht das, was ein bestimmter Mac schafft.
Zur Genauigkeit sagt OpenAI, dass Turbo über alle Sprachen hinweg ähnlich wie large-v2 abschneidet, mit stärkeren Einbußen bei manchen Sprachen, und nennt Thai und Kantonesisch.
Was es nicht kann
Turbo teilt die Grenzen jedes Whisper-Modells und hat eine eigene dazu.
- Es übersetzt nicht. OpenAI erklärt, dass Turbo nicht für Übersetzungsaufgaben trainiert ist und die Originalsprache zurückgibt, selbst wenn eine Übersetzung ins Englische verlangt wird.
- Es kann halluzinieren. Laut Model Card können die Vorhersagen Text enthalten, der gar nicht gesprochen wurde.
- Es kann sich wiederholen. Laut Model Card neigt es wegen seiner Architektur dazu, sich wiederholenden Text zu erzeugen.
- Es ist ungleichmäßig über die Sprachen hinweg, wie die Model Card selbst sagt.
- Es ist nicht für den Live-Einsatz gebaut. Laut Model Card lassen sich Whisper-Modelle nicht ohne Weiteres für Echtzeit-Transkription verwenden.
Größe, Sprachen und Lizenz
Die veröffentlichten Gewichte sind in 16-Bit-Form etwa 1,6 GB groß. Es gibt kleinere Builds, weil sich die Gewichte quantisieren lassen. Das kostet etwas Genauigkeit und macht den Download kleiner.
Die Model Card nennt 99 Sprachen. Die Lizenz ist MIT, für den Code und die Gewichte, das Modell darf also frei genutzt und weitergegeben werden.
Auf dem Mac ausführen
Es gibt nicht den einen Weg. OpenAI veröffentlicht das Modell für Python. Andere Projekte wandeln dieselben Gewichte so um, dass sie auf Apple silicon laufen, entweder auf dem Grafikchip oder über Apples eigene Frameworks, und darauf bauen Mac-Apps auf.
Weil Whisper erst ein Stück Audio liest, bevor es schreibt, passt es zu fertigen Aufnahmen und zu Diktaten, die erscheinen, wenn du aufhörst. Tools, die Wörter zeigen, während du noch sprichst, teilen das Audio selbst in Stücke oder nutzen dafür ein Streaming-Modell.
Fragen, die Leute stellen.
Ist Whisper large-v3 turbo besser als large-v3?
Es ist schneller, nicht genauer. OpenAI beschreibt es als schnellere Transkription bei minimal geringerer Genauigkeit und nennt etwa die 8-fache Geschwindigkeit des großen Modells.
Wie groß ist Whisper large-v3 turbo?
Es hat 809 Millionen Parameter. Die veröffentlichten 16-Bit-Gewichte sind etwa 1,6 GB groß, quantisierte Builds sind kleiner.
Kann Whisper turbo übersetzen?
Nein. OpenAI erklärt, dass das Turbo-Modell nicht für Übersetzungsaufgaben trainiert ist und die Originalsprache zurückgibt, selbst wenn eine Übersetzung verlangt wird.
Wie viele Sprachen unterstützt Whisper large-v3 turbo?
Seine Model Card nennt 99 Sprachen. OpenAI weist darauf hin, dass die Genauigkeit zwischen ihnen schwankt.
Ist Whisper large-v3 turbo kostenlos?
Ja. OpenAI veröffentlicht Code und Modellgewichte von Whisper unter der MIT-Lizenz.
Funktioniert Whisper turbo offline?
Ja. Die Gewichte sind eine Datei. Ist sie einmal geladen, läuft das Modell auf deinem eigenen Rechner, ohne Verbindung.
