Parakeet
Aktualisiert:
Definition
Parakeet ist eine Familie von Open-Source-Spracherkennungsmodellen von NVIDIA. Sie beruht auf einer Transducer-Architektur, die Wörter ausgeben kann, während das Audio ankommt. Das macht Parakeet zu einer häufigen Engine in Tools für Live-Diktat, während Whisper dafür gebaut ist, zuerst einen ganzen Abschnitt zu lesen.
Parakeet-Modelle sind für dieselbe Aufgabe trainiert wie Whisper, aber anders aufgebaut: Statt einen ganzen Abschnitt zu lesen, bevor er schreibt, erzeugt ein Transducer laufend Tokens, sodass Text erscheinen kann, während du noch sprichst. Auf Apple silicon laufen die kleineren Parakeet-Varianten mit reichlich Reserve in Echtzeit. Damit passen sie gut zum Diktieren, wo die Wörter beim Loslassen der Taste ankommen sollen.
Der Preis ist die Abdeckung. Parakeet-Modelle sind mit weniger Sprachen trainiert als Whisper. Tools, die eines davon zum Streamen nutzen, kombinieren es deshalb für alles andere mit einem Batch-Modell.
Transducer oder Encoder-Decoder
Ein Encoder-Decoder-Modell wie Whisper ist ein Leser und ein Schreiber: Der Encoder verarbeitet ein Audiofenster, dann schreibt der Decoder das Transkript. Ein Transducer verbindet die beiden so, dass jedes neue Stück Audio ein neues Token erzeugen kann, ohne darauf zu warten, dass sich das Fenster schließt. Genau das braucht Streaming, und deshalb sind Transducer bei langem Audio meist auch stabiler: Sie kommen nie dazu, eine ganze Passage „zu überdenken“ und zu wiederholen.
Wo es in ein Diktier-Tool passt
Parakeet ist die Engine, die laufen soll, während die Taste gehalten wird. Es liefert das Live-Transkript in der Notch oder in der Kapsel, bestätigt, dass du gehört wurdest, und lässt beim Loslassen kaum etwas zu tun. Die Qualität des fertigen Texts hängt trotzdem vom anschließenden Formatierungsschritt ab und von einem Wörterbuch für Namen, genau wie bei jedem ASR-Modell.
Parakeet v2 oder v3: welche Version was kann
Die Parakeet-Modelle, die heute die meisten meinen, sind die beiden Versionen von TDT 0.6B. Beide haben 600 Millionen Parameter, beide setzen Satzzeichen und Großschreibung, beide liefern Zeitstempel, und beide stehen unter der Lizenz CC BY 4.0.
Der Unterschied ist die Sprache. Version 2 kann nur Englisch und wurde mit etwa 120.000 Stunden englischer Sprache trainiert. Version 3 erweitert das auf 25 europäische Sprachen und erkennt, welche gesprochen wird, ohne dass man es ihr sagt. NVIDIA gibt auf dem Hugging Face Open ASR Leaderboard eine durchschnittliche Wortfehlerrate von 6,05 % für v2 und 6,34 % für v3 an.
- West- und Nordeuropa: Dänisch, Niederländisch, Englisch, Finnisch, Französisch, Deutsch, Schwedisch.
- Südeuropa: Griechisch, Italienisch, Maltesisch, Portugiesisch, Spanisch.
- Mitteleuropa: Kroatisch, Tschechisch, Ungarisch, Polnisch, Slowakisch, Slowenisch.
- Baltikum: Estnisch, Lettisch, Litauisch.
- Osteuropa: Bulgarisch, Rumänisch, Russisch, Ukrainisch.
So führst du Parakeet mit deinem eigenen Audio aus
NVIDIA veröffentlicht Parakeet über sein NeMo-Toolkit für Python. Die Model Card nennt Linux als unterstütztes Betriebssystem und sagt, dass das Modell für NVIDIA-Grafikkarten optimiert ist, betrachte einen Lauf auf dem Mac also als Experiment. Zum Laden braucht es mindestens 2 GB Arbeitsspeicher, und mit mehr Speicher verarbeitet es längeres Audio.
- Installiere eine aktuelle Version von PyTorch und dann das Toolkit mit: pip install -U nemo_toolkit['asr']
- Wandle deine Aufnahme in das Format um, das das Modell erwartet: 16 kHz mono als wav oder flac. Mit ffmpeg: ffmpeg -i input.m4a -ar 16000 -ac 1 audio.wav
- Starte Python und führe aus: import nemo.collections.asr as nemo_asr
- Lade das Modell mit: asr_model = nemo_asr.models.ASRModel.from_pretrained(model_name="nvidia/parakeet-tdt-0.6b-v3")
- Transkribiere mit: output = asr_model.transcribe(['audio.wav'])
- Gib den Text aus mit: print(output[0].text)
- Ergänze timestamps=True im Aufruf von transcribe, wenn du Zeitstempel für Wörter und Segmente willst.
Parakeet oder Whisper, nach den veröffentlichten Fakten
Beide sind offene Spracherkennungsmodelle, die du herunterladen kannst, und beide schreiben Text mit Satzzeichen. Sie unterscheiden sich in Größe, Abdeckung, Lizenz und dem, wofür sie gebaut wurden. NVIDIA beschreibt Parakeet TDT 0.6B v3 als für Transkription mit hohem Durchsatz gebaut, und die Model Card dokumentiert auch einen Streaming-Modus, der Audio in Blöcken von wenigen Sekunden verarbeitet.
- Sprachen: Parakeet TDT 0.6B v3 deckt 25 europäische Sprachen ab. Whisper wurde mit Englisch und 98 weiteren Sprachen trainiert.
- Größe: Parakeet TDT 0.6B hat 600 Millionen Parameter. Whisper reicht von 39 Millionen (tiny) bis 1550 Millionen (large).
- Lizenz: Parakeet steht unter CC BY 4.0, das eine Namensnennung verlangt. Whisper steht unter MIT.
- Übersetzung: Whisper kann andere Sprachen ins Englische übersetzen. Die Model Cards von Parakeet TDT beschreiben nur Transkription.
- Lange Aufnahmen: Parakeet verarbeitet bis zu 24 Minuten in einem Durchgang oder bis zu 3 Stunden mit lokaler Attention. Whisper schiebt ein 30-Sekunden-Fenster über die Datei.
- Eingabe: Parakeet erwartet 16 kHz mono als wav oder flac. Whisper nutzt ffmpeg, um gängige Audioformate zu lesen.
Fragen, die Leute stellen.
Was ist Parakeet in der Spracherkennung?
Eine Open-Source-Familie von ASR-Modellen von NVIDIA, gebaut zum Streamen: Wörter kommen heraus, während Audio hineingeht. Sie wird oft mit Whisper kombiniert, das mehr Sprachen abdeckt, aber im Batch arbeitet.
Ist Parakeet besser als Whisper?
Beim Live-Diktat in einer unterstützten Sprache fühlt es sich besser an, weil Text erscheint, während du sprichst. Bei der Sprachabdeckung und beim Transkribieren von Dateien ist Whisper breiter aufgestellt. Gute Tools nutzen jedes für das, was es am besten kann.
Welche Sprachen unterstützt Parakeet?
Parakeet TDT 0.6B v2 unterstützt nur Englisch. Version 3 unterstützt 25 europäische Sprachen, darunter Englisch, Spanisch, Französisch, Deutsch, Italienisch, Portugiesisch, Niederländisch, Polnisch, Russisch und Ukrainisch, und erkennt die Sprache automatisch.
Ist Parakeet für die kommerzielle Nutzung kostenlos?
Ja. NVIDIA veröffentlicht Parakeet TDT 0.6B unter der Lizenz CC BY 4.0 und erklärt, dass das Modell für kommerzielle und nicht kommerzielle Nutzung bereit ist. Die Lizenz verlangt eine Namensnennung.
Wie lang darf eine Audiodatei sein, die Parakeet transkribiert?
Laut NVIDIA verarbeitet Parakeet TDT 0.6B v3 Audio mit bis zu 24 Minuten Länge mit voller Attention auf einer A100-80GB-Grafikkarte oder bis zu 3 Stunden mit lokaler Attention.
