Glossaire / Comment il vous entend
Parakeet
Mis à jour le
Définition
Parakeet est une famille de modèles de reconnaissance vocale open source de NVIDIA, construite sur une architecture de transducteur, qui peut émettre des mots à mesure que l’audio arrive. C’est pourquoi on la trouve souvent dans les outils de dictée en direct, là où Whisper est conçu pour lire d’abord un morceau entier.
Les modèles Parakeet sont entraînés pour la même tâche que Whisper, mais avec une forme différente : au lieu de lire tout un morceau avant d’écrire, un transducteur produit des tokens en continu, si bien que le texte peut apparaître pendant que vous parlez encore. Sur Apple silicon, les plus petites variantes de Parakeet tournent en temps réel avec de la marge, ce qui en fait un choix naturel pour une dictée où les mots doivent arriver au relâchement de la touche.
La contrepartie, c’est la couverture. Les modèles Parakeet sont entraînés sur moins de langues que Whisper, si bien que les outils qui en utilisent un pour le streaming l’associent à un modèle par lots pour tout le reste.
Transducteur ou encodeur-décodeur
Un modèle encodeur-décodeur comme Whisper est à la fois un lecteur et un rédacteur : l’encodeur assimile une fenêtre d’audio, puis le décodeur écrit la transcription. Un transducteur relie les deux pour que chaque nouvelle tranche d’audio puisse produire un nouveau token sans attendre que la fenêtre se ferme. C’est ce dont le streaming a besoin, et c’est aussi pourquoi les transducteurs sont en général plus stables sur un audio long : ils n’ont jamais l’occasion de « reconsidérer » tout un passage et de le répéter.
Sa place dans un outil de dictée
Parakeet est le moteur qu’il vous faut pendant que la touche est maintenue. Il fournit la transcription en direct dans l’encoche ou la pastille, confirme que vous avez été entendu et ne laisse presque rien à faire au relâchement de la touche. La qualité du texte final dépend toujours de l’étape de mise en forme qui suit, et d’un dictionnaire pour les noms, exactement comme avec n’importe quel modèle ASR.
Parakeet v2 ou v3 : quelle version fait quoi
Les modèles Parakeet dont on parle le plus aujourd’hui sont les deux versions TDT 0.6B. Les deux ont 600 millions de paramètres, ajoutent la ponctuation et les majuscules, rendent des horodatages et sont publiées sous licence CC BY 4.0.
La différence, c’est la langue. La version 2 est en anglais seulement et a été entraînée sur environ 120 000 heures de parole anglaise. La version 3 l’étend à 25 langues européennes et détecte celle qui est parlée sans qu’on la lui indique. NVIDIA annonce sur le Hugging Face Open ASR Leaderboard un taux d’erreur de mots moyen de 6,05 % pour v2 et de 6,34 % pour v3.
- Europe de l’Ouest et du Nord : allemand, anglais, danois, finnois, français, néerlandais, suédois.
- Europe du Sud : espagnol, grec, italien, maltais, portugais.
- Europe centrale : croate, hongrois, polonais, slovaque, slovène, tchèque.
- Pays baltes : estonien, letton, lituanien.
- Europe de l’Est : bulgare, roumain, russe, ukrainien.
Comment lancer Parakeet sur votre propre audio
NVIDIA publie Parakeet via sa boîte à outils NeMo pour Python. La fiche du modèle indique Linux comme système d’exploitation pris en charge et précise que le modèle est optimisé pour les cartes graphiques NVIDIA : considérez donc un lancement sur Mac comme une expérience. Il lui faut au moins 2 Go de mémoire pour se charger, et plus de mémoire lui permet de prendre un audio plus long.
- Installez une version récente de PyTorch, puis installez la boîte à outils avec : pip install -U nemo_toolkit['asr']
- Convertissez votre enregistrement au format attendu par le modèle, 16 kHz mono en wav ou flac. Avec ffmpeg : ffmpeg -i input.m4a -ar 16000 -ac 1 audio.wav
- Lancez Python et exécutez : import nemo.collections.asr as nemo_asr
- Chargez le modèle avec : asr_model = nemo_asr.models.ASRModel.from_pretrained(model_name="nvidia/parakeet-tdt-0.6b-v3")
- Transcrivez avec : output = asr_model.transcribe(['audio.wav'])
- Affichez le texte avec : print(output[0].text)
- Ajoutez timestamps=True à l’appel de transcription si vous voulez des horodatages par mot et par segment.
Parakeet ou Whisper, d’après les faits publiés
Ce sont deux modèles ouverts de reconnaissance de la parole que vous pouvez télécharger, et les deux écrivent un texte ponctué. Ils diffèrent par la taille, la couverture, la licence et ce pour quoi ils ont été conçus. NVIDIA décrit Parakeet TDT 0.6B v3 comme conçu pour une transcription à haut débit, et sa fiche de modèle documente aussi un mode streaming qui traite l’audio par morceaux de quelques secondes.
- Langues : Parakeet TDT 0.6B v3 couvre 25 langues européennes. Whisper a été entraîné sur l’anglais et 98 autres langues.
- Taille : Parakeet TDT 0.6B a 600 millions de paramètres. Whisper va de 39 millions (tiny) à 1 550 millions (large).
- Licence : Parakeet est sous CC BY 4.0, qui exige une attribution. Whisper est sous licence MIT.
- Traduction : Whisper peut traduire d’autres langues vers l’anglais. Les fiches de Parakeet TDT ne décrivent que la transcription.
- Audio long : Parakeet traite jusqu’à 24 minutes d’un seul coup, ou jusqu’à 3 heures avec l’attention locale. Whisper fait glisser une fenêtre de 30 secondes sur le fichier.
- Entrée : Parakeet attend du wav ou du flac en 16 kHz mono. Whisper utilise ffmpeg pour lire les formats audio courants.
Les questions qu’on se pose.
Qu’est-ce que Parakeet en reconnaissance vocale ?
Une famille open source de modèles ASR de NVIDIA conçue pour le streaming : les mots sortent à mesure que l’audio entre. Elle est souvent associée à Whisper, qui couvre plus de langues mais fonctionne par lots.
Parakeet est-il meilleur que Whisper ?
Pour la dictée en direct dans une langue prise en charge, il paraît meilleur, car le texte apparaît pendant que vous parlez. Pour la couverture linguistique et la transcription de fichiers, Whisper est plus large. Les bons outils utilisent chacun pour ce qu’il fait de mieux.
Quelles langues Parakeet prend-il en charge ?
Parakeet TDT 0.6B v2 ne prend en charge que l’anglais. La version 3 prend en charge 25 langues européennes, dont l’anglais, l’espagnol, le français, l’allemand, l’italien, le portugais, le néerlandais, le polonais, le russe et l’ukrainien, et détecte la langue automatiquement.
Parakeet est-il gratuit pour un usage commercial ?
Oui. NVIDIA publie Parakeet TDT 0.6B sous licence CC BY 4.0 et indique que le modèle est prêt pour un usage commercial et non commercial. La licence exige une attribution.
Quelle durée de fichier audio Parakeet peut-il transcrire ?
NVIDIA indique que Parakeet TDT 0.6B v3 traite un audio jusqu’à 24 minutes avec l’attention complète sur une carte graphique A100 80GB, ou jusqu’à 3 heures avec l’attention locale.
