Whisper large-v3 turbo

L’annonce d’OpenAI le résume en une phrase : turbo est une version optimisée de large-v3 avec seulement 4 couches de décodeur, comme le modèle tiny, au lieu des 32 de la série large. La fiche du modèle le présente comme une version affinée d’un large-v3 élagué.

Une fois le décodeur réduit, le modèle a été entraîné pendant deux époques de plus sur les mêmes données de transcription multilingues que large-v3. Les données de traduction ont été laissées de côté, ce qui compte pour la section suivante.

Le tableau d’OpenAI donne turbo à environ 8 fois la vitesse du modèle large, avec environ 6 Go de mémoire vidéo contre environ 10 Go. Ces chiffres ont été mesurés en transcrivant de l’anglais sur une carte graphique A100 : ils décrivent le rapport, pas ce que fera un Mac donné.

Côté précision, OpenAI indique que, toutes langues confondues, turbo se comporte comme large-v2, avec une dégradation plus forte pour certaines langues, et cite le thaï et le cantonais.

Turbo partage les limites de tous les modèles Whisper, et en ajoute une.

• Il ne traduit pas. OpenAI précise que turbo n’est pas entraîné pour la traduction et renvoie la langue d’origine même quand on lui demande de traduire en anglais.
• Il peut halluciner. La fiche du modèle indique que les prédictions peuvent contenir du texte qui n’a pas été prononcé.
• Il peut se répéter. La fiche indique que son architecture le rend enclin à générer du texte répétitif.
• Il est inégal selon les langues, pour reprendre les termes de la fiche.
• Il n’est pas conçu pour le direct. La fiche indique que les modèles Whisper ne peuvent pas servir tels quels à la transcription en temps réel.

Les poids publiés font environ 1,6 Go en 16 bits. Des versions plus petites existent, car les poids peuvent être quantifiés, ce qui échange un peu de précision contre un téléchargement plus léger.

La fiche du modèle liste 99 langues. La licence est MIT pour le code comme pour les poids : on peut l’utiliser et le distribuer librement.

Il n’y a pas une seule façon. OpenAI publie le modèle pour Python. D’autres projets convertissent les mêmes poids pour Apple silicon, sur la puce graphique ou via les frameworks d’Apple, et ce sont eux que les apps Mac utilisent.

Comme Whisper lit un bloc d’audio avant d’écrire, il convient aux enregistrements terminés et à une dictée qui s’affiche quand vous arrêtez de parler. Les outils qui affichent les mots pendant que vous parlez découpent l’audio eux-mêmes, ou utilisent un modèle en streaming pour cette partie.