Whisper large-v3 turbo

El anuncio de OpenAI lo resume en una frase: turbo es una versión optimizada de large-v3 con solo 4 capas de decodificador, las mismas que el modelo tiny, frente a las 32 de la serie large. La ficha del modelo lo llama una versión ajustada de un large-v3 podado.

Después de reducir el decodificador, el modelo se entrenó dos épocas más con los mismos datos de transcripción multilingüe que large-v3. Los datos de traducción se dejaron fuera, y eso importa para la siguiente sección.

La propia tabla de OpenAI sitúa a turbo en unas 8 veces la velocidad del modelo large, y en unos 6 GB de memoria de vídeo frente a unos 10 GB. Esas cifras se midieron transcribiendo voz en inglés en una tarjeta gráfica A100, así que describen la proporción, no lo que hará un Mac concreto.

En cuanto a precisión, OpenAI dice que, en conjunto, turbo rinde de forma parecida a large-v2, con una pérdida mayor en algunos idiomas, y menciona el tailandés y el cantonés.

Turbo comparte los límites de todos los modelos Whisper y añade uno propio.

• No traduce. OpenAI indica que turbo no está entrenado para tareas de traducción y devuelve el idioma original aunque se le pida traducir al inglés.
• Puede alucinar. La ficha del modelo dice que las predicciones pueden incluir texto que en realidad no se dijo.
• Puede repetirse. La ficha dice que la arquitectura lo hace propenso a generar texto repetitivo.
• Es desigual según el idioma, en palabras de la propia ficha.
• No está hecho para el uso en directo. La ficha dice que los modelos Whisper no sirven para transcribir en tiempo real tal cual vienen.

Los pesos publicados ocupan unos 1,6 GB en formato de 16 bits. Hay versiones más pequeñas porque los pesos se pueden cuantizar, lo que cambia un poco de precisión por una descarga más pequeña.

La ficha del modelo indica 99 idiomas. La licencia es MIT tanto para el código como para los pesos, así que se puede usar y distribuir libremente.

No hay una única forma. OpenAI publica el modelo para Python. Otros proyectos convierten los mismos pesos para que funcionen en Apple silicon, ya sea en el chip gráfico o mediante los frameworks de Apple, y en eso se basan las apps para Mac.

Como Whisper lee un bloque de audio antes de escribir, encaja con grabaciones terminadas y con un dictado que aparece cuando paras. Las herramientas que muestran las palabras mientras sigues hablando trocean el audio ellas mismas, o usan un modelo en streaming para esa parte.