Whisper

Tiny y base son rápidos y toscos, suficientes para una nota de voz. Small es el mínimo útil para dictar. Medium y large son lo bastante precisos para el trabajo profesional y, en un Mac moderno, siguen siendo rápidos. Large-v3-turbo es hoy el punto óptimo: un modelo large con un decodificador aligerado que conserva casi toda la precisión a varias veces la velocidad. La mayoría de las herramientas para Mac que te dejan elegir te ofrecen estos, y la respuesta correcta para dictar es el modelo más grande que devuelva el texto antes de que pierdas la paciencia.

Whisper lee una ventana de audio y luego escribe su transcripción. Eso lo hace preciso, porque ve la frase entera antes de decidir, y lo hace funcionar por lotes: no aparece nada hasta que paras. Las herramientas construidas solo sobre Whisper dan la sensación de una pausa tras cada frase. Las que funcionan en directo lo combinan con un modelo transductor para las palabras en directo y reservan Whisper para los idiomas que ese modelo no puede manejar.

Whisper alucina con el silencio y con clips muy cortos, y produce frases verosímiles que nadie dijo; además, puede repetirse en audios largos. Las dos cosas están bien documentadas y bien mitigadas: recorta el silencio antes de que actúe el modelo, mantén los fragmentos cortos y desconfía de cualquier salida sobre audio que no sea habla. Los números y los nombres propios siguen el patrón habitual del ASR: se escriben con la grafía más probable, no con la tuya.

OpenAI publica Whisper como un paquete de Python con una herramienta de línea de comandos. El proyecto dice que el código debería funcionar con Python 3.8 a 3.11, y necesita la herramienta ffmpeg para leer archivos de audio. Estos pasos dan por hecho que ya tienes Python y Homebrew.

1. 01 Abre Terminal e instala ffmpeg con: brew install ffmpeg
2. 02 Instala Whisper con: pip install -U openai-whisper
3. 03 Transcribe un archivo con: whisper audio.mp3 --model turbo
4. 04 Espera mientras se descarga el modelo la primera vez. Se guarda en la carpeta .cache/whisper de tu carpeta de inicio y se reutiliza a partir de entonces.
5. 05 Busca la transcripción en la carpeta actual. Por defecto, Whisper genera archivos txt, vtt, srt, tsv y json.
6. 06 Añade --language seguido del nombre de un idioma, por ejemplo --language Japanese, si quieres saltarte la detección automática.
7. 07 Ejecuta whisper --help para ver todas las opciones.

La tabla de OpenAI indica para el modelo large 1.550 millones de parámetros, unos 10 GB de memoria de vídeo y una velocidad relativa de 1x. El modelo turbo tiene 809 millones de parámetros, unos 6 GB y alrededor de 8x. OpenAI describe turbo como una versión optimizada de large-v3 con una pérdida mínima de precisión, y es el modelo predeterminado de la herramienta de línea de comandos.

Esas cifras vienen con dos salvedades. Las velocidades se midieron en una tarjeta gráfica NVIDIA A100 transcribiendo inglés, y OpenAI dice que la velocidad real puede variar mucho según el idioma, la velocidad al hablar y el hardware. Y turbo no está entrenado para traducir, así que devuelve el idioma original aunque le pidas que traduzca.

• tiny: 39 millones de parámetros, aprox. 1 GB, aprox. 10x.
• base: 74 millones de parámetros, aprox. 1 GB, aprox. 7x.
• small: 244 millones de parámetros, aprox. 2 GB, aprox. 4x.
• medium: 769 millones de parámetros, aprox. 5 GB, aprox. 2x.
• large: 1.550 millones de parámetros, aprox. 10 GB, 1x.
• turbo: 809 millones de parámetros, aprox. 6 GB, aprox. 8x.

Whisper se entrenó para dos tareas: transcribir la voz en su propio idioma y traducir al inglés la voz en otros idiomas. De sus 680.000 horas de entrenamiento, unas 438.000 son audio en inglés con transcripciones en inglés, unas 126.000 son audio en otros idiomas con transcripciones en inglés y unas 117.000 son audio en otros idiomas con una transcripción en el mismo idioma, en 98 idiomas.

Por eso la traducción solo va en un sentido. Añade --task translate para obtener texto en inglés a partir de voz en otro idioma, y usa para ello el modelo medium o large, como recomienda OpenAI. Whisper no traduce la voz en inglés a otros idiomas.

Los tamaños tiny, base, small y medium también tienen versiones solo para inglés, con nombres que terminan en .en. OpenAI dice que suelen rendir mejor en inglés, sobre todo tiny.en y base.en, y que la diferencia es menos significativa en small.en y medium.en.