Parakeet

Un modelo codificador-decodificador como Whisper es un lector y un escritor: el codificador digiere una ventana de audio y luego el decodificador escribe la transcripción. Un transductor une los dos para que cada nuevo trozo de audio pueda producir un nuevo token sin esperar a que se cierre la ventana. Eso es lo que necesita el directo, y también es la razón por la que los transductores suelen ser más estables en audios largos: nunca llegan a “reconsiderar” un pasaje entero y repetirlo.

Parakeet es el motor que quieres funcionando mientras mantienes la tecla. Da la transcripción en directo en la muesca o en la píldora, confirma que te ha oído y deja casi nada por hacer al soltar la tecla. La calidad del texto final sigue dependiendo de la etapa de formato que viene después, y de un diccionario para los nombres, exactamente igual que con cualquier modelo de ASR.

Los modelos Parakeet a los que se refiere casi todo el mundo hoy son las dos versiones TDT 0.6B. Las dos tienen 600 millones de parámetros, las dos añaden puntuación y mayúsculas, las dos devuelven marcas de tiempo y las dos se publican bajo la licencia CC BY 4.0.

La diferencia es el idioma. La versión 2 es solo para inglés y se entrenó con unas 120.000 horas de voz en inglés. La versión 3 la amplía a 25 idiomas europeos y detecta cuál se está hablando sin que se lo digas. NVIDIA indica una tasa media de error por palabra en el Hugging Face Open ASR Leaderboard del 6,05 % para v2 y del 6,34 % para v3.

• Europa occidental y del norte: alemán, danés, finés, francés, inglés, neerlandés, sueco.
• Europa del sur: español, griego, italiano, maltés, portugués.
• Europa central: checo, croata, eslovaco, esloveno, húngaro, polaco.
• Bálticos: estonio, letón, lituano.
• Europa del este: búlgaro, rumano, ruso, ucraniano.

NVIDIA publica Parakeet a través de su kit de herramientas NeMo para Python. La ficha del modelo indica Linux como sistema operativo compatible y dice que el modelo está optimizado para tarjetas gráficas NVIDIA, así que toma una ejecución en un Mac como un experimento. Necesita al menos 2 GB de memoria para cargarse, y con más memoria acepta audio más largo.

1. 01 Instala una versión reciente de PyTorch y luego instala el kit de herramientas con: pip install -U nemo_toolkit['asr']
2. 02 Convierte tu grabación al formato que espera el modelo, 16 kHz mono en wav o flac. Con ffmpeg: ffmpeg -i input.m4a -ar 16000 -ac 1 audio.wav
3. 03 Inicia Python y ejecuta: import nemo.collections.asr as nemo_asr
4. 04 Carga el modelo con: asr_model = nemo_asr.models.ASRModel.from_pretrained(model_name=“nvidia/parakeet-tdt-0.6b-v3”)
5. 05 Transcribe con: output = asr_model.transcribe(['audio.wav'])
6. 06 Muestra el texto con: print(output[0].text)
7. 07 Añade timestamps=True a la llamada a transcribe si quieres marcas de tiempo por palabra y por segmento.

Los dos son modelos abiertos de reconocimiento de voz que puedes descargar, y los dos escriben texto con puntuación. Se diferencian en tamaño, cobertura, licencia y en aquello para lo que se diseñaron. NVIDIA describe Parakeet TDT 0.6B v3 como diseñado para transcripción de alto rendimiento, y su ficha del modelo también documenta un modo de streaming que procesa el audio en fragmentos de unos pocos segundos.

• Idiomas: Parakeet TDT 0.6B v3 cubre 25 idiomas europeos. Whisper se entrenó con inglés y otros 98 idiomas.
• Tamaño: Parakeet TDT 0.6B tiene 600 millones de parámetros. Whisper va de 39 millones (tiny) a 1.550 millones (large).
• Licencia: Parakeet es CC BY 4.0, que exige atribución. Whisper es MIT.
• Traducción: Whisper puede traducir otros idiomas al inglés. Las fichas de Parakeet TDT solo describen transcripción.
• Audio largo: Parakeet procesa hasta 24 minutos de una sola pasada, o hasta 3 horas con atención local. Whisper desplaza una ventana de 30 segundos por el archivo.
• Entrada: Parakeet espera wav o flac mono a 16 kHz. Whisper usa ffmpeg para leer los formatos de audio habituales.