Tasa de error por palabra

Todos los errores cuentan igual, y no son iguales. Perder un “eh” es una mejora; perder un “no” invierte el significado. Un apellido mal escrito te cuesta una corrección; un artículo mal escrito no te cuesta nada porque ni lo ves. El formato es totalmente invisible para la WER: “1030 am” y “10:30 AM” son las mismas palabras. Así que una herramienta con una WER en bruto algo peor y una pasada de formato mucho mejor puede producir un texto que necesita muchas menos correcciones.

Por eso la cifra que de verdad te importa se parece más a “correcciones por cada cien palabras después del formato”, algo que ningún benchmark publica y que solo puedes medir dictando tu propio trabajo durante una semana.

Pregunta qué benchmark, qué idioma y qué micrófono. Un “99 % de precisión” sin conjunto de datos es una frase de marketing. Pregunta si la cifra es de antes o de después de cualquier paso de corrección, y si había un diccionario personal de por medio. Y compárala con lo que la WER no ve: los nombres, los números y si el texto llega como escritura o como transcripción.

Un micrófono mejor, más cerca de la boca, ayuda más que cualquier cambio de modelo. Terminar las frases antes de soltar la tecla da al modelo contexto para resolver ambigüedades. Y un diccionario personal con los nombres y términos que de verdad dices arregla los errores que se repiten, que son los que importan, porque un fallo que ocurre una vez al mes es una molestia y uno que ocurre cada día es un motivo para dejar de dictar.

Puedes medir la WER con tu propia voz y tu propio micrófono con una herramienta gratuita de código abierto llamada jiwer. Calcula la distancia de edición mínima entre una transcripción correcta y lo que produjo el reconocedor, que es el mismo cálculo que usan los benchmarks.

El resultado describe tu puesto de trabajo, tu micrófono y el pasaje que leíste. Es una muestra pequeña, así que tómalo como una estimación aproximada y repite la prueba con otro texto antes de sacar conclusiones.

1. 01 Elige un pasaje de unos cientos de palabras y guárdalo como archivo de texto sin formato llamado ref.txt, con una frase por línea. Esta es tu referencia.
2. 02 Dicta el mismo pasaje con la herramienta que quieres probar y guarda el resultado como hyp.txt, con las mismas frases en las mismas líneas.
3. 03 Decide cómo vas a tratar las mayúsculas, la puntuación y los números, y aplica la misma limpieza a los dos archivos. Una opción sencilla es pasar todo a minúsculas y quitar la puntuación en ambos.
4. 04 Abre Terminal e instala la herramienta con: pip install jiwer (necesita Python 3.8 o posterior).
5. 05 Ejecuta: jiwer -r ref.txt -h hyp.txt para mostrar la tasa de error por palabra.
6. 06 Añade -a al comando para mostrar la alineación de cada frase, y así ver qué palabras se sustituyeron, se perdieron o se insertaron.
7. 07 Añade -c si prefieres la tasa de error de caracteres.

Normalmente porque el texto se limpió de forma distinta antes de puntuarlo. La WER se basa en la distancia de edición entre cadenas, así que penaliza cualquier diferencia entre las dos transcripciones, incluidas las que una persona daría por correctas, como una contracción escrita completa o un número escrito con cifras.

El artículo de Whisper describe este problema y lo resuelve con un normalizador de texto que se aplica a las dos transcripciones antes de contar los errores. Los autores indican que, en varios conjuntos de datos, este paso por sí solo redujo la WER hasta un 50 por ciento. Una cifra de WER sin una descripción de la normalización que hay detrás no se puede comparar con otra.

• El normalizador de Whisper elimina las palabras hmm, mm, mhm, mmm, uh y um antes de puntuar.
• Elimina cualquier frase entre corchetes o paréntesis.
• Desarrolla las contracciones en su forma completa.
• Reescribe con cifras los números y las cantidades de dinero escritos con letras, de modo que “ten thousand dollars” pasa a ser “$10000”.
• Convierte la ortografía británica en estadounidense y quita la mayor parte de la puntuación y los símbolos.

La tasa de error de caracteres (CER) es el mismo cálculo hecho sobre caracteres en lugar de palabras. Una letra equivocada en una palabra larga es un error completo en la WER y una pequeña fracción de error en la CER, así que la CER es la cifra más benévola y las dos no se pueden comparar entre sí.

Quienes publican los modelos eligen la unidad para cada idioma. El proyecto Whisper, por ejemplo, indica la WER o la CER para cada idioma en los conjuntos de datos Common Voice 15 y Fleurs. Cuando leas una tabla de precisión, comprueba cuál de las dos usa una fila antes de compararla con otra.