Word error rate

Ogni errore conta allo stesso modo, e non sono uguali. Un «ehm» eliminato è un miglioramento; un «non» eliminato ribalta il significato. Un cognome scritto male ti costa una correzione; un articolo scritto male non ti costa niente perché non lo noti nemmeno. La formattazione è del tutto invisibile al WER: «1030 am» e «10:30 AM» sono le stesse parole. Così uno strumento con un WER grezzo un po’ peggiore e un passaggio di formattazione molto migliore può produrre un testo che richiede molte meno correzioni.

Ecco perché il numero che ti interessa davvero è più vicino alle «correzioni ogni cento parole dopo la formattazione», che nessun benchmark riporta e che puoi misurare solo dettando il tuo lavoro per una settimana.

Chiedi quale benchmark, quale lingua e quale microfono. «Preciso al 99%» senza un dataset indicato è una frase di marketing. Chiedi se il valore è prima o dopo un eventuale passaggio di correzione, e se era in uso un dizionario personale. E confrontalo con le cose che il WER non vede: nomi, numeri e se il testo arriva come scrittura o come trascrizione.

Un microfono migliore, più vicino alla bocca, aiuta più di qualsiasi cambio di modello. Finire le frasi prima di rilasciare il tasto dà al modello il contesto per risolvere le ambiguità. E un dizionario personale per i nomi e i termini che dici davvero corregge gli errori che si ripetono, che sono quelli che contano, perché un errore che capita una volta al mese è un fastidio, mentre uno che capita ogni giorno è un motivo per smettere di dettare.

Puoi misurare il WER sulla tua voce e con il tuo microfono con uno strumento open source gratuito chiamato jiwer. Calcola la distanza di modifica minima tra una trascrizione corretta e ciò che ha prodotto il riconoscitore, che è lo stesso calcolo usato dai benchmark.

Il risultato descrive la tua scrivania, il tuo microfono e il brano che hai letto. È un campione piccolo, quindi consideralo una misura approssimativa e ripeti la prova con un testo diverso prima di trarre conclusioni.

1. 01 Scegli un brano di qualche centinaio di parole e salvalo come file di testo semplice chiamato ref.txt, con una frase per riga. Questo è il tuo riferimento.
2. 02 Detta lo stesso brano con lo strumento che vuoi provare e salva il risultato come hyp.txt, con le stesse frasi sulle stesse righe.
3. 03 Decidi come trattare maiuscole, punteggiatura e numeri, poi applica la stessa pulizia a entrambi i file. Una scelta semplice è mettere tutto in minuscolo e togliere la punteggiatura in tutti e due.
4. 04 Apri Terminale e installa lo strumento con: pip install jiwer (serve Python 3.8 o successivo).
5. 05 Esegui: jiwer -r ref.txt -h hyp.txt per stampare il word error rate.
6. 06 Aggiungi -a al comando per stampare l’allineamento di ogni frase, così vedi quali parole sono state sostituite, omesse o inserite.
7. 07 Aggiungi -c se invece vuoi il character error rate.

Di solito perché il testo è stato ripulito in modo diverso prima del calcolo. Il WER si basa sulla distanza di modifica tra stringhe, quindi penalizza ogni differenza tra le due trascrizioni, comprese quelle che una persona considererebbe corrette, come una forma contratta scritta per intero o un numero scritto in cifre.

L’articolo su Whisper descrive questo problema e lo risolve con un normalizzatore del testo applicato a entrambe le trascrizioni prima di contare gli errori. Gli autori riportano che, per diversi dataset, questo solo passaggio ha abbassato il WER fino al 50 per cento. Un valore di WER senza la descrizione della normalizzazione usata non si può confrontare con un altro.

• Il normalizzatore di Whisper elimina le parole hmm, mm, mhm, mmm, uh e um prima del calcolo.
• Elimina qualsiasi frase tra parentesi quadre o tonde.
• Scioglie le forme contratte nella loro forma completa.
• Riscrive in cifre i numeri e gli importi scritti in lettere, così «ten thousand dollars» diventa «$10000».
• Converte l’ortografia britannica in quella americana ed elimina la maggior parte della punteggiatura e dei simboli.

Il character error rate (CER, tasso di errore sui caratteri) è lo stesso calcolo fatto sui caratteri invece che sulle parole. Una lettera sbagliata in una parola lunga è un errore intero nel WER e una piccola frazione di errore nel CER, quindi il CER è il numero più indulgente, e i due non si possono confrontare tra loro.

Chi pubblica i modelli sceglie l’unità per ogni lingua. Il progetto Whisper, per esempio, riporta il WER o il CER per ciascuna lingua sui dataset Common Voice 15 e Fleurs. Quando leggi una tabella di accuratezza, controlla quale dei due usa una riga prima di confrontarla con un’altra.