Word error rate

Todo erro conta igual, e eles não são iguais. Perder um “hã” é uma melhoria; perder um “não” inverte o sentido. Um sobrenome escrito errado custa uma correção; um “o” escrito errado não custa nada, porque você nem vê. A formatação é totalmente invisível para a WER: “1030 am” e “10:30 AM” são as mesmas palavras. Então uma ferramenta com uma WER bruta um pouco pior e uma etapa de formatação muito melhor pode produzir um texto que precisa de bem menos correções.

É por isso que o número que realmente importa para você está mais perto de “correções a cada cem palavras depois da formatação”, que nenhum benchmark informa e que você só consegue medir ditando o seu próprio trabalho por uma semana.

Pergunte qual benchmark, qual idioma e qual microfone. “99% de precisão” sem nenhum conjunto de dados citado é uma frase de marketing. Pergunte se o número é de antes ou de depois de alguma etapa de correção, e se havia um dicionário pessoal em uso. E pese isso contra o que a WER não enxerga: nomes, números e se o texto chega como escrita ou como transcrição.

Um microfone melhor, mais perto da boca, ajuda mais do que qualquer troca de modelo. Terminar as frases antes de soltar a tecla dá ao modelo contexto para desfazer ambiguidades. E um dicionário pessoal com os nomes e termos que você realmente fala corrige os erros que se repetem, que são os que importam, porque um erro que acontece uma vez por mês é um incômodo e um que acontece todo dia é um motivo para parar de ditar.

Você pode medir a WER com a sua própria voz e o seu próprio microfone usando uma ferramenta gratuita e de código aberto chamada jiwer. Ela calcula a distância mínima de edição entre uma transcrição correta e o que o reconhecedor produziu, que é o mesmo cálculo que os benchmarks usam.

O resultado descreve a sua mesa, o seu microfone e o trecho que você leu. É uma amostra pequena, então trate o número como uma leitura aproximada e repita o teste com outro texto antes de tirar conclusões.

1. 01 Escolha um trecho de algumas centenas de palavras e salve-o como um arquivo de texto simples chamado ref.txt, com uma frase por linha. Essa é a sua referência.
2. 02 Dite o mesmo trecho com a ferramenta que você quer testar e salve o resultado como hyp.txt, com as mesmas frases nas mesmas linhas.
3. 03 Decida como vai tratar maiúsculas, pontuação e números e aplique a mesma limpeza aos dois arquivos. Uma escolha simples é passar tudo para minúsculas e tirar a pontuação dos dois.
4. 04 Abra o Terminal e instale a ferramenta com: pip install jiwer (ela exige Python 3.8 ou posterior).
5. 05 Execute: jiwer -r ref.txt -h hyp.txt para mostrar a WER (word error rate).
6. 06 Adicione -a ao comando para mostrar o alinhamento de cada frase e ver quais palavras foram substituídas, omitidas ou inseridas.
7. 07 Adicione -c se preferir a taxa de erro por caractere (CER).

Normalmente porque o texto foi limpo de jeitos diferentes antes do cálculo. A WER se baseia na distância de edição entre strings, então penaliza cada diferença entre as duas transcrições, inclusive diferenças que uma pessoa consideraria corretas, como uma contração escrita por extenso ou um número escrito em algarismos.

O artigo do Whisper descreve esse problema e o resolve com um normalizador de texto aplicado às duas transcrições antes da contagem dos erros. Os autores relatam que, em vários conjuntos de dados, só essa etapa reduziu a WER em até 50%. Um número de WER sem a descrição da normalização por trás dele não pode ser comparado com outro.

• O normalizador do Whisper remove as palavras hmm, mm, mhm, mmm, uh e um antes do cálculo.
• Ele remove qualquer trecho entre colchetes ou parênteses.
• Ele expande as contrações para a forma completa.
• Ele reescreve com algarismos os números e valores em dinheiro escritos por extenso, de modo que “ten thousand dollars” vira “$10000”.
• Ele converte grafias britânicas em americanas e remove a maior parte da pontuação e dos símbolos.

A taxa de erro por caractere (CER, de character error rate) é o mesmo cálculo feito sobre caracteres em vez de palavras. Uma letra errada numa palavra longa é um erro inteiro na WER e uma pequena fração de erro na CER, então a CER é o número mais brando, e as duas não podem ser comparadas entre si.

Quem publica os modelos escolhe a unidade para cada idioma. O projeto Whisper, por exemplo, informa WER ou CER para cada idioma nos conjuntos de dados Common Voice 15 e Fleurs. Ao ler uma tabela de precisão, confira qual das duas cada linha usa antes de compará-la com outra.