Disfluência

Pausas preenchidas: hum, ãh, é, e seus equivalentes em todos os idiomas. Marcadores discursivos: tipo, sabe, meio que, quando não carregam significado. Repetições: “a a reunião”, “eu eu acho”. Começos em falso: uma frase abandonada e recomeçada. Autocorreções: um valor substituído por outro, sinalizado por “no wait”, “scratch that”, “I mean”. Cada um pede um tratamento diferente, e o último é o caso interessante, porque o resultado certo não é remover palavras, mas fazer a correção sobreviver.

Pausas preenchidas e repetições podem ser removidas por regra sem risco: “hum” nunca é uma palavra que você quis dizer. Marcadores discursivos são mais delicados, porque “tipo” às vezes é um substantivo. As autocorreções são o caso mais forte para uma regra estreita: quando os dois lados de “no wait” são o mesmo tipo de coisa, um horário, um número ou um dia, trocar o primeiro pelo segundo é certeiro, e não é preciso um modelo. Tudo o que for menos claro fica com um modelo de linguagem com instruções rígidas: remover o que não foi intencional, nunca reescrever o que foi.

Limpeza em excesso. Um modelo instruído a deixar a fala bem escrita vai, se tiver a chance, enxugar suas frases, trocar suas palavras pelas dele e cortar a ressalva que era justamente o ponto. O teste é simples: dite algo com uma escolha de palavra incomum e veja se ela sobrevive. Uma ferramenta que remove seus vícios de fala e mantém suas palavras está fazendo o trabalho; uma que melhora seu texto está fazendo outro trabalho, que você não pediu.

O jeito mais limpo de lidar com os vícios de fala é dizer menos deles. Um vício de fala costuma ser uma pausa preenchida com som, e o hábito vem da conversa, em que o silêncio convida outra pessoa a começar a falar. Uma ferramenta de ditado não interrompe, então você pode fazer a pausa em silêncio.

Com o Ditado integrado da Apple, você tem bastante espaço para isso. A Apple afirma que o Ditado só para automaticamente quando nenhuma fala é detectada por 30 segundos.

1. 01 Decida qual é a frase antes de começar a ditar, mesmo que só por alto.
2. 02 Fale uma frase de cada vez e pare no fim dela.
3. 03 Quando precisar pensar, feche a boca e não diga nada. Uma pausa em silêncio não deixa nada no texto.
4. 04 Fale um pouco mais devagar. Os vícios de fala aparecem quando a boca corre na frente do próximo pensamento.
5. 05 Se errar, termine a frase e corrija depois, em vez de recomeçar no meio.
6. 06 Releia o que ditou e anote quais vícios de fala você usa mais, para prestar atenção neles da próxima vez.

Porque muitas configurações de benchmark apagam os vícios de fala das duas transcrições antes de contar os erros. O normalizador de texto publicado com o artigo do Whisper remove as palavras hmm, mm, mhm, mmm, uh e um da referência e da saída do modelo antes do cálculo da WER.

Na prática, um número de precisão publicado não diz nada sobre vícios de fala. Um modelo que escreve todos eles e um modelo que não escreve nenhum podem receber a mesma nota. Se os vícios de fala chegam ao seu documento é uma característica da ferramenta em volta do modelo, e você precisa testar isso por conta própria.

Um teste curto separa as ferramentas que removem vícios de fala com regras cuidadosas das que removem demais ou não removem nada. Dite cada linha abaixo como está escrita, com as hesitações, e compare a saída com o que você quis dizer.

1. 01 Dite uma frase com pausas preenchidas, como: “the report is um almost uh finished”. Os dois vícios de fala devem sumir e todas as outras palavras devem ficar.
2. 02 Dite um tropeço, como: “I I think the the meeting moved”. As palavras duplicadas devem aparecer uma vez só.
3. 03 Dite uma repetição proposital, como: “that was a very very long day”. As duas palavras devem ficar, porque a repetição é ênfase.
4. 04 Dite “like” usado como palavra de verdade, como: “I like the second option”. A palavra não pode ser removida.
5. 05 Dite uma autocorreção, como: “send it Monday no wait Tuesday”. Veja se você recebe o valor corrigido, os dois valores ou o errado.
6. 06 Dite uma ressalva que você quer manter, como: “I think we should probably wait”. Se faltar “I think” ou “probably”, a ferramenta está reescrevendo, não limpando.