Alucinação

Silêncio no começo ou no fim de uma gravação, e é por isso que a captura até soltar a tecla e a detecção de atividade de voz importam. Falas muito curtas, uma única palavra ou uma tosse, em que o modelo tem pouco demais em que se apoiar. Fala de fundo vinda de um vídeo ou de um colega, que é fala de verdade, mas não é sua. Gravações longas, em que alguns modelos se perdem e repetem um trecho. Cada caso tem uma forma conhecida de mitigação, e uma ferramenta que não as aplicou vai surpreender você um dia.

Rode um detector de atividade de voz primeiro e nunca envie o que não é fala ao reconhecedor. Corte o silêncio nas duas pontas. Descarte resultados de trechos abaixo de uma duração mínima. Fique de olho no modelo emitindo texto sem energia de áudio correspondente e descarte esse texto. No lado da formatação, recuse qualquer reescrita que acrescente uma palavra de conteúdo que a transcrição não tinha, para que um modelo de formatação também não possa alucinar. Uma ferramenta que faz tudo isso ainda vai entender você errado de vez em quando; ela nunca deveria inventar uma frase.

Se você usa a ferramenta de linha de comando de código aberto do Whisper em gravações e ela inventa ou repete texto, a ferramenta tem opções documentadas justamente para isso. Elas não eliminam o problema, mas atacam as duas formas mais comuns: texto inventado sobre silêncio e um trecho repetido em loop.

Os autores do Whisper descrevem essas verificações como um paliativo para previsões ruidosas, não como uma cura, então compare o resultado com o áudio depois de alterá-las.

1. 01 Abra o Terminal e processe o arquivo uma vez com os ajustes padrão, por exemplo: whisper recording.wav --model turbo. Anote onde aparece o texto inventado ou repetido.
2. 02 Se um trecho se repetir, execute de novo com --condition_on_previous_text False. A documentação diz que isso pode deixar o texto menos consistente entre janelas, mas o modelo fica menos propenso a travar num loop de falha.
3. 03 Se aparecer texto sobre silêncio, adicione --word_timestamps True --hallucination_silence_threshold 2. Com as marcas de tempo por palavra ativadas, isso pula períodos de silêncio mais longos que o número de segundos indicado quando uma possível alucinação é detectada.
4. 04 Deixe --no_speech_threshold no padrão de 0.6 e --logprob_threshold no padrão de -1.0, a menos que tenha um motivo para mudá-los. Juntos, eles decidem quando um segmento é tratado como silêncio.
5. 05 Corte os silêncios longos do início e do fim da gravação em qualquer editor de áudio e execute de novo, para que o modelo tenha menos trechos sem fala para processar.
6. 06 Compare a nova transcrição com o áudio nos pontos que você anotou no primeiro passo.

Um erro de audição é uma palavra errada no lugar em que você disse outra. Ela soa como o que você disse, e dá para entender por que o modelo a escolheu. Uma alucinação não tem nenhuma origem no áudio. O artigo do Whisper descreve o caso extremo como uma transcrição sem nenhuma relação com o áudio real.

A diferença importa porque as soluções são diferentes. Um erro de audição melhora com um microfone melhor, uma fala mais clara ou uma entrada no dicionário. Uma alucinação se evita mantendo o silêncio e o ruído longe do modelo, ou rejeitando a saída sobre a qual o próprio modelo estava inseguro.

• Texto que aparece onde você estava em silêncio ou já tinha parado de falar é uma alucinação.
• A mesma expressão ou frase repetida várias vezes seguidas é um loop de repetição, que o artigo do Whisper lista como uma falha diferente da alucinação.
• Uma palavra errada que soa como a certa é um erro de audição.
• Sumirem as primeiras ou as últimas palavras de uma gravação é uma terceira falha citada no artigo do Whisper, e é uma omissão, não uma alucinação.

O código aberto do Whisper verifica cada janela de 30 segundos depois de decodificá-la. Se a probabilidade logarítmica média dos tokens gerados ficar abaixo de -1,0, ou se a taxa de compressão gzip do texto passar de 2,4, a janela é tratada como falha e decodificada de novo com uma temperatura mais alta. Texto muito repetitivo se comprime bem, e é por isso que a taxa de compressão pega os loops.

Para o silêncio, o artigo observa que a probabilidade do token de ausência de fala, sozinha, não basta para detectar uma janela sem fala. Combinar um limiar de ausência de fala de 0,6 com o limiar de probabilidade logarítmica de -1 torna a detecção mais confiável. O model card ainda lista a alucinação e o texto repetitivo como limitações conhecidas.