Diarização de falantes

Duas pessoas com vozes parecidas, uma pessoa cuja voz muda com um resfriado, falas sobrepostas e um microfone de notebook que achata todo mundo no mesmo som ambiente: tudo isso derrota o agrupamento. O número de falantes costuma ser estimado, não conhecido. Os melhores sistemas vão bem com áudio limpo e de turnos alternados, como um podcast, e bem pior numa reunião real em que três pessoas falam ao mesmo tempo. Conte com corrigir rótulos à mão.

Transcritores de reuniões como o Otter.ai constroem o produto em torno disso. Transcritores de arquivos como o MacWhisper oferecem identificação de falantes em gravações. As ferramentas de ditado em geral não oferecem, porque a tarefa nunca tem dois falantes. Se a diarização está na sua lista de requisitos, você está procurando um transcritor.

O kit de ferramentas de código aberto pyannote.audio faz a diarização de locutores localmente no seu computador. Ele diz quem falou quando, com o horário de início e de fim de cada fala. Ele não produz as palavras, então você combina a saída dele com uma transcrição de um reconhecedor de fala.

Os passos abaixo usam o pipeline da comunidade, lançado sob a licença CC-BY-4.0, que exige uma conta gratuita no Hugging Face para ser baixado.

1. 01 Confirme que o ffmpeg está instalado, por exemplo com: brew install ffmpeg
2. 02 Instale o kit de ferramentas no Terminal com: pip install pyannote.audio
3. 03 Entre no Hugging Face e aceite as condições de uso na página pyannote/speaker-diarization-community-1.
4. 04 Crie um token de acesso do Hugging Face em hf.co/settings/tokens.
5. 05 No Python, carregue o pipeline com Pipeline.from_pretrained, passando o nome do pipeline e o seu token, e depois chame-o com o seu arquivo de áudio.
6. 06 Percorra o campo speaker_diarization da saída para ler cada fala com o horário de início, o horário de fim e o rótulo do locutor.
7. 07 Se souber quantas pessoas falaram, passe num_speakers ao chamar o pipeline. Se só souber uma faixa, passe min_speakers e max_speakers.

Não. Os dois são modelos de reconhecimento de fala, e nenhum foi feito para identificar locutores. O model card do Whisper diz que os modelos não foram avaliados de forma robusta em classificação de locutores nem em diarização de locutores. O model card da NVIDIA para o Parakeet TDT 0.6B v2 não lista a diarização de locutores entre os seus recursos.

O artigo do Whisper registra uma peculiaridade relacionada. Os primeiros modelos tendiam a escrever palpites plausíveis, mas quase sempre errados, para os nomes dos locutores, porque muitas transcrições de treino incluíam o nome de quem estava falando. Os autores eliminaram esse comportamento com um ajuste fino em transcrições sem anotações de locutor. Se uma transcrição feita só por um modelo de reconhecimento trouxer nomes de locutores, não confie neles.

A métrica padrão é a taxa de erro de diarização (DER), dada em porcentagem: quanto menor, melhor. Ela soma três tipos de erro: falso alarme, quando é registrada uma fala que não existiu; detecção perdida, quando uma fala real não é atribuída a ninguém; e confusão de locutor, quando a fala é atribuída à pessoa errada.

Assim como na WER, as regras de avaliação mudam o número. Algumas avaliações perdoam uma pequena margem de tempo em torno de cada troca de locutor, e algumas ignoram a fala sobreposta. Os benchmarks do pyannote afirmam que não usam nenhuma margem de tolerância e não ignoram a fala sobreposta, que é a configuração mais rigorosa. Verifique essas duas escolhas antes de comparar números de DER de fontes diferentes.