Transcrição em streaming

Com o reconhecimento em lote, o modelo começa a trabalhar quando você solta a tecla, e você espera a gravação inteira ser processada. A pausa é proporcional ao tempo que você falou. Com o streaming, o modelo vem acompanhando desde o início, então, quando você solta a tecla, só falta terminar a última fração de segundo de áudio e rodar a etapa de formatação. O resultado é uma espera que não cresce com a frase, e é isso que as pessoas querem dizer quando falam que uma ferramenta é rápida.

Há um segundo efeito. Ver as palavras ao vivo mostra que a ferramenta está ouvindo você corretamente, então você para de conferir o resultado depois. Essa confiança é quase tudo o que faz o ditado virar hábito em vez de experiência.

Um modelo de streaming fixa as palavras de forma provisória e pode mudar de ideia à medida que chega mais áudio: “a reunião está” pode virar “a reunião estava” um instante depois. Boas ferramentas mostram essas revisões numa exibição temporária, como uma sobreposição no notch ou uma pílula flutuante, e só inserem no seu documento o texto já definido. Inserir resultados parciais ao vivo no app e depois reescrevê-los é o caminho para uma ferramenta acabar brigando com o seu editor de texto.

O streaming precisa de um modelo do tipo transdutor treinado para o idioma. As famílias que fazem streaming bem hoje cobrem algumas dezenas de idiomas; modelos em lote como o Whisper cobrem cerca de cem. Uma ferramenta que anuncia 99 idiomas e texto ao vivo geralmente faz streaming nos idiomas que o seu transdutor suporta e processa o resto em lote, e uma página de produto honesta diz quais são quais.

O macOS tem um exemplo integrado de transcrição em streaming chamado Legendas ao Vivo. Ele escreve legendas para o áudio dos seus apps, ou para o som captado pelo microfone, enquanto o áudio ainda está tocando. A Apple diz que o áudio é processado no dispositivo. As Legendas ao Vivo estão disponíveis só em computadores Mac com Apple silicon, e não em todos os idiomas, países ou regiões.

1. 01 Escolha menu Apple → Ajustes do Sistema e clique em Acessibilidade na barra lateral.
2. 02 Clique em Legendas ao Vivo e ative o recurso.
3. 03 Reproduza um vídeo ou um podcast em qualquer app.
4. 04 Observe a janela de legendas. O texto aparece enquanto a pessoa ainda está falando, e isso é streaming.
5. 05 Desative as Legendas ao Vivo no mesmo lugar quando terminar.

No caso do Whisper, não de fábrica. O model card da OpenAI diz que os modelos Whisper não podem ser usados para transcrição em tempo real de fábrica, e que outros talvez consigam criar aplicações quase em tempo real com base neles. O código de referência move uma janela de 30 segundos por um arquivo já pronto.

O Parakeet chega mais perto. O model card da NVIDIA para o Parakeet TDT 0.6B v3 documenta um modo de streaming, e as configurações de exemplo mostram a troca que todo sistema de streaming faz: o áudio é processado em blocos de 2 segundos, com 10 segundos de áudio anterior e 2 segundos de áudio posterior como contexto. O áudio posterior é o look-ahead. Mais dele dá ao modelo mais em que se basear, e também significa que as palavras aparecem mais tarde.

O streaming importa quando uma pessoa está esperando as palavras. O processamento em lote serve, e muitas vezes é mais simples, quando o áudio já existe como arquivo. Se você está escolhendo uma ferramenta, combine o modo com a tarefa.

• Ditar em um campo de texto: streaming, para você ver que está sendo ouvido.
• Legendas para uma chamada ao vivo ou uma palestra: streaming, porque uma legenda que chega depois que a frase acabou serve para pouca coisa.
• Transcrever uma reunião, entrevista ou aula gravada: em lote. Ninguém está assistindo às palavras chegarem.
• Gerar arquivos de legenda: em lote. A ferramenta de linha de comando do Whisper gera arquivos srt e vtt diretamente.
• Um idioma que o seu modelo de streaming não cobre: em lote, com um modelo que cubra esse idioma.