Parakeet

Um modelo codificador-decodificador como o Whisper é um leitor e um escritor: o codificador digere uma janela de áudio e depois o decodificador escreve a transcrição. Um transdutor une os dois para que cada nova fatia de áudio possa produzir um novo token sem esperar a janela fechar. É disso que o streaming precisa, e é também por isso que os transdutores costumam ser mais estáveis em áudios longos: eles nunca chegam a “reconsiderar” uma passagem inteira e repeti-la.

O Parakeet é o motor que você quer rodando enquanto a tecla está pressionada. Ele mostra a transcrição ao vivo no notch ou na pílula, confirma que você foi ouvido e deixa quase nada para fazer quando você solta a tecla. A qualidade do texto final continua dependendo da etapa de formatação que vem depois, e de um dicionário para os nomes, exatamente como com qualquer modelo de ASR.

Os modelos Parakeet que a maioria das pessoas tem em mente hoje são as duas versões TDT 0.6B. As duas têm 600 milhões de parâmetros, as duas adicionam pontuação e maiúsculas, as duas devolvem marcas de tempo e as duas são publicadas sob a licença CC BY 4.0.

A diferença é o idioma. A versão 2 é só em inglês e foi treinada com cerca de 120.000 horas de fala em inglês. A versão 3 amplia para 25 idiomas europeus e detecta qual deles está sendo falado sem que ninguém precise informar. A NVIDIA informa uma WER média no Hugging Face Open ASR Leaderboard de 6,05% para a v2 e de 6,34% para a v3.

• Europa Ocidental e do Norte: alemão, dinamarquês, finlandês, francês, holandês, inglês, sueco.
• Sul da Europa: espanhol, grego, italiano, maltês, português.
• Europa Central: croata, eslovaco, esloveno, húngaro, polonês, tcheco.
• Países bálticos: estoniano, letão, lituano.
• Leste Europeu: búlgaro, romeno, russo, ucraniano.

A NVIDIA publica o Parakeet pelo seu toolkit NeMo para Python. O model card lista o Linux como sistema operacional compatível e diz que o modelo é otimizado para placas de vídeo NVIDIA, então trate uma execução no Mac como um experimento. Ele precisa de pelo menos 2 GB de memória para carregar, e mais memória permite processar áudios mais longos.

1. 01 Instale uma versão recente do PyTorch e depois instale o toolkit com: pip install -U nemo_toolkit['asr']
2. 02 Converta sua gravação para o formato que o modelo espera, 16 kHz mono em wav ou flac. Com o ffmpeg: ffmpeg -i input.m4a -ar 16000 -ac 1 audio.wav
3. 03 Abra o Python e rode: import nemo.collections.asr as nemo_asr
4. 04 Carregue o modelo com: asr_model = nemo_asr.models.ASRModel.from_pretrained(model_name="nvidia/parakeet-tdt-0.6b-v3")
5. 05 Transcreva com: output = asr_model.transcribe(['audio.wav'])
6. 06 Mostre o texto com: print(output[0].text)
7. 07 Adicione timestamps=True à chamada transcribe se quiser marcas de tempo por palavra e por segmento.

Os dois são modelos abertos de reconhecimento de fala que você pode baixar, e os dois escrevem texto pontuado. Eles diferem em tamanho, cobertura, licença e no que foram projetados para fazer. A NVIDIA descreve o Parakeet TDT 0.6B v3 como projetado para transcrição em alto volume, e o model card também documenta um modo de streaming que processa o áudio em blocos de alguns segundos.

• Idiomas: o Parakeet TDT 0.6B v3 cobre 25 idiomas europeus. O Whisper foi treinado em inglês e em mais 98 idiomas.
• Tamanho: o Parakeet TDT 0.6B tem 600 milhões de parâmetros. O Whisper vai de 39 milhões (tiny) a 1.550 milhões (large).
• Licença: o Parakeet é CC BY 4.0, que exige atribuição. O Whisper é MIT.
• Tradução: o Whisper pode traduzir outros idiomas para o inglês. Os model cards do Parakeet TDT descrevem apenas transcrição.
• Áudio longo: o Parakeet processa até 24 minutos de uma vez, ou até 3 horas com atenção local. O Whisper move uma janela de 30 segundos pelo arquivo.
• Entrada: o Parakeet espera wav ou flac mono de 16 kHz. O Whisper usa o ffmpeg para ler formatos de áudio comuns.