Whisper large-v3 turbo

O anúncio da OpenAI resume em uma frase: o turbo é uma versão otimizada do large-v3 com apenas 4 camadas no decodificador, o mesmo número do modelo tiny, contra 32 na série large. O model card o chama de versão com ajuste fino de um large-v3 podado.

Depois que o decodificador foi reduzido, o modelo foi treinado por mais duas épocas com os mesmos dados multilíngues de transcrição do large-v3. Os dados de tradução ficaram de fora, o que importa para a próxima seção.

A tabela da própria OpenAI coloca o turbo a cerca de 8 vezes a velocidade do modelo large, com cerca de 6 GB de memória de vídeo contra cerca de 10 GB. Esses números foram medidos transcrevendo fala em inglês numa placa de vídeo A100, então descrevem a proporção, não o que um Mac específico vai fazer.

Sobre precisão, a OpenAI diz que, no conjunto dos idiomas, o turbo tem desempenho parecido com o do large-v2, com degradação maior em alguns idiomas, e cita o tailandês e o cantonês.

O turbo compartilha os limites de todo modelo Whisper e acrescenta um próprio.

• Ele não traduz. A OpenAI afirma que o turbo não foi treinado para tarefas de tradução e devolve o idioma original mesmo quando se pede tradução para o inglês.
• Ele pode alucinar. O model card diz que as previsões podem incluir texto que não foi realmente falado.
• Ele pode se repetir. A ficha diz que a arquitetura o torna propenso a gerar texto repetitivo.
• Ele é desigual entre os idiomas, nas palavras da própria ficha.
• Ele não foi feito para uso ao vivo. A ficha diz que os modelos Whisper não podem ser usados para transcrição em tempo real sem adaptações.

Os pesos publicados têm cerca de 1,6 GB em 16 bits. Existem versões menores porque os pesos podem ser quantizados, o que troca um pouco de precisão por um download menor.

O model card lista 99 idiomas. A licença é MIT tanto para o código quanto para os pesos, então ele pode ser usado e distribuído livremente.

Não existe um jeito único. A OpenAI publica o modelo para Python. Outros projetos convertem os mesmos pesos para rodar em Apple silicon, seja no chip gráfico, seja pelos frameworks da própria Apple, e é sobre eles que os apps para Mac são construídos.

Como o Whisper lê um trecho de áudio antes de escrever, ele combina com gravações prontas e com ditado que aparece quando você para. As ferramentas que mostram as palavras enquanto você ainda fala dividem o áudio por conta própria ou usam um modelo de streaming para essa parte.