Whisper large-v3 turbo

L’annuncio di OpenAI lo riassume in una frase: turbo è una versione ottimizzata di large-v3 con solo 4 strati di decoder, gli stessi del modello tiny, invece dei 32 della serie large. La scheda del modello lo definisce una versione fine-tuned di un large-v3 sottoposto a pruning.

Dopo la riduzione del decoder, il modello è stato addestrato per altre due epoche sugli stessi dati di trascrizione multilingue di large-v3. I dati di traduzione sono stati esclusi, e questo conta per la sezione successiva.

La tabella di OpenAI indica turbo a circa 8 volte la velocità del modello large, con circa 6 GB di memoria video contro circa 10 GB. Quei valori sono stati misurati trascrivendo parlato in inglese su una scheda grafica A100, quindi descrivono il rapporto, non quello che farà un determinato Mac.

Sulla precisione, OpenAI dice che nelle varie lingue turbo ha prestazioni simili a large-v2, con un degrado maggiore in alcune lingue, e cita il thailandese e il cantonese.

Turbo condivide i limiti di tutti i modelli Whisper, e ne aggiunge uno suo.

• Non traduce. OpenAI afferma che turbo non è addestrato per la traduzione e restituisce la lingua originale anche quando gli si chiede di tradurre in inglese.
• Può avere allucinazioni. La scheda del modello dice che le previsioni possono includere testo che non è stato effettivamente pronunciato.
• Può ripetersi. La scheda dice che l’architettura lo rende incline a generare testo ripetitivo.
• È disomogeneo tra una lingua e l’altra, per usare le parole della scheda.
• Non è pensato per l’uso dal vivo. La scheda dice che i modelli Whisper non possono essere usati così come sono per la trascrizione in tempo reale.

I pesi pubblicati occupano circa 1,6 GB in formato a 16 bit. Esistono versioni più piccole perché i pesi si possono quantizzare, il che sacrifica un po’ di precisione in cambio di un download più piccolo.

La scheda del modello elenca 99 lingue. La licenza è MIT sia per il codice sia per i pesi, quindi lo si può usare e distribuire liberamente.

Non c’è un unico modo. OpenAI pubblica il modello per Python. Altri progetti convertono gli stessi pesi per farli girare su Apple silicon, sul chip grafico o tramite i framework di Apple, ed è su questi che si basano le app per Mac.

Poiché Whisper legge un blocco di audio prima di scrivere, è adatto alle registrazioni finite e alla dettatura che compare quando smetti di parlare. Gli strumenti che mostrano le parole mentre stai ancora parlando suddividono l’audio da soli, oppure usano un modello in streaming per quella parte.