Parakeet
Aggiornato il
Definizione
Parakeet è una famiglia di modelli open source di riconoscimento vocale di NVIDIA, basata su un’architettura transducer, che può emettere le parole man mano che arriva l’audio. Per questo è un motore comune negli strumenti di dettatura dal vivo, mentre Whisper è fatto per leggere prima un intero blocco.
I modelli Parakeet sono addestrati per lo stesso compito di Whisper ma con una forma diversa: invece di leggere un intero blocco prima di scrivere, un transducer produce token di continuo, così il testo può apparire mentre stai ancora parlando. Su Apple silicon le varianti più piccole di Parakeet girano in tempo reale con margine, il che le rende adatte alla dettatura, dove le parole devono arrivare al rilascio del tasto.
Il prezzo da pagare è la copertura. I modelli Parakeet sono addestrati su un numero di lingue più piccolo di Whisper, quindi gli strumenti che ne usano uno per lo streaming lo affiancano a un modello batch per tutto il resto.
Transducer o encoder-decoder
Un modello encoder-decoder come Whisper è un lettore e uno scrittore: l’encoder elabora una finestra di audio, poi il decoder scrive la trascrizione. Un transducer unisce i due, così ogni nuovo frammento di audio può produrre un nuovo token senza aspettare che la finestra si chiuda. È quello che serve allo streaming, ed è anche il motivo per cui i transducer tendono a essere più stabili sull’audio lungo: non arrivano mai a «ripensare» un intero passaggio e a ripeterlo.
Dove si colloca in uno strumento di dettatura
Parakeet è il motore che vuoi in funzione mentre tieni premuto il tasto. Fornisce la trascrizione dal vivo nel notch o nella pillola, conferma che ti ha sentito e lascia quasi niente da fare al rilascio del tasto. La qualità del testo finale dipende comunque dalla fase di formattazione che segue, e da un dizionario per i nomi, esattamente come con qualsiasi modello ASR.
Parakeet v2 e v3: quale versione fa cosa
I modelli Parakeet a cui pensa oggi la maggior parte delle persone sono le due versioni TDT 0.6B. Entrambe hanno 600 milioni di parametri, entrambe aggiungono punteggiatura e maiuscole, entrambe restituiscono timestamp ed entrambe sono rilasciate sotto licenza CC BY 4.0.
La differenza è la lingua. La versione 2 è solo in inglese ed è stata addestrata su circa 120.000 ore di parlato inglese. La versione 3 la estende a 25 lingue europee e rileva quale viene parlata senza che glielo si dica. NVIDIA riporta sulla Open ASR Leaderboard di Hugging Face un tasso medio di errore sulle parole del 6,05% per v2 e del 6,34% per v3.
- Europa occidentale e settentrionale: danese, olandese, inglese, finlandese, francese, tedesco, svedese.
- Europa meridionale: greco, italiano, maltese, portoghese, spagnolo.
- Europa centrale: croato, ceco, ungherese, polacco, slovacco, sloveno.
- Paesi baltici: estone, lettone, lituano.
- Europa orientale: bulgaro, rumeno, russo, ucraino.
Come eseguire Parakeet sul tuo audio
NVIDIA pubblica Parakeet tramite il suo toolkit NeMo per Python. La scheda del modello indica Linux come sistema operativo supportato e dice che il modello è ottimizzato per le schede grafiche NVIDIA, quindi considera un’esecuzione su un Mac come un esperimento. Servono almeno 2 GB di memoria per caricarlo, e con più memoria può gestire audio più lunghi.
- Installa una versione recente di PyTorch, poi installa il toolkit con: pip install -U nemo_toolkit['asr']
- Converti la registrazione nel formato che il modello si aspetta, 16 kHz mono in wav o flac. Con ffmpeg: ffmpeg -i input.m4a -ar 16000 -ac 1 audio.wav
- Avvia Python ed esegui: import nemo.collections.asr as nemo_asr
- Carica il modello con: asr_model = nemo_asr.models.ASRModel.from_pretrained(model_name="nvidia/parakeet-tdt-0.6b-v3")
- Trascrivi con: output = asr_model.transcribe(['audio.wav'])
- Stampa il testo con: print(output[0].text)
- Aggiungi timestamps=True alla chiamata transcribe se vuoi i timestamp di parole e segmenti.
Parakeet e Whisper a confronto, secondo i dati pubblicati
Sono entrambi modelli open di riconoscimento vocale che puoi scaricare, ed entrambi scrivono testo con la punteggiatura. Differiscono per dimensioni, copertura, licenza e scopo per cui sono stati progettati. NVIDIA descrive Parakeet TDT 0.6B v3 come progettato per trascrizioni ad alto throughput, e la sua scheda del modello documenta anche una modalità streaming che elabora l’audio in blocchi di pochi secondi.
- Lingue: Parakeet TDT 0.6B v3 copre 25 lingue europee. Whisper è stato addestrato sull’inglese più altre 98 lingue.
- Dimensioni: Parakeet TDT 0.6B ha 600 milioni di parametri. Whisper va da 39 milioni (tiny) a 1.550 milioni (large).
- Licenza: Parakeet è CC BY 4.0, che richiede l’attribuzione. Whisper è MIT.
- Traduzione: Whisper può tradurre altre lingue in inglese. Le schede di Parakeet TDT descrivono solo la trascrizione.
- Audio lunghi: Parakeet gestisce fino a 24 minuti in un solo passaggio, o fino a 3 ore con l’attenzione locale. Whisper fa scorrere una finestra di 30 secondi lungo il file.
- Input: Parakeet si aspetta wav o flac mono a 16 kHz. Whisper usa ffmpeg per leggere i formati audio comuni.
Le domande più frequenti.
Cos’è Parakeet nel riconoscimento vocale?
Una famiglia open source di modelli ASR di NVIDIA pensata per lo streaming: le parole escono man mano che entra l’audio. Spesso è affiancata a Whisper, che copre più lingue ma lavora in batch.
Parakeet è meglio di Whisper?
Per la dettatura dal vivo in una lingua supportata sembra migliore, perché il testo appare mentre parli. Per la copertura linguistica e per trascrivere file, Whisper è più ampio. Gli strumenti validi usano ciascuno per ciò che sa fare meglio.
Quali lingue supporta Parakeet?
Parakeet TDT 0.6B v2 supporta solo l’inglese. La versione 3 supporta 25 lingue europee, tra cui inglese, spagnolo, francese, tedesco, italiano, portoghese, olandese, polacco, russo e ucraino, e rileva la lingua automaticamente.
Parakeet è gratuito per l’uso commerciale?
Sì. NVIDIA rilascia Parakeet TDT 0.6B sotto licenza CC BY 4.0 e afferma che il modello è pronto per l’uso commerciale e non commerciale. La licenza richiede l’attribuzione.
Quanto può essere lungo un file audio trascritto da Parakeet?
NVIDIA dice che Parakeet TDT 0.6B v3 gestisce audio lunghi fino a 24 minuti con l’attenzione completa su una scheda grafica A100 80GB, o fino a 3 ore con l’attenzione locale.
