Riconoscimento automatico del parlato
Anche: ASR
Aggiornato il
Definizione
Il riconoscimento automatico del parlato (ASR, automatic speech recognition) è il campo dell’apprendimento automatico, e la classe di modelli, che trasforma l’audio del parlato umano in testo. I modelli ASR sono il motore dentro ogni prodotto di dettatura e trascrizione.
I modelli ASR moderni sono reti neurali addestrate su grandi quantità di parlato registrato. Tra le famiglie più note ci sono Whisper (OpenAI, open source), Parakeet (NVIDIA, open source) e i motori proprietari dentro i servizi cloud di Google, Apple e altri.
La qualità dell’ASR di solito si esprime come word error rate (WER) su audio di benchmark. La qualità nel mondo reale dipende anche da microfono, stanza, accento e vocabolario, ed è per questo che i dizionari personali e i vocabolari di settore contano quanto il modello in primo piano.
Come sono costruiti i modelli
Un modello ASR viene addestrato su coppie di audio e trascrizione corretta, centinaia di migliaia di ore, finché non riesce a prevedere il testo di un audio che non ha mai sentito. I sistemi più vecchi separavano il modello acustico (dai suoni ai fonemi) dal modello linguistico (dai fonemi alle parole probabili). I sistemi attuali sono end-to-end: una sola rete trasforma l’audio direttamente in token di testo, il che è più semplice, più preciso e più facile da eseguire su hardware di consumo.
Oggi dominano due architetture. I modelli encoder-decoder, come Whisper, leggono un intero blocco di audio e poi scrivono la trascrizione, il che li rende precisi e orientati all’elaborazione in batch. I modelli transducer, come Parakeet, emettono token man mano che arriva l’audio, il che li rende adatti allo streaming.
Cosa decide la precisione nella pratica
Le dimensioni del modello e i dati di addestramento fissano il limite massimo. Tutto ciò che sta sotto dipende da te: qualità del microfono, distanza dal microfono, eco della stanza, rumore di fondo, accento e vocabolario. Nomi, gergo e termini di prodotto sono il punto in cui ogni modello fa fatica, perché sono rari nei dati di addestramento, ed è per questo che un dizionario personale e un passaggio di correzione che tiene conto del contesto tendono a migliorare la precisione quotidiana più del passaggio a un modello più grande.
I modelli open hanno cambiato la categoria
Fino al 2022, l’ASR competitivo stava dietro le API cloud. Il rilascio open di Whisper, seguito da Parakeet e altri, ha messo il riconoscimento allo stato dell’arte nelle mani di chiunque, e Apple silicon ha dato ai portatili la potenza di calcolo per eseguirlo. È per questo che la dettatura privata e locale è passata in pochi anni da compromesso a scelta predefinita.
Come confrontare due modelli ASR sulla tua voce
I punteggi dei benchmark descrivono l’audio dei benchmark. L’unico modo per sapere come un modello gestisce la tua voce, la tua stanza e il tuo vocabolario è eseguirlo su una tua registrazione. Con lo strumento a riga di comando open di Whisper è un lavoro breve nel Terminale. Prima devi installare Python e ffmpeg.
- Registra uno o due minuti di te stesso mentre parli come quando detti di solito, con qualche nome e termine tecnico, e salvalo come file audio.
- Installa Whisper nel Terminale con: pip install -U openai-whisper
- Trascrivi il file con un modello piccolo: whisper myclip.m4a --model small --output_format txt
- Rinomina il file di testo che ha scritto, poi esegui lo stesso comando con --model turbo.
- Leggi le due trascrizioni confrontandole con ciò che hai detto davvero e conta in ciascuna le parole sbagliate, mancanti e in più.
- Dividi il numero di errori per il numero di parole che hai pronunciato. Quello è il tuo word error rate (WER) personale per ciascun modello.
Cosa restituisce un modello ASR oltre alle parole
I riconoscitori più vecchi restituivano una sequenza piatta di parole in minuscolo. Gli attuali modelli open restituiscono di più, e sapere cosa è disponibile ti dice cosa può fare un prodotto basato su di essi senza lavoro in più.
- Punteggiatura e maiuscole. Parakeet TDT 0.6B le elenca entrambe tra le funzioni integrate.
- Timestamp. Parakeet restituisce timestamp a livello di parola e di segmento, e Whisper ha un’opzione word_timestamps.
- File di sottotitoli. Lo strumento a riga di comando di Whisper può scrivere output txt, vtt, srt, tsv e json.
- La lingua. Whisper e Parakeet TDT 0.6B v3 rilevano entrambi la lingua parlata quando non la specifichi.
- Una traduzione. I modelli multilingue di Whisper possono tradurre il parlato in altre lingue in testo inglese.
L’ASR è preciso? Perché un modello ha molti punteggi
Non esiste un unico numero di precisione per un modello ASR. NVIDIA riporta per Parakeet TDT 0.6B v3 un tasso medio di errore sulle parole del 6,34% sugli otto set di test in inglese della Open ASR Leaderboard di Hugging Face, ma i singoli set vanno dall’1,93% su LibriSpeech test-clean all’11,42% su Earnings-22, che raccoglie registrazioni di conference call aziendali sui risultati finanziari.
La lingua conta quanto il tipo di audio. La scheda del modello Whisper dice che i modelli mostrano ottimi risultati in circa 10 lingue, e che la precisione è più bassa sulle lingue con meno dati di addestramento. Quando leggi un punteggio, controlla su quale set di test e in quale lingua è stato misurato prima di confrontarlo con un altro.
Le domande più frequenti.
Qual è il miglior modello ASR per la dettatura?
Per la dettatura dal vivo, un modello capace di streaming come Parakeet, perché le parole appaiono mentre parli. Per la copertura linguistica più ampia, un modello addestrato su molte lingue, come Whisper con 99 o Omnilingual ASR di Meta con più di 1.600. La maggior parte degli strumenti validi ne usa più di uno e sceglie in base alla lingua e al compito. Su Apple silicon funzionano tutti in locale.
ASR e speech-to-text sono la stessa cosa?
ASR è il nome tecnico dei modelli e del campo di ricerca. Speech-to-text è il nome comune di quello che fanno. Su una pagina di prodotto i due termini sono intercambiabili.
Perché l’ASR sbaglia i miei nomi?
Perché un modello ha visto un nome solo tante volte quante è comparso nell’audio di addestramento, cioè raramente per la maggior parte dei nomi e dei termini di prodotto. Scrive la grafia più probabile dei suoni. Un dizionario dei tuoi termini, e una correzione basata sui nomi che vede sullo schermo o nel tuo progetto, risolvono il problema meglio di qualsiasi cambio di modello.
Cosa significa ASR?
ASR sta per automatic speech recognition, cioè riconoscimento automatico del parlato. È la tecnologia che trasforma il parlato registrato o dal vivo in testo.
Posso eseguire un modello ASR sul mio computer?
Sì. I modelli open come Whisper e Parakeet si possono scaricare ed eseguire in locale. Whisper si installa con pip e funziona dal Terminale su un Mac.
I modelli ASR aggiungono la punteggiatura?
Molti modelli attuali sì. NVIDIA elenca punteggiatura e maiuscole automatiche tra le funzioni di Parakeet TDT 0.6B, e anche Whisper scrive testo con la punteggiatura.
