Trascrizione in streaming

Con il riconoscimento in batch, il modello inizia a lavorare quando rilasci il tasto e aspetti che tutta la registrazione venga elaborata. La pausa è proporzionale a quanto hai parlato. Con lo streaming, il modello è rimasto al passo per tutto il tempo, quindi al rilascio del tasto restano da finire solo l’ultima frazione di secondo di audio e il passaggio di formattazione. Il risultato è un ritardo che non cresce con la frase, ed è questo che si intende quando si dice che uno strumento è veloce.

C’è un secondo effetto. Vedere le parole dal vivo ti dice che lo strumento ti sta sentendo bene, così smetti di controllare il risultato dopo. Quella fiducia è gran parte di ciò che rende la dettatura un’abitudine invece che un esperimento.

Un modello in streaming fissa le parole in modo provvisorio e può cambiare idea quando arriva altro audio: «la riunione è a» può diventare «la riunione è annullata» un attimo dopo. Gli strumenti fatti bene mostrano queste correzioni in una visualizzazione temporanea, come una sovrapposizione nel notch o una pillola mobile, e inseriscono nel documento solo il testo definitivo. Inserire i risultati parziali nell’app e poi riscriverli è il modo in cui uno strumento finisce per litigare con il tuo editor di testo.

Lo streaming richiede un modello di tipo transducer addestrato per quella lingua. Le famiglie che oggi fanno streaming bene coprono qualche decina di lingue; i modelli batch come Whisper ne coprono circa un centinaio. Uno strumento che dichiara 99 lingue e testo dal vivo di solito fa streaming nelle lingue supportate dal suo transducer ed elabora le altre in batch, e una pagina di prodotto onesta dice quali sono le une e quali le altre.

macOS ha un esempio integrato di trascrizione in streaming chiamato Trascrizioni live. Scrive i sottotitoli dell’audio delle tue app, o dei suoni captati dal microfono, mentre l’audio è ancora in riproduzione. Apple dice che l’audio viene elaborato sul dispositivo. Trascrizioni live è disponibile solo sui Mac con Apple silicon, e non in tutte le lingue, i paesi o le zone.

1. 01 Scegli menu Apple → Impostazioni di Sistema, poi fai clic su Accessibilità nella barra laterale.
2. 02 Fai clic su Trascrizioni live e attivala.
3. 03 Riproduci un video o un podcast in qualsiasi app.
4. 04 Guarda la finestra dei sottotitoli. Il testo appare mentre chi parla sta ancora parlando: questo è lo streaming.
5. 05 Quando hai finito, disattiva Trascrizioni live nello stesso punto.

Non di serie, nel caso di Whisper. La scheda del modello di OpenAI dice che i modelli Whisper non possono essere usati di serie per la trascrizione in tempo reale, e che altri potrebbero costruirci sopra applicazioni quasi in tempo reale. Il codice di riferimento fa scorrere una finestra di 30 secondi lungo un file già finito.

Parakeet ci va più vicino. La scheda del modello di NVIDIA per Parakeet TDT 0.6B v3 documenta una modalità streaming, e le sue impostazioni di esempio mostrano il compromesso che ogni configurazione in streaming deve fare: l’audio viene elaborato in blocchi di 2 secondi, con 10 secondi di audio precedente e 2 secondi di audio successivo come contesto. L’audio successivo è il look-ahead. Più ce n’è, più il modello ha elementi su cui basarsi, ma anche più tardi appaiono le parole.

Lo streaming conta quando una persona aspetta le parole. Il batch va bene, ed è spesso più semplice, quando l’audio esiste già come file. Se stai scegliendo uno strumento, adatta la modalità al lavoro.

• Dettare in un campo di testo: streaming, così vedi che ti sta sentendo.
• Sottotitoli per una chiamata dal vivo o un intervento: streaming, perché un sottotitolo che arriva quando la frase è già finita serve a poco.
• Trascrivere una riunione, un’intervista o una lezione registrata: batch. Nessuno sta guardando arrivare le parole.
• Creare file di sottotitoli: batch. Lo strumento a riga di comando di Whisper scrive direttamente file srt e vtt.
• Una lingua che il tuo modello in streaming non copre: batch, con un modello che la copre.