Latenza
Anche: latenza al rilascio del tasto
Aggiornato il
Definizione
Nella dettatura, la latenza è il tempo tra la fine del tuo parlato e la comparsa del testo finito dove si trova il cursore. È il numero che decide se uno strumento sembra istantaneo o sembra un’attesa.
Misurala dal momento in cui rilasci il tasto, perché è da quel momento che aspetti. Conta tutto quello che succede dopo il rilascio: finire il riconoscimento delle ultime centinaia di millisecondi di audio, il passaggio di formattazione e l’inserimento nell’app. Uno strumento che fa il riconoscimento in streaming deve finire solo la coda; uno strumento che lavora in batch ha ancora tutta la frase da elaborare, quindi la sua latenza cresce con ogni secondo in cui hai parlato.
Sotto circa un secondo, la maggior parte delle persone non ci fa più caso. Intorno ai due o tre secondi, si comincia a guardare lo schermo e poi lo strumento. Oltre, la dettatura smette di essere un modo per scrivere e diventa un modo per fare una registrazione e poi aspettarla.
Dove va il tempo
Coda del riconoscimento: quanto audio resta da elaborare al rilascio del tasto, che lo streaming riduce quasi a zero. Formattazione: un passaggio di un modello linguistico sulla trascrizione, di solito il costo singolo più alto in uno strumento locale, e il motivo per cui uno strumento veloce tiene piccolo quel modello e gli dà un limite di tempo rigido. Inserimento: la scrittura del risultato nell’app attiva tramite il livello di accessibilità, di solito qualche decina di millisecondi. Rete, per gli strumenti cloud: un viaggio di andata e ritorno più la coda su un server che non controlli, ed è per questo che la latenza nel cloud va da veloce a inutilizzabile a seconda dell’ora.
Latenza contro qualità è un compromesso reale
Un passaggio di formattazione costa tempo, e saltarlo dà lo strumento più veloce possibile. Ma è anche uno strumento che ti consegna una trascrizione da sistemare a mano, il che costa più tempo di quanto ne abbia risparmiato. Il progetto giusto offre la scelta: una modalità letterale o leggermente ripulita che arriva quasi subito, e una modalità completamente formattata che richiede un po’ di più e non va corretta. Quello che uno strumento non dovrebbe mai fare è lasciare che un modello lento tenga in ostaggio il testo: se il passaggio è in ritardo, la trascrizione semplice dovrebbe arrivare comunque.
Come misurare la latenza della dettatura sul tuo Mac
Non servono strumenti speciali. Una registrazione dello schermo che cattura anche il microfono mette la tua voce e lo schermo sulla stessa linea del tempo, così puoi leggere il ritardo direttamente durante la riproduzione.
Misura diverse dettature di lunghezza diversa. Una sola misura dice poco, e la differenza tra una dettatura breve e una lunga ti dice se l’attesa cresce con la durata del parlato.
- Apri l’app in cui detti di solito e metti il cursore in un campo di testo.
- Premi Maiuscole-⌘-5 per aprire Istantanea schermo e scegli di registrare l’intero schermo o una sua parte.
- Fai clic su Opzioni e scegli il tuo microfono, così la registrazione include la tua voce.
- Avvia la registrazione, poi detta una frase breve e una lunga, lasciando qualche secondo tra le due.
- Fai clic sul pulsante di stop nella barra dei menu. La registrazione viene salvata come file .mov il cui nome inizia con Registrazione schermo.
- Riproduci il file e annota due momenti per ogni dettatura: quando la tua voce si ferma e quando il testo finito è sullo schermo. L’intervallo tra i due è la latenza.
- Confronta la dettatura breve con quella lunga. Se quella lunga fa aspettare molto di più, lo strumento elabora in batch.
Perché un modello più grande significa un’attesa più lunga
La dimensione del modello è il compromesso più diretto tra accuratezza e velocità. Il progetto Whisper pubblica le velocità relative dei propri modelli: rispetto al modello large come 1x, tiny va a circa 10x, base a circa 7x, small a circa 4x, medium a circa 2x e turbo a circa 8x. Questi valori sono relativi tra loro, e la velocità reale dipende dal tuo hardware.
La velocità da sola non rende un modello in tempo reale. Whisper legge l’audio attraverso una finestra scorrevole di 30 secondi, e la sua scheda del modello afferma che i modelli non si possono usare così come sono per la trascrizione in tempo reale. Uno strumento di dettatura basato su un modello del genere deve aggiungere un proprio streaming o una propria suddivisione in blocchi, e quanto bene lo fa decide il ritardo che percepisci.
Come cronometrare un modello vocale in Terminale
Se vuoi vedere il costo puro del riconoscimento senza nessuna app intorno, puoi cronometrare lo strumento open source a riga di comando di Whisper su una registrazione della tua voce. Così misuri il modello sul tuo Mac e nient’altro: niente formattazione, niente inserimento, niente rete.
Il numero non è la latenza di nessuna app di dettatura, perché le app elaborano l’audio mentre parli. Serve per confrontare le dimensioni dei modelli sul tuo hardware.
- Installa la dipendenza audio con: brew install ffmpeg
- Installa Whisper con: pip install -U openai-whisper
- Registrati mentre parli per circa dieci secondi e salva il file, per esempio come clip.wav.
- Esegui: time whisper clip.wav --model tiny e annota il tempo «real» che Terminale stampa.
- Esegui: time whisper clip.wav --model turbo e annota di nuovo il tempo.
- Esegui ogni comando una seconda volta e confronta quei tempi, così la preparazione iniziale non viene contata.
Le domande più frequenti.
Qual è una buona latenza per la dettatura?
Meno di un secondo dal rilascio del tasto al testo finito sembra istantaneo. Da uno a due secondi è accettabile. Oltre, l’attesa diventa l’esperienza. Il riconoscimento in streaming e un modello di formattazione piccolo e con un limite di tempo sono il modo in cui gli strumenti locali scendono sotto il secondo.
Perché il mio strumento di dettatura rallenta quanto più parlo?
Perché riconosce in blocco: non elabora nulla finché non ti fermi, quindi una registrazione più lunga significa un’attesa più lunga. Gli strumenti in streaming elaborano mentre parli e mantengono il ritardo costante.
La dettatura nel cloud è più lenta di quella locale?
Spesso, e in modo meno prevedibile. Un viaggio di andata e ritorno verso un server aggiunge tempo a ogni dettatura e varia con la tua connessione e con il loro carico. Gli strumenti locali hanno un costo fisso che dipende solo dal tuo Mac.
Come provo quanto è veloce la mia app di dettatura?
Registra lo schermo con il microfono attivo usando Maiuscole-⌘-5, detta una frase e riguarda la registrazione. Il tempo tra la fine della tua voce e la comparsa del testo finito è la latenza.
Whisper può trascrivere in tempo reale?
Non da solo. La scheda del modello Whisper dice che i modelli non si possono usare così come sono per la trascrizione in tempo reale, e il codice standard elabora l’audio in finestre di 30 secondi. Le app che con Whisper sembrano in tempo reale hanno aggiunto un proprio livello di streaming.
Un modello vocale più piccolo rende la dettatura più veloce?
Sì, a scapito dell’accuratezza. Il progetto Whisper indica il suo modello tiny come circa 10 volte più veloce del modello large, e il modello turbo come circa 8 volte più veloce.
