Allucinazione
Aggiornato il
Definizione
Nel riconoscimento vocale, un’allucinazione è un testo prodotto dal modello che nessuno ha detto: una frase plausibile inventata dal silenzio, dal rumore o da un frammento troppo breve per essere trascritto. È l’errore di inserzione portato all’estremo.
Ogni modello vocale è addestrato a produrre testo, quindi anche quando riceve audio senza parlato ci prova lo stesso. I modelli batch come Whisper sono il caso noto: se ricevono qualche secondo di rumore ambientale, a volte emettono «Thank you for watching» o un’intera frase in un’altra lingua, perché quelle stringhe erano frequenti nei dati di addestramento alla fine delle registrazioni. L’output è scorrevole e sbagliato con sicurezza.
La stessa parola si usa per i modelli linguistici che inventano fatti, e il meccanismo è simile: un sistema ottimizzato per produrre l’output probabile lo produce che l’input lo giustifichi o no. In uno strumento di dettatura, un’allucinazione significa che nel tuo documento arriva un testo che non hai mai detto.
Quando succede
Il silenzio all’inizio o alla fine di una registrazione, ed è per questo che contano l’acquisizione legata al rilascio del tasto e il rilevamento dell’attività vocale. Le frasi brevissime, una sola parola o un colpo di tosse, dove il modello ha troppo poco a cui agganciarsi. Il parlato di sottofondo di un video o di un collega, che è parlato vero ma non è il tuo. Le registrazioni lunghe, dove alcuni modelli perdono il filo e ripetono un passaggio. Ognuno ha una soluzione nota, e uno strumento che non le ha applicate prima o poi ti sorprenderà.
Come lo evitano gli strumenti fatti bene
Esegui prima un rilevatore di attività vocale e non mandare mai al riconoscitore ciò che non è parlato. Taglia il silenzio a entrambe le estremità. Scarta i risultati delle clip sotto una lunghezza minima. Controlla se il modello emette testo senza un’energia audio corrispondente, e scartalo. Sul lato della formattazione, rifiuta qualsiasi riscrittura che aggiunga una parola di contenuto che non era nella trascrizione, così nemmeno un modello di formattazione può avere allucinazioni. Uno strumento che fa tutto questo a volte ti sentirà comunque male; non dovrebbe mai inventare una frase.
Come ridurre le allucinazioni di Whisper dalla riga di comando
Se usi lo strumento open source a riga di comando di Whisper sulle registrazioni e inventa o ripete del testo, lo strumento ha opzioni documentate pensate proprio per questo. Non eliminano il problema, ma affrontano le due forme più comuni: testo inventato sul silenzio e un passaggio ripetuto in ciclo.
Gli autori di Whisper descrivono questi controlli come un rimedio per le previsioni rumorose, non come una cura, quindi dopo averli cambiati confronta il risultato con l’audio.
- Apri Terminale ed elabora il file una volta con le impostazioni predefinite, per esempio: whisper recording.wav --model turbo. Annota dove compare il testo inventato o ripetuto.
- Se un passaggio si ripete, eseguilo di nuovo con --condition_on_previous_text False. La documentazione dice che il testo può diventare meno coerente tra una finestra e l’altra, ma il modello è meno soggetto a bloccarsi in un ciclo di errore.
- Se compare testo sul silenzio, aggiungi --word_timestamps True --hallucination_silence_threshold 2. Con i timestamp delle parole attivi, questa opzione salta i silenzi più lunghi del numero di secondi indicato quando rileva una possibile allucinazione.
- Lascia --no_speech_threshold al valore predefinito 0.6 e --logprob_threshold al valore predefinito -1.0, a meno che tu non abbia un motivo per cambiarli. Insieme decidono quando un segmento viene considerato silenzio.
- Taglia i silenzi lunghi all’inizio e alla fine della registrazione con un qualsiasi editor audio ed eseguilo di nuovo, così il modello ha meno audio senza parlato su cui lavorare.
- Confronta la nuova trascrizione con l’audio nei punti che hai annotato al primo passaggio.
Allucinazione o fraintendimento: come distinguerli
Un fraintendimento è una parola sbagliata nel punto in cui hai detto un’altra parola. Suona come quello che hai detto, e si capisce perché il modello l’ha scelta. Un’allucinazione non ha alcuna origine nell’audio. L’articolo su Whisper descrive il caso estremo come una trascrizione del tutto scollegata dall’audio reale.
La differenza conta perché i rimedi sono diversi. Un fraintendimento migliora con un microfono migliore, una pronuncia più chiara o una voce nel dizionario. Un’allucinazione si previene tenendo silenzio e rumore lontani dal modello, o scartando il risultato di cui il modello stesso non era sicuro.
- Il testo che compare dove eri in silenzio o avevi smesso di parlare è un’allucinazione.
- La stessa frase ripetuta più volte di seguito è un ciclo di ripetizione, che l’articolo su Whisper elenca come un errore distinto dall’allucinazione.
- Una parola sbagliata che suona come quella giusta è un fraintendimento.
- La scomparsa delle prime o delle ultime parole di una registrazione è un terzo tipo di errore citato nell’articolo su Whisper, ed è un’omissione, non un’allucinazione.
Come Whisper decide che il proprio risultato è fallito
Il codice open source di Whisper controlla ogni finestra di 30 secondi dopo averla decodificata. Se la log-probabilità media dei token generati è sotto -1,0, o il rapporto di compressione gzip del testo è sopra 2,4, la finestra viene considerata fallita e decodificata di nuovo a una temperatura più alta. Un testo molto ripetitivo si comprime bene, ed è per questo che il rapporto di compressione intercetta i cicli.
Per il silenzio, l’articolo osserva che la probabilità del solo token di assenza di parlato non basta a riconoscere una finestra senza parlato. Combinare una soglia di assenza di parlato di 0,6 con la soglia di log-probabilità di -1 rende il rilevamento più affidabile. La scheda del modello elenca comunque allucinazioni e testo ripetitivo tra i limiti noti.
Le domande più frequenti.
Perché la mia app di dettatura ha scritto qualcosa che non ho mai detto?
Molto probabilmente il riconoscitore ha ricevuto audio senza parlato, come il silenzio alla fine di una registrazione o una clip molto breve, e ha prodotto lo stesso una frase plausibile. È un comportamento noto dei modelli batch e si può evitare con il rilevamento dell’attività vocale e il taglio del silenzio.
Anche la fase di formattazione può avere allucinazioni?
Sì, se è un modello linguistico che riscrive liberamente la tua trascrizione. La protezione è una regola: l’output può rimuovere gli intercalari e correggere la punteggiatura, ma non può mai aggiungere una parola di contenuto che non hai detto, e una riscrittura che viola questa regola viene buttata via.
Perché Whisper ripete la stessa frase all’infinito?
La scheda del modello Whisper dice che la sua architettura sequence-to-sequence lo rende incline a generare testo ripetitivo. Nello strumento open source a riga di comando, impostare --condition_on_previous_text False rende il modello meno soggetto a bloccarsi in un ciclo del genere.
Un modello Whisper più grande elimina le allucinazioni?
Non in modo affidabile. L’articolo su Whisper dice che i modelli più grandi hanno fatto progressi costanti sugli errori di percezione, come confondere parole dal suono simile, ma che cicli di ripetizione e allucinazioni sono più ostinati e sono un problema di decodifica.
Un’allucinazione è la stessa cosa di un errore di trascrizione?
È un tipo di errore di trascrizione. La maggior parte degli errori sono fraintendimenti di qualcosa che hai detto davvero, mentre un’allucinazione è testo senza alcuna origine nel parlato, e quando si calcola il word error rate conta come un inserimento.
