LLM locale
Anche: modello linguistico sul dispositivo
Aggiornato il
Definizione
Un LLM locale è un modello linguistico che gira sul tuo computer invece che sul server di un fornitore. Negli strumenti di dettatura è il modello dietro al passaggio di formattazione: sistema la punteggiatura, toglie gli intercalari e adatta il tono, senza che la trascrizione lasci mai il computer.
Il passaggio di formattazione è la fase che più spesso viene affidata al cloud, perché è la fase che richiede un modello linguistico, e i modelli linguistici fino a poco tempo fa erano troppo grandi per girare su un portatile. I modelli piccoli hanno cambiato le cose. Un modello piccolo, eseguito con i framework sul dispositivo che Apple silicon mette a disposizione, può ripulire una frase in poche centinaia di millisecondi.
Il posto giusto per questa fase è il computer locale, per lo stesso motivo per cui lo è per il riconoscimento: il modello vede le tue parole, e le tue parole non dovrebbero diventare dati di un fornitore solo per ricevere la punteggiatura.
Cosa si chiede al modello
Meno di quanto penseresti, in uno strumento ben progettato. Non di riscrivere, non di migliorare, non di decidere orari o grafie: sono tutte regole. Gli si chiede giudizio: quali intercalari erano intercalari, dove finiscono le frasi, che tono vuole la destinazione. Istruzioni strette sono ciò che permette a un modello piccolo di fare bene il lavoro, ed è anche ciò che rende il risultato verificabile, perché un modello a cui non è mai stato permesso di aggiungere o togliere parole di contenuto si può testare proprio su questo.
Velocità, memoria e calore
Un modello locale compete con le altre app per la memoria e con la batteria per l’energia. L’ingegneria che conta è tenerlo piccolo, tenerlo caricato così non c’è un avvio a freddo, limitare quanta memoria può occupare il suo runtime e dargli un limite di tempo, così una risposta lenta viene scartata invece di essere aspettata. Su un Mac con chip della serie M l’intero passaggio sta dentro un secondo con margine.
La formattazione con un LLM nel cloud, per confronto
Inviare la trascrizione a un modello ospitato su un server ti dà un modello più grande e ti costa un viaggio di andata e ritorno, un abbonamento per pagare l’inferenza e una copia di ogni frase che detti sul server di qualcun altro. Per formattare la prosa il modello più grande non è un vantaggio significativo: il compito è piccolo. Il viaggio di andata e ritorno e la copia sono costi reali, ogni volta.
Come verificare se il tuo Mac può eseguire un modello locale
Decidono due cose: il chip e la memoria libera. Per verificarle basta un minuto, e nessuna delle due richiede software aggiuntivo.
- Scegli menu Apple → Informazioni su questo Mac.
- Cerca la voce Chip. Su un Mac con Apple silicon è seguita dal nome del chip. Annota anche il valore di Memoria.
- Apri l’app Monitoraggio Attività e fai clic su Memoria.
- Con le app che usi di solito aperte, guarda il grafico Pressione memoria in fondo alla finestra. Mostra con quanta efficienza la memoria serve ciò che hai in esecuzione.
- Controlla Swap utilizzato. È lo spazio sul disco di avvio usato per spostare i file inutilizzati da e verso la RAM.
- Se la pressione è già alta e lo swap è in uso prima di aggiungere un modello, un modello locale competerà con le tue app per la memoria.
Perché un LLM locale usa così tanta memoria?
Un modello linguistico è un grande file di numeri, e deve restare tutto in memoria mentre il modello è in esecuzione. Niente viene scaricato da un server al bisogno. La memoria necessaria cresce con le dimensioni del modello, ed è per questo che i modelli piccoli sono la scelta pratica per un’attività che si ripete molte volte al giorno.
Apple silicon ha una caratteristica che qui aiuta. MLX, il framework di machine learning della ricerca sul machine learning di Apple, descrive un modello di memoria unificata in cui gli array risiedono in memoria condivisa e le operazioni possono essere eseguite su qualsiasi tipo di dispositivo supportato senza trasferire dati. In parole semplici, il modello non deve essere copiato tra pool di memoria separati per il processore e per la grafica.
LLM locale o modello vocale: qual è la differenza?
Fanno lavori diversi, e uno strumento di dettatura che formatta il testo li usa entrambi. Un modello vocale trasforma l’audio in parole. Un modello linguistico prende quelle parole e decide come vanno scritte. Whisper e Parakeet sono modelli vocali, non LLM.
Le dimensioni sono pubbliche. OpenAI elenca Whisper da tiny con 39 milioni di parametri a large con 1.550 milioni, più un modello turbo da 809 milioni che descrive come una versione ottimizzata di large-v3. NVIDIA indica per Parakeet TDT 0.6B v2 600 milioni di parametri, per l’inglese.
I due tipi di modello si sovrappongono un po’. La scheda del modello Parakeet include punteggiatura e maiuscole automatiche nella trascrizione, quindi una parte della formattazione arriva prima che un modello linguistico veda il testo. Il modello linguistico serve solo per il giudizio che resta.
Le domande più frequenti.
Un software di dettatura ha bisogno di un LLM?
Per la trascrizione grezza no. Per trasformare una trascrizione in un testo finito e con il tono adatto, un piccolo modello linguistico aiuta molto, e può girare in locale su Apple silicon. Gli strumenti migliori gli affidano solo le decisioni che richiedono giudizio e gestiscono con una regola tutto ciò che è esatto.
Un modello linguistico può girare sul mio Mac senza il cloud?
Sì. I modelli piccoli girano su Apple silicon tramite framework sul dispositivo, e le versioni recenti di macOS includono modelli che le app possono chiamare in locale. Entrambi sono abbastanza veloci da formattare una frase in molto meno di un secondo.
Un LLM locale rallenterà il mio Mac?
Uno che si comporta bene no. Dovrebbe restare piccolo, limitare la propria memoria e girare sulla GPU mentre il resto del computer va avanti. Quelli che si notano sono i runtime gestiti male, che lasciano crescere la cache senza limiti.
Come faccio a sapere se il mio Mac ha Apple silicon?
Scegli menu Apple → Informazioni su questo Mac. Un Mac con Apple silicon mostra la voce Chip, seguita dal nome del chip.
Whisper è un LLM?
No. Whisper è un modello di riconoscimento vocale che trasforma l’audio in testo. Un LLM lavora su un testo che esiste già, il che nella dettatura significa ripulire la trascrizione.
Cos’è MLX su un Mac?
MLX è un framework di array per il machine learning su Apple silicon, pubblicato dalla ricerca sul machine learning di Apple. È uno dei modi in cui il software esegue modelli in locale su un Mac.
