MLX
Anche: Apple MLX, framework MLX
Aggiornato il
Definizione
MLX è un framework open source per array, dedicato al machine learning su Apple silicon, creato dal team di ricerca sul machine learning di Apple. È ciò che molti modelli linguistici e vocali usano per girare sul chip del Mac stesso.
Se hai scaricato un modello per Mac e il suo nome finisce con MLX, o proviene da una raccolta di modelli MLX, ecco cosa significa: i pesi sono stati convertiti nel formato che questo framework legge.
MLX è uno strumento per sviluppatori e ricercatori, non qualcosa da installare per usare un’app. Un’app che lo usa lo porta con sé. È rilasciato sotto licenza MIT, e la prima versione pubblica è uscita alla fine del 2023.
Perché è adatto a un Mac
La descrizione di Apple indica una differenza rispetto ad altri framework: il modello di memoria unificata. Su Apple silicon il processore e il chip grafico condividono un’unica riserva di memoria. Gli array MLX risiedono in quella memoria condivisa, quindi il lavoro può passare dall’uno all’altro senza copiare i dati avanti e indietro.
Sulla maggior parte degli altri computer una scheda grafica ha una propria memoria separata, e un modello deve starci dentro. Su un Mac un modello può usare tutta la memoria della macchina, ed è per questo che un portatile riesce a far girare modelli che altrimenti richiederebbero una scheda dedicata.
Su cosa gira
La documentazione di Apple dice che le operazioni possono essere eseguite sulla CPU e sulla GPU. Non cita il Neural Engine. Per installarlo su un Mac servono Apple silicon e macOS 14 o versioni successive.
La stessa documentazione ora descrive anche versioni per Linux, tra cui una per le schede grafiche Nvidia, quindi MLX non è più solo per l’hardware Apple. Resta comunque progettato attorno ad Apple silicon.
La famiglia MLX
MLX in sé gestisce solo gli array e i calcoli su di essi. I pacchetti costruiti sopra sono ciò che la maggior parte delle persone incontra.
- MLX LM, dello stesso team di Apple, per generare testo con i modelli linguistici di grandi dimensioni e per il loro fine-tuning.
- MLX Whisper, dagli esempi di Apple, per il riconoscimento vocale con Whisper.
- MLX Swift, che permette a un’app per Mac o iPhone scritta in Swift di usare MLX direttamente.
- Librerie della community per audio e voce, costruite su MLX ma non di Apple.
Modelli MLX e quantizzazione
Nelle raccolte MLX i nomi dei modelli finiscono spesso con 4bit o 8bit. Si tratta di quantizzazione: i pesi sono memorizzati con meno bit ciascuno, il che rende il download più piccolo e il modello più leggero in memoria, a scapito di un po’ di precisione. Gli strumenti MLX possono produrre queste versioni quando un modello viene convertito.
MLX e Core ML
Apple ha due framework che eseguono modelli sui suoi dispositivi, e servono a compiti diversi. Apple descrive MLX come un framework open source per array per sperimentare, addestrare e fare il fine-tuning di modelli generativi su Apple silicon. Descrive Core ML come il modo per integrare i modelli di machine learning in un’app.
In pratica molte app usano entrambi: Core ML per un modello adatto al Neural Engine, e MLX per un grande modello linguistico o vocale che gira sul chip grafico.
Le domande più frequenti.
Cosa significa MLX?
Apple non scioglie la sigla. Descrive MLX come un framework per array dedicato al machine learning su Apple silicon.
MLX funziona sui Mac Intel?
No. Su un Mac, la documentazione di Apple richiede Apple silicon e macOS 14 o versioni successive.
MLX usa il Neural Engine?
La documentazione di Apple dice che le operazioni MLX vengono eseguite sulla CPU e sulla GPU. Non cita il Neural Engine.
MLX è gratuito?
Sì. È open source, con licenza MIT.
Devo installare MLX per usare un’app che lo usa?
No. Un’app che usa MLX lo include. Installare MLX per conto tuo serve per scrivere codice o far girare modelli dalla riga di comando.
Cos’è un modello MLX?
Un modello i cui pesi sono stati convertiti nel formato che MLX legge, spesso quantizzati a 4 o 8 bit per stare comodamente nella memoria di un Mac.
