MLX
Auch: Apple MLX, MLX-Framework
Aktualisiert:
Definition
MLX ist ein Open-Source-Array-Framework für maschinelles Lernen auf Apple silicon, entwickelt vom Machine-Learning-Forschungsteam von Apple. Viele LLMs und Spracherkennungsmodelle nutzen es, um auf dem eigenen Chip eines Mac zu laufen.
Wenn du ein Modell für den Mac geladen hast und sein Name auf MLX endet oder es aus einer Sammlung von MLX-Modellen stammt, bedeutet das: Die Gewichte wurden in das Format umgewandelt, das dieses Framework liest.
MLX ist ein Werkzeug für Entwickler und Forscher, nichts, was du installierst, um eine App zu nutzen. Eine App, die es verwendet, bringt es mit. Es steht unter der MIT-Lizenz, und die erste öffentliche Version erschien Ende 2023.
Warum es zum Mac passt
Apples Beschreibung nennt einen Unterschied zu anderen Frameworks: das Unified-Memory-Modell. Auf Apple silicon teilen sich Prozessor und Grafikchip einen gemeinsamen Arbeitsspeicher. MLX-Arrays liegen in diesem gemeinsamen Speicher, die Arbeit kann also zwischen beiden wechseln, ohne Daten hin und her zu kopieren.
Auf den meisten anderen Computern hat eine Grafikkarte ihren eigenen, separaten Speicher, und ein Modell muss hineinpassen. Auf einem Mac kann ein Modell den Arbeitsspeicher des ganzen Rechners nutzen. Deshalb kann ein Laptop Modelle ausführen, die sonst eine eigene Grafikkarte bräuchten.
Worauf es läuft
Laut Apples Dokumentation können Operationen auf der CPU und der GPU laufen. Die Neural Engine wird nicht genannt. Um MLX auf einem Mac zu installieren, brauchst du Apple silicon und macOS 14 oder neuer.
Dieselbe Dokumentation beschreibt inzwischen auch Builds für Linux, darunter einen für Nvidia-Grafikkarten. MLX ist also nicht mehr nur für Apple-Hardware da. Entworfen wurde es aber weiterhin für Apple silicon.
Die MLX-Familie
MLX selbst kümmert sich nur um Arrays und die Rechnungen damit. Die meisten Leute begegnen den Paketen, die darauf aufbauen.
- MLX LM, vom selben Team bei Apple, zum Erzeugen von Text mit großen Sprachmodellen und zu deren Feinabstimmung.
- MLX Whisper, aus Apples Beispielen, für Spracherkennung mit Whisper.
- MLX Swift, mit dem eine in Swift geschriebene Mac- oder iPhone-App MLX direkt nutzen kann.
- Community-Bibliotheken für Audio und Sprache, die auf MLX aufbauen, aber nicht von Apple sind.
MLX-Modelle und Quantisierung
Modellnamen in MLX-Sammlungen enden oft auf 4bit oder 8bit. Das ist Quantisierung: Jedes Gewicht wird mit weniger Bits gespeichert. Das macht den Download kleiner und das Modell sparsamer beim Arbeitsspeicher, auf Kosten von etwas Genauigkeit. Die MLX-Werkzeuge können solche Builds beim Umwandeln eines Modells erzeugen.
MLX und Core ML
Apple hat zwei Frameworks, die Modelle auf seinen Geräten ausführen, und sie sind für unterschiedliche Aufgaben da. Apple beschreibt MLX als Open-Source-Array-Framework, um auf Apple silicon mit generativen Modellen zu experimentieren, sie zu trainieren und feinabzustimmen. Core ML beschreibt es als den Weg, Machine-Learning-Modelle in eine App einzubinden.
In der Praxis nutzen viele Apps beides: Core ML für ein Modell, das zur Neural Engine passt, und MLX für ein großes Sprach- oder Spracherkennungsmodell, das auf dem Grafikchip läuft.
Fragen, die Leute stellen.
Wofür steht MLX?
Apple nennt keine Langform. Es beschreibt MLX als Array-Framework für maschinelles Lernen auf Apple silicon.
Funktioniert MLX auf Intel-Macs?
Nein. Auf einem Mac setzt Apples Dokumentation Apple silicon und macOS 14 oder neuer voraus.
Nutzt MLX die Neural Engine?
Laut Apples Dokumentation laufen MLX-Operationen auf der CPU und der GPU. Die Neural Engine wird nicht genannt.
Ist MLX kostenlos?
Ja. Es ist Open Source unter der MIT-Lizenz.
Muss ich MLX installieren, um eine App zu nutzen, die damit gebaut ist?
Nein. Eine App, die MLX nutzt, bringt es mit. MLX selbst zu installieren brauchst du nur, um Code zu schreiben oder Modelle über die Befehlszeile auszuführen.
Was ist ein MLX-Modell?
Ein Modell, dessen Gewichte in das Format umgewandelt wurden, das MLX liest, oft auf 4 oder 8 Bit quantisiert, damit es bequem in den Arbeitsspeicher eines Mac passt.
