Core ML
Auch: CoreML, Apple Core ML
Aktualisiert:
Definition
Core ML ist Apples Framework, um Machine-Learning-Modelle in einer App auf dem Gerät auszuführen. Es nutzt die CPU, die GPU und die Neural Engine und braucht für eine Vorhersage keine Netzwerkverbindung.
Core ML ist seit 2017 Teil von Apples Systemen, ab macOS 10.13 und iOS 11. Eine App gibt ihm ein Modell und eine Eingabe, etwa Audio, ein Bild oder Text, und es liefert die Antwort des Modells. Wo gerechnet wird, entscheidet Core ML.
Du installierst oder öffnest Core ML nicht. Es ist Teil von macOS. Der Name begegnet dir in der Beschreibung einer App, im Dateinamen eines Modells oder wenn ein Download Core-ML-Gewichte enthält.
Was es tut
Apples Beschreibung: Core ML bietet eine einheitliche Darstellung für alle Modelle, und eine App nutzt es, um Vorhersagen zu treffen und Modelle zu trainieren oder feinabzustimmen, alles auf dem Gerät der Person.
Zur Leistung sagt Apple, dass Core ML die Leistung auf dem Gerät optimiert, indem es CPU, GPU und Neural Engine nutzt und dabei Speicherbedarf und Stromverbrauch gering hält. Die Neural Engine ist der Teil von Apples Chips, der für diese Art von Rechnung gebaut ist, und Core ML ist der übliche Weg für eine App, sie zu nutzen.
Warum „auf dem Gerät“ wichtig ist
Apple liefert das Argument selbst: Läuft ein Modell ausschließlich auf dem Gerät einer Person, ist keine Netzwerkverbindung nötig. Das hilft, die Daten der Person privat und die App reaktionsschnell zu halten.
Für Sprache heißt das: Das Audio muss den Mac nicht verlassen, um zu Text zu werden. Ob eine bestimmte App es dort lässt, entscheidet die App, aber das Framework macht es möglich.
Die Dateitypen
Core-ML-Modelle gibt es in drei Formen, und die Endung verrät, welche.
- `.mlmodel`: die ursprüngliche Datei mit der Modelldefinition.
- `.mlpackage`: das neuere Paketformat, das die Gewichte vom Programm getrennt hält. Es wird ab Xcode 13 unterstützt.
- `.mlmodelc`: ein kompiliertes Modell, also das, was eine App lädt. Ein Ordner mit dieser Endung in einer App oder ihren Downloads ist ein Core-ML-Modell, das bereit zum Ausführen ist.
Woher die Modelle kommen
Die meisten Modelle werden mit anderen Werkzeugen trainiert und dann umgewandelt. Apple veröffentlicht dafür die Core ML Tools, die Modelle aus Trainingsbibliotheken wie PyTorch und TensorFlow ins Core-ML-Format umwandeln.
Dieselben Werkzeuge können ein Modell dabei komprimieren, durch Quantisierung oder durch Palettisierung. Das macht es kleiner und auf der Neural Engine oft schneller.
Core ML und MLX
Apple beschreibt die beiden unterschiedlich. Core ML dient dazu, Modelle in Apps einzubinden. MLX ist ein Open-Source-Array-Framework, um auf Apple silicon mit generativen Modellen zu experimentieren, sie zu trainieren und feinabzustimmen. Laut Apples Dokumentation läuft MLX auf der CPU und der GPU, während Core ML auch die Neural Engine nutzen kann.
Apples Seiten verweisen Entwickler, die mit den neuesten Modellarchitekturen arbeiten, inzwischen auch auf ein separates Framework, Core AI. Core ML bleibt der bewährte Weg, ein Modell in einer App auszuführen.
Fragen, die Leute stellen.
Wofür wird Core ML verwendet?
Um Machine-Learning-Modelle in Apps auf Apple-Geräten auszuführen: Sprache erkennen, Bilder klassifizieren, Text lesen und ähnliche Aufgaben, ohne die Daten an einen Server zu schicken.
Braucht Core ML das Internet?
Nein. Laut Apple ist keine Netzwerkverbindung nötig, wenn ein Modell ausschließlich auf dem Gerät läuft.
Nutzt Core ML die Neural Engine?
Ja. Laut Apple nutzt Core ML CPU, GPU und Neural Engine.
Was ist eine .mlmodelc-Datei?
Ein kompiliertes Core-ML-Modell, die Form, die eine App lädt und ausführt.
Was ist der Unterschied zwischen Core ML und MLX?
Apple beschreibt Core ML als den Weg, Modelle in Apps einzubinden, und MLX als Array-Framework, um auf Apple silicon mit generativen Modellen zu experimentieren und sie feinabzustimmen. Core ML kann die Neural Engine nutzen, MLX läuft auf CPU und GPU.
Gibt es Core ML auf Intel-Macs?
Ja. Core ML ist ab Version 10.13 Teil von macOS. Die Neural Engine gibt es nur in Apple silicon, auf einem Intel-Mac nutzt es also CPU und GPU.
