Core ML

Appleの説明はこうです：Core MLはすべてのモデルを統一された形で表し、Appはそれを使って予測を行ったり、モデルを学習・ファインチューニングしたりでき、すべてがその人のデバイス上で行われます。

性能について、AppleはCore MLが、CPU、GPU、Neural Engineを活用してデバイス上での性能を最適化し、メモリ使用量と消費電力を最小限に抑えると説明しています。Neural EngineはAppleのチップのうち、この種の計算のために作られた部分で、AppがNeural Engineを使うには通常Core MLを通します。

Apple自身がこう説明しています：モデルを完全にその人のデバイス上で動かせば、ネットワーク接続はまったく不要になり、その人のデータのプライバシーを守り、Appの応答性を保つのに役立つ。

音声で言えば、テキストにするために音声がMacの外に出る必要はない、ということです。特定のAppが実際に音声をMacに留めるかどうかはそのAppしだいですが、フレームワークはそれを可能にしています。

Core MLのモデルには3つの形式があり、拡張子でどれかがわかります。

• `.mlmodel`：元のモデル定義ファイル。
• `.mlpackage`：新しいパッケージ形式で、重みをプログラムと分けて保持します。Xcode 13から対応しています。
• `.mlmodelc`：コンパイル済みのモデルで、Appが読み込むのはこれです。Appの中やそのダウンロードの中にこの拡張子のフォルダがあれば、すぐに動かせるCore MLモデルです。

ほとんどのモデルは、ほかのツールで学習してから変換されます。Appleはそのために、PyTorchやTensorFlowなどの学習用ライブラリからCore ML形式にモデルを変換するCore ML Toolsを公開しています。

同じツールで、変換の際に量子化やパレット化でモデルを圧縮することもできます。これでモデルが小さくなり、Neural Engine上では速くなることもよくあります。

Appleは2つを違うものとして説明しています。Core MLはモデルをAppに組み込むためのものです。MLXは、Apple silicon上で生成モデルを試したり、学習させたり、ファインチューニングしたりするためのオープンソースの配列フレームワークです。Appleのドキュメントによると、MLXはCPUとGPUで動き、Core MLはNeural Engineも使えます。

Appleのページでは現在、最新のモデルアーキテクチャを扱う開発者に、別のフレームワークであるCore AIも案内しています。Appでモデルを動かす方法としては、Core MLが長く使われてきた定番であることに変わりはありません。