MLX

Appleの説明では、ほかのフレームワークとの違いとして、ユニファイドメモリモデルが挙げられています。Apple siliconでは、プロセッサとグラフィックスチップが1つのメモリを共有しています。MLXの配列はその共有メモリ上にあるので、データを行き来させてコピーすることなく、2つのあいだで処理を移せます。

ほかの多くのコンピュータでは、グラフィックスカードが独自の別のメモリを持っていて、モデルはそこに収まる必要があります。Macではマシン全体のメモリをモデルが使えるので、本来なら専用のカードが必要なモデルもノートパソコンで動かせます。

Appleのドキュメントによると、演算はCPUとGPUで実行できます。Neural Engineは挙げられていません。Macにインストールするには、Apple siliconとmacOS 14以降が必要です。

同じドキュメントでは現在、Linux向けのビルドも説明されていて、その中にはNVIDIAのグラフィックスカード向けのものもあります。つまりMLXはもうApple製ハードウェア専用ではありません。それでも、設計の中心はApple siliconです。

MLX自体が扱うのは、配列とその演算だけです。多くの人が実際に触れるのは、その上に作られたパッケージです。

• MLX LM：Appleの同じチームによるもので、大規模言語モデルでテキストを生成したり、ファインチューニングしたりするためのパッケージ。
• MLX Whisper：Appleのサンプルにあるもので、Whisperで音声認識を行うためのパッケージ。
• MLX Swift：Swiftで書かれたMacやiPhoneのAppから、MLXを直接使えるようにするパッケージ。
• 音声や話し言葉のためのコミュニティライブラリ：MLXを土台にしていますが、Apple製ではありません。

MLXのコレクションにあるモデルの名前は、よく4bitや8bitで終わっています。これが量子化です：重み1つあたりのビット数を減らして保存することで、ダウンロードが小さくなり、メモリの負担も軽くなりますが、精度はいくらか下がります。MLXのツールは、モデルを変換するときにこうしたビルドを作れます。

Appleには、デバイス上でモデルを動かすフレームワークが2つあり、用途が違います。AppleはMLXを、Apple silicon上で生成モデルを試したり、学習させたり、ファインチューニングしたりするためのオープンソースの配列フレームワークと説明しています。Core MLは、機械学習モデルをAppに組み込むための手段と説明しています。

実際には、両方を使うAppも多くあります。Neural Engineに向いたモデルにはCore MLを、グラフィックスチップで動く大きな言語モデルや音声モデルにはMLXを使う、という形です。