ローカルLLM

よく設計されたツールでは、思っているより少ないです。書き直すことも、改善することも、時刻や綴りを決めることも求められません。それらはすべてルールの仕事です。求められるのは判断です。どの言いよどみが本当に言いよどみだったか、文をどこで区切るか、入力先がどんなトーンを求めているか。指示を狭く限定するからこそ小さなモデルでもうまく仕事ができ、出力を検証することもできます。内容を表す言葉の追加や削除を一切許されていないモデルなら、それをしていないかテストできるからです。

ローカルモデルは、メモリをほかのアプリと奪い合い、バッテリーの電力も消費します。重要なエンジニアリングは、モデルを小さく保つこと、コールドスタートがないよう常駐させること、ランタイムが保持できるメモリ量に上限を設けること、そして時間制限を設けて、遅い応答は待たずに破棄することです。MシリーズのMacなら、整形パス全体が余裕をもって1秒以内に収まります。

文字起こし結果をホスト型のモデルに送れば、より大きなモデルが使えます。その代わり、往復の通信、推論代を払うためのサブスクリプション、そして音声入力したすべての文のコピーが他人のサーバに残ることが代償になります。文章の整形では、モデルが大きいことは意味のある利点になりません。タスクが小さいからです。往復の通信とコピーは、毎回発生する現実のコストです。

決め手は、チップと空きメモリの2つです。どちらも1分ほどで確認でき、追加のソフトウェアは必要ありません。

1. 01 アップルメニュー→「このMacについて」を選択します。
2. 02 「チップ」という項目を探します。Apple siliconを搭載したMacでは、その後にチップの名前が表示されます。「メモリ」の数値も確認しておきます。
3. 03 アクティビティモニタを開き、「メモリ」をクリックします。
4. 04 普段使うアプリを開いた状態で、ウインドウ下部の「メモリプレッシャー」グラフを見ます。実行中の作業に対して、メモリがどれだけ効率よく使われているかがわかります。
5. 05 「使用済みスワップ」を確認します。これは、使われていないファイルをRAMとの間で入れ替えるために使われている、起動ディスク上の領域です。
6. 06 モデルを追加する前からプレッシャーが高く、スワップも使われている場合、ローカルモデルはほかのアプリとメモリを奪い合うことになります。

言語モデルは数値が詰まった大きなファイルで、モデルの実行中はその全体をメモリに保持する必要があります。必要に応じてサーバから取ってくるものはありません。必要なメモリはモデルが大きいほど増えるため、1日に何度も実行する作業には小さなモデルが現実的な選択です。

Apple siliconには、ここで役立つ特長が1つあります。Appleの機械学習研究チームによる機械学習フレームワークMLXは、配列が共有メモリ上に置かれ、データを転送せずに対応するどの種類のデバイスでも演算を実行できるユニファイドメモリモデルについて説明しています。簡単に言えば、プロセッサ用とグラフィックス用に分かれたメモリの間でモデルをコピーする必要がありません。

両者の役割は異なり、テキストを整形する音声入力ツールは両方を使います。音声モデルは音声を言葉に変換します。言語モデルはその言葉を受け取り、どう書くべきかを判断します。WhisperとParakeetは音声モデルで、LLMではありません。

サイズは公開されています。OpenAIはWhisperについて、3,900万パラメータのtinyから15億5,000万パラメータのlargeまでを挙げており、8億900万パラメータのturboモデルをlarge-v3の最適化版と説明しています。NVIDIAは、Parakeet TDT 0.6B v2を英語向けの6億パラメータのモデルとしています。

2種類のモデルは少し重なっています。Parakeetのモデルカードには文字起こしでの自動の句読点と大文字化が含まれているため、言語モデルがテキストを見る前に、ある程度の整形は済んでいます。言語モデルが必要なのは、残った判断の部分だけです。