レイテンシ

認識の残り：キーを離した時点でまだ処理されていない音声の量です。ストリーミングによってほぼゼロにできます。整形：文字起こし結果に言語モデルをかける処理です。ローカルのツールでは通常これが単独で最大のコストで、速いツールがこのモデルを小さく保ち、厳しい時間制限を設けるのはそのためです。挿入：アクセシビリティ機能を通じて、フォーカスのあるアプリに結果を入力する処理です。通常は数十ミリ秒です。ネットワーク（クラウドツールの場合）：往復の通信に加え、自分では管理できないサーバ上での順番待ちがかかります。クラウドのレイテンシが時間帯によって速かったり使い物にならなかったりするのはこのためです。

整形パスには時間がかかり、これを省けば最速のツールになります。ただしそれは、手で直さなければならない文字起こし結果を渡してくるツールでもあり、直す手間は節約した時間より大きくなります。正しい設計は選択肢を用意することです。ほぼ即座に入力される「そのまま」モードや軽いクリーンアップのモードと、少し時間はかかっても修正の要らない完全な整形モードです。ツールが決してしてはいけないのは、遅いモデルにテキストを人質に取らせることです。整形パスが遅れても、プレーンな文字起こし結果はそのまま入力されるべきです。

特別なツールは要りません。マイクの音も一緒に録る画面収録なら、声と画面が同じタイムラインに乗るので、再生しながら遅れをそのまま読み取れます。

長さの違う音声入力を何回か測ってください。1回の計測ではほとんど何もわかりません。短い音声入力と長い音声入力の差を見れば、話す長さに応じて待ち時間が伸びるかどうかがわかります。

1. 01 ふだん音声入力に使うアプリを開き、テキストフィールドにカーソルを置きます。
2. 02 Shift-⌘-5を押して「スクリーンショット」を開き、画面全体または選択部分の収録を選びます。
3. 03 「オプション」をクリックしてマイクを選び、収録に声が入るようにします。
4. 04 収録を開始し、短い文を1つと長い文を1つ、数秒空けて音声入力します。
5. 05 メニューバーの停止ボタンをクリックします。収録は、名前が「画面収録」で始まる.movファイルとして保存されます。
6. 06 ファイルを再生し、それぞれの音声入力について2つの時点をメモします。声が止まった時点と、仕上がったテキストが画面に表示された時点です。その間隔がレイテンシです。
7. 07 短い音声入力と長い音声入力を比べます。長いほうの待ち時間がはっきり長ければ、そのツールはバッチ処理をしています。

モデルのサイズは、精度と速度のもっとも直接的なトレードオフです。Whisperプロジェクトは自社モデルの相対速度を公開しており、largeモデルを1xとすると、tinyは約10x、baseは約7x、smallは約4x、mediumは約2x、turboは約8xです。これはモデル同士の相対的な数値で、実際の速度はハードウェアによって変わります。

速いだけでは、モデルはリアルタイムにはなりません。Whisperは30秒のスライディングウインドウで音声を読み込み、モデルカードには、そのままではリアルタイムの文字起こしに使えないと書かれています。こうしたモデルを使う音声入力ツールは、独自にストリーミングや分割処理を加える必要があり、その出来が体感する遅れを左右します。

アプリを介さずに認識そのものの負荷を知りたい場合は、自分の声の録音を使ってオープンソースのWhisperコマンドラインツールの処理時間を測れます。測れるのはMac上のモデルの処理だけです。整形も、テキストの挿入も、ネットワークも含まれません。

この数値は、どの音声入力アプリのレイテンシでもありません。アプリは話している間に音声を処理するからです。自分のハードウェアでモデルのサイズを比べるのに役立ちます。

1. 01 次のコマンドでオーディオ用の依存ツールをインストールします：brew install ffmpeg
2. 02 Whisperをインストールします：pip install -U openai-whisper
3. 03 自分が話す声を10秒ほど録音し、たとえばclip.wavとして保存します。
4. 04 time whisper clip.wav --model tinyを実行し、ターミナルに表示されるrealの時間をメモします。
5. 05 time whisper clip.wav --model turboを実行し、もう一度時間をメモします。
6. 06 それぞれのコマンドをもう一度実行して、2回目の時間を比べます。初回だけの準備にかかる時間を含めないためです。