自動音声認識

ASRモデルは、音声と正しい文字起こしのペアで訓練されます。その量は数十万時間に及び、聞いたことのない音声に対してもテキストを予測できるようになるまで続けます。以前のシステムは、音響モデル（音から音素へ）と言語モデル（音素からありそうな単語へ）を分けていました。現在のシステムはエンドツーエンドで、1つのネットワークが音声をテキストのトークンに直接対応付けます。そのほうがシンプルで、精度が高く、一般向けのハードウェアでも動かしやすくなります。

現在は2つのアーキテクチャが主流です。Whisperのようなエンコーダ・デコーダモデルは、音声のまとまりを読み終えてから文字起こしを書くので、精度が高く、バッチ処理向きです。Parakeetのようなトランスデューサモデルは、音声が届くたびにトークンを出力するので、ストリーミングができます。

モデルのサイズと訓練データが上限を決めます。それより下はすべてユーザ側の要因です。マイクの品質、マイクとの距離、部屋の反響、背景ノイズ、アクセント、語彙です。名前、専門用語、製品名はどのモデルも苦手です。訓練データにめったに出てこないからです。そのため、日々の精度を上げるには、より大きなモデルに替えるよりも、個人用辞書と、文脈を踏まえた修正のステップのほうが効果があります。

2022年まで、競争力のあるASRはクラウドAPIの向こう側にありました。Whisperのオープンな公開に続いてParakeetなどが登場し、最先端の認識技術を誰もが使えるようになりました。そしてApple siliconが、ノートパソコンにそれを動かす計算能力をもたらしました。プライベートなローカル音声入力が、数年で妥協の選択肢から標準になったのはそのためです。

ベンチマークのスコアが表すのは、ベンチマークの音声での結果です。モデルがあなたの声、部屋、語彙をどう扱うかを知る唯一の方法は、自分の録音で実行してみることです。オープンなWhisperのコマンドラインツールを使えば、「ターミナル」ですぐに試せます。先にPythonとffmpegをインストールしておく必要があります。

1. 01 いつも音声入力するときと同じように話す自分の声を1、2分録音し、人名や専門用語もいくつか含めて、オーディオファイルとして保存します。
2. 02 「ターミナル」でWhisperをインストールします：pip install -U openai-whisper
3. 03 小さなモデルでファイルを文字起こしします：whisper myclip.m4a --model small --output_format txt
4. 04 書き出されたテキストファイルの名前を変更してから、同じコマンドを--model turboで実行します。
5. 05 2つの文字起こしを実際に話した内容と読み比べ、それぞれで間違った単語、抜けた単語、余分な単語を数えます。
6. 06 誤りの数を、話した単語の数で割ります。これがモデルごとの、あなた個人の単語誤り率です。

以前の認識器は、小文字の単語をただ並べて返すだけでした。現在のオープンモデルはもっと多くを返します。何が得られるかを知れば、それを使った製品が追加の作業なしで何をできるかがわかります。

• 句読点と大文字・小文字。Parakeet TDT 0.6Bは、どちらも組み込みの機能として挙げています。
• タイムスタンプ。Parakeetは単語単位とセグメント単位のタイムスタンプを返し、Whisperにはword_timestampsオプションがあります。
• 字幕ファイル。Whisperのコマンドラインツールは、txt、vtt、srt、tsv、jsonで出力できます。
• 言語。WhisperもParakeet TDT 0.6B v3も、指定しなければ話されている言語を検出します。
• 翻訳。Whisperの多言語モデルは、ほかの言語の音声を英語のテキストに翻訳できます。

ASRモデルの精度を表す数値は1つではありません。NVIDIAはParakeet TDT 0.6B v3について、Hugging Face Open ASR Leaderboardの8つの英語テストセットでの平均単語誤り率を6.34%と報告していますが、個々のセットではLibriSpeech test-cleanの1.93%から、企業の決算説明会の録音であるEarnings-22の11.42%まで幅があります。

言語も、音声の種類と同じくらい重要です。Whisperのモデルカードによると、モデルが高い成績を示すのは約10の言語で、学習データが少ない言語では精度が下がります。スコアを見るときは、ほかと比べる前に、どのテストセットとどの言語で測られたかを確認してください。