言語識別

ASRモデルの中には、文字起こしの副産物として言語を自分で検出するものがあります。Whisperは最初のパスでこれを行います。ほかのモデルは、発話の冒頭を聞いて言語と信頼度スコアを返す、小さな別の分類器を使います。いずれにしても、判断は早く行う必要があります。間違ったモデルは、多くを出力する前に打ち切らなければならないからです。また、ごくわずかな音声から判断しなければなりません。音声入力の最初の1、2語が、多言語ツールにとっていちばん不安定な瞬間なのはそのためです。

言語を識別して、その言語で文字起こしするのが、デフォルトで安全な動作です。翻訳、つまりある言語で話して、テキストを別の言語で入力することは、別のオプションのステップであり、自分でオンにしない限りオフであるべきです。勝手に翻訳するツールは、本来ツールが決めるべきではないことを、あなたの言葉について決めてしまっています。

Appleの音声入力は追加した言語で使え、音声入力中に自分で言語を切り替えます。設定は1分で済みます。

1. 01 アップルメニュー→「システム設定」と選択し、サイドバーで「キーボード」をクリックします。
2. 02 「音声入力」に移動して、「言語」の横にある「編集」ボタンをクリックします。
3. 03 音声入力に使いたい言語と地域をそれぞれ選択します。
4. 04 任意のテキストフィールドで音声入力を開始します。
5. 05 言語を変えるには、カーソルの横に表示される言語をクリックします。言語は略称か、その言語を表す文字で表示されます。
6. 06 または、🌐キーを押して、使いたい言語を選択します。

Whisperは、文字起こしや翻訳と並ぶタスクの1つとして、話されている言語を特定するように学習されています。言語を指定しない場合、文字起こしツールは音声の最初の最大30秒を使って言語を検出し、ファイル全体をその言語として文字起こしします。英語専用モデルは検出を行わず、英語とみなします。

Parakeet TDT 0.6B v3の方法はもっと限定的です。NVIDIAによると、対応する25のヨーロッパ言語の範囲で、音声の言語を自動的に検出し、追加の指示なしで文字起こしします。その範囲外の言語には対応していません。

検出は少量の音声からの推測なので、いくつかの状況ではほぼ確実につまずきます。ほとんどは簡単に直せます。言語を自分でモデルに伝えればよいのです。

• 録音の途中で言語が変わる。Whisperのツールはファイルの冒頭から一度だけ検出し、その言語を残りにも適用します。
• その言語の学習データが少ない。Whisperのモデルカードは、そうした言語では精度が低くなると報告しています。
• その言語にモデルがまったく対応していない。その場合、モデルは対応している言語のどれかで答えるしかありません。
• Whisperでの直し方：コマンドに--languageと言語名を追加します。例：--language German
• Appleの音声入力での直し方：カーソルの横の言語をクリックして、自分で言語を選びます。