話者ダイアライゼーション

声の似た2人、風邪で声が変わった1人、重なり合う発話、そして全員を同じ部屋の音に均してしまうノートパソコンのマイク。これらはどれもクラスタリングを失敗させます。話者の人数は、分かっているのではなく推測されることがほとんどです。最も優れたシステムでも、ポッドキャストのように交互に話すクリーンな音声ではうまく機能しますが、3人が同時に話す実際の会議ではかなり精度が落ちます。ラベルは手で直すつもりでいてください。

Otter.aiのような会議の文字起こしツールは、この機能を中心に製品を作っています。MacWhisperのようなファイルの文字起こしツールは、録音に話者ラベルを付けられます。音声入力ツールには一般にありません。話者が2人になることがない用途だからです。ダイアライゼーションが必須条件なら、探しているのは文字起こしツールです。

オープンソースのツールキットpyannote.audioは、話者ダイアライゼーションをコンピュータ上で実行します。誰がいつ話したかを、各発話の開始時刻と終了時刻とともに示します。単語は出力しないので、音声認識で作った文字起こしと組み合わせて使います。

以下の手順ではコミュニティパイプラインを使います。CC-BY-4.0ライセンスで公開されており、ダウンロードには無料のHugging Faceアカウントが必要です。

1. 01 ffmpegがインストールされていることを確認します。インストールするには、たとえば次を実行します：brew install ffmpeg
2. 02 ターミナルで次を実行してツールキットをインストールします：pip install pyannote.audio
3. 03 Hugging Faceにサインインし、pyannote/speaker-diarization-community-1のページで利用条件に同意します。
4. 04 hf.co/settings/tokensでHugging Faceのアクセストークンを作成します。
5. 05 Pythonで、パイプライン名とトークンを渡してPipeline.from_pretrainedでパイプラインを読み込み、オーディオファイルに対して呼び出します。
6. 06 出力のspeaker_diarizationフィールドをループで処理し、各発話の開始時刻、終了時刻、話者ラベルを読み取ります。
7. 07 話した人数がわかっている場合は、パイプラインを呼び出すときにnum_speakersを渡します。範囲しかわからない場合は、min_speakersとmax_speakersを渡します。

できません。どちらも音声認識モデルで、話者にラベルを付けるようには作られていません。Whisperのモデルカードには、話者の分類や話者ダイアライゼーションについては十分に評価されていないと書かれています。NVIDIAのParakeet TDT 0.6B v2のモデルカードにも、機能として話者ダイアライゼーションは挙げられていません。

Whisperの論文には、関連する癖も記録されています。初期のモデルは、話者の名前について、もっともらしいもののほぼ必ず間違った推測を書く傾向がありました。学習用の文字起こしの多くに話している人の名前が含まれていたためです。著者らは、話者の注記がない文字起こしでファインチューニングして、この挙動をなくしました。認識モデルだけで作った文字起こしに話者の名前が含まれていても、信用しないでください。

標準の指標はダイアライゼーション誤り率（DER）で、パーセントで表し、低いほど優れています。3種類の誤りを合計したものです。存在しない発話を検出する誤検出、実際の発話が誰にも割り当てられない検出漏れ、発話が別の人に割り当てられる話者の取り違えです。

単語誤り率と同じく、採点のルールによって数値が変わります。話者が切り替わる前後の短い時間（カラー）を誤りとして数えない評価もあれば、重なった発話を除外する評価もあります。pyannoteのベンチマークは、カラーを設けず、重なった発話も除外しないと明記しており、こちらのほうが厳しい条件です。出典の異なるDERの数値を比べる前に、この2つの条件を確認してください。