非流暢性
別名：言いよどみ
更新日：
定義
非流暢性とは、流暢な発話が途切れることすべてを指します。「えー」「あの」のような言いよどみ、言葉の繰り返し、言いかけ、言い直しなどです。自然な話し言葉にはこれらがたくさん含まれますが、完成した文章には1つもありません。
非流暢性の除去は、文字起こし結果を文章に変える作業の最初の、そして最も目に見える部分です。難しいのは、言いよどみと意味のある言葉を見分けることです。繰り返された言葉はつっかえただけのこともあれば強調のこともあり、言いかけはただの雑音のこともあれば意図的な訂正のこともあります（「three hundred, scratch that, four hundred dollars」）。
ツールの対応はさまざまで、まったく何もしないもの（未加工の文字起こし）から、ルールによる言いよどみの除去、言語モデルによる本格的なクリーンアップまであります。最後のものには、意図した言い回しまで書き換えてしまうリスクがあります。
非流暢性の種類
有声休止：「えー」「あの」「えっと」と、ほかの言語でそれに当たる音。談話標識：「なんか」「ほら」「みたいな」などで、意味を持たない場合。繰り返し：「その、その会議」「私は、私は思う」。言いかけ：途中でやめて言い直したフレーズ。言い直し：ある値を別の値に置き換えるもので、「no wait」「scratch that」「I mean」などで示されます。それぞれに異なる扱いが必要で、興味深いのは最後のケースです。正しい出力は言葉を消すことではなく、訂正を生かすことだからです。
ルール、モデル、またはその両方
有声休止と繰り返しは、ルールで安全に除去できます。「えー」が意図した言葉であることはないからです。談話標識はもっと厄介です。「なんか」は「何か」の意味で使われることもあるからです。言い直しは、限定されたルールで扱うのに最も適したケースです。「no wait」の前後が時刻、数値、曜日など同じ種類のものであれば、前者を後者で置き換えるのは確実で、モデルは必要ありません。それ以外のあいまいなものはすべて、厳格な指示を受けた言語モデルに任せます。意図していないものは除き、意図したものは決して書き換えない、という指示です。
注意すべき失敗パターン
過剰なクリーンアップです。話し言葉を読みやすくするよう指示されたモデルは、機会があれば文を引き締め、言葉を自分の言葉に置き換え、肝心だったはずのぼかした言い方を削ってしまいます。確かめ方は簡単です。少し変わった言葉選びの文を音声入力し、その言葉が残るか見てください。言いよどみを消して言葉は残すツールは、本来の仕事をしています。文章を改善するツールは、頼んでいない別の仕事をしています。
言いよどみを減らして音声入力する方法
言いよどみに対処するいちばんすっきりした方法は、言いよどみを口にする回数を減らすことです。言いよどみはたいてい、音で埋めた間です。この癖は会話から来ています。会話では、黙ると相手が話し始めてしまうからです。音声入力ツールは話をさえぎらないので、代わりに黙って間を取れます。
Appleに標準で入っている音声入力なら、そのための時間は十分にあります。Appleによると、音声入力が自動で止まるのは、30秒間音声が検出されないときだけです。
- 音声入力を始める前に、ざっくりでかまわないので、文の内容を決めておきます。
- 1文ずつ話し、文の終わりで止まります。
- 考える必要があるときは、口を閉じて何も言わないようにします。黙って取った間は、テキストに何も残しません。
- 少しゆっくり話します。言いよどみは、口が次の考えより先に進んだときに出ます。
- 言い間違えたら、途中で言い直さずに文を最後まで言い、あとで直します。
- 音声入力した内容を読み返し、よく使う言いよどみをメモしておきます。次回はそれに気をつけて話せます。
精度のベンチマークで「um」が数えられないのはなぜですか？
多くのベンチマークでは、誤りを数える前に両方の文字起こしから言いよどみを削除するからです。Whisperの論文とともに公開されたテキスト正規化器は、単語誤り率を計算する前に、正解の文字起こしとモデルの出力からhmm、mm、mhm、mmm、uh、umという語を取り除きます。
つまり、公表された精度の数値からは、言いよどみについては何もわかりません。umをすべて書き出すモデルと、1つも書き出さないモデルが、同じスコアになることもあります。言いよどみが文書に残るかどうかはモデルを包むツールの性質で、自分で試すしかありません。
音声入力ツールの非流暢性の扱いを試す方法
短いテストで、言いよどみを慎重なルールで取り除くツールと、取り除きすぎるツールや何も取り除かないツールを見分けられます。以下の各行を、言いよどみも含めて書かれたとおりに音声入力し、出力を意図した内容と比べてください。
- 「the report is um almost uh finished」のように、言いよどみで間を埋めた文を音声入力します。両方の言いよどみが消え、ほかの単語はすべて残るはずです。
- 「I I think the the meeting moved」のように、つっかえた文を音声入力します。重なった単語は1回だけ表示されるはずです。
- 「that was a very very long day」のように、意図的に繰り返した文を音声入力します。繰り返しは強調なので、両方の単語が残るはずです。
- 「I like the second option」のように、「like」を本来の単語として使った文を音声入力します。この単語は削除されてはいけません。
- 「send it Monday no wait Tuesday」のように、途中で言い直した文を音声入力します。訂正後の値が出るか、両方の値が出るか、誤った値が出るかを確認します。
- 「I think we should probably wait」のように、本当に言いたい控えめな表現を音声入力します。「I think」や「probably」が抜けていたら、そのツールは整えているのではなく書き換えています。
よくある質問。
音声入力ソフトは「えー」や「あの」を除去しますか？
優れたものは、繰り返しや言いかけとあわせて自動的に除去します。未加工の文字起こしツールはそのまま残します。多くのOSに標準搭載されている音声入力も、ほとんどをそのまま残します。
音声入力中に言い直すとどうなりますか？
言い直しに対応したツールでは、「Monday, no wait, Tuesday」と言うとTuesdayと出力されます。最も安全な実装では、2つの値が同じ種類のときにルールで処理し、それ以外のあいまいなケースは整形モデルに任せます。
言いよどみの除去で、意図した意味が変わることはありますか？
「えー」や繰り返しをルールで除去する場合は、変わりません。自由に書き換える言語モデルなら、文を引き締めたり言い換えたりすることで変わる可能性があります。内容を表す言葉が残ることを保証しているツールを探し、変えられたらすぐ気付くような文で試してください。
音声入力のときに「えー」と言わないようにするには？
声の代わりに沈黙を使います。始める前に文を決め、1文ずつ話し、考える必要があるときは何も言わずに間を取ります。黙って取った間はテキストに何も加えません。
言いよどみは単語誤り率で誤りとして数えられますか？
数えられないことがよくあります。たとえばWhisperの論文のテキスト正規化器は、採点の前に両方の文字起こしからhmm、mm、mhm、mmm、uh、umを取り除きます。そのため公表された数値は、言いよどみによって良くも悪くもなりません。
言いよどみと言い直しの違いは何ですか？
言いよどみは、umやuh（日本語なら「えー」「あの」）のように、間を埋める音や語です。言い直しは、言いかけた語句をやめて、別の形で言い直すことです。どちらも非流暢性ですが、言い直しには実際の単語が含まれるため、取り除くにはより注意が必要です。
