幻觉

录音开头或结尾的静音，这也是松开按键时的录音截取和语音活动检测之所以重要的原因。非常短的话语，比如一个词或一声咳嗽，模型几乎没有可依据的内容。来自视频或同事的背景语音，那是真实的语音，但不是你的。长录音，有些模型会在其中迷失位置，重复一段内容。每一种都有已知的缓解办法，而没有采用这些办法的工具，迟早会让你吃惊。

先运行语音活动检测器，绝不把非语音内容发送给识别器。裁掉两端的静音。丢弃短于最小长度的片段的结果。留意模型在没有对应音频能量时输出的文字，并将其丢弃。在格式化这一侧，拒绝任何加入了转写文本中没有的实词的改写，这样格式化模型也无法产生幻觉。做到了所有这些的工具，偶尔仍会听错你的话，但它绝不应该编造出一句话。

如果你用开源的Whisper命令行工具处理录音时，它编造或重复文字，这个工具有专门针对这种情况的文档化选项。它们不能消除问题，但能应对两种常见形式：在静音中编造的文字，以及循环重复的段落。

Whisper的作者把这些检查描述为针对噪声预测的权宜之计，而不是根治办法，所以更改之后，请对照音频检查结果。

1. 01 打开“终端”，先用默认设置运行一次文件，例如：whisper recording.wav --model turbo。记下编造或重复的文字出现在哪里。
2. 02 如果某个段落重复出现，请加上--condition_on_previous_text False再运行一次。文档称，这可能让各窗口之间的文字连贯性变差，但模型不太容易陷入失败循环。
3. 03 如果文字出现在静音处，请加上--word_timestamps True --hallucination_silence_threshold 2。开启词级时间戳后，当检测到可能的幻觉时，这会跳过长于给定秒数的静音段。
4. 04 除非你有理由更改，否则请让--no_speech_threshold保持默认值0.6，让--logprob_threshold保持默认值-1.0。它们共同决定一个分段何时被视为静音。
5. 05 在任意音频编辑器中剪掉录音开头和结尾的长时间静音，然后再运行一次，让模型要处理的非语音内容更少。
6. 06 在第一步记下的位置，把新的转写文本与音频进行对照。

听错是在你说了另一个词的位置出现了一个错误的词。它听起来像你说的话，你也能看出模型为什么选了它。幻觉在音频中完全没有来源。Whisper论文把极端情况描述为与实际音频完全无关的转写文本。

这个区别很重要，因为解决办法不同。听错可以通过更好的麦克风、更清晰的发音或一个词典条目来改善。幻觉则要通过让模型远离静音和噪声，或者拒绝模型自己也没把握的输出来预防。

• 在你沉默或已经停止说话的地方出现的文字，是幻觉。
• 同一个短语或句子连续重复好几次，是重复循环，Whisper论文把它列为与幻觉不同的另一种失败。
• 听起来像正确词的错误词，是听错。
• 录音开头或结尾的几个词丢失，是Whisper论文提到的第三种失败，它属于删除，而不是幻觉。

开源的Whisper代码会在解码每个30秒窗口后进行检查。如果生成的词元的平均对数概率低于-1.0，或者文本的gzip压缩比高于2.4，该窗口就被视为失败，并以更高的温度重新解码。高度重复的文本很容易压缩，所以压缩比能发现循环。

对于静音，论文指出，仅靠无语音token的概率不足以检测出没有语音的窗口。把0.6的无语音阈值与-1的对数概率阈值结合起来，检测会更可靠。模型卡仍把幻觉和重复文本列为已知的局限。