词错误率

每个错误都算作一样，而它们并不一样。漏掉一个“um”是改进；漏掉一个“not”则会让意思完全相反。拼错一个姓氏，你得改一次；拼错一个“the”则毫无代价，因为你根本看不到它。格式对WER来说完全不可见：“1030 am”和“10:30 AM”是同样的词。所以，一个原始WER稍差、但格式化处理好得多的工具，生成的文字需要的修改可能少得多。

所以你真正在意的数字，更接近“格式化之后每百词的修改次数”。没有任何基准会报告它，你只能用自己的工作听写一周来测量。

问一问是哪个基准、哪种语言、哪支麦克风。没有说明数据集的“99%准确”只是一句营销话术。问一问这个数字是在任何纠错步骤之前还是之后，以及是否用上了个人词典。再把它与WER看不到的东西放在一起权衡：名字、数字，以及文字出来时是成文还是转写文本。

换一支更好的麦克风、离嘴更近，比更换任何模型都更有帮助。在松开按键之前把句子说完，能给模型提供消除歧义的上下文。再为你实际会说的名字和术语建立个人词典，就能修复反复出现的错误，而这些正是要紧的错误：一个月出现一次的错误只是小麻烦，每天都出现的错误则会让你不想再听写。

你可以用一个叫jiwer的免费开源工具，在你自己的声音和麦克风上测量WER。它计算正确转写文本与识别器输出之间的最小编辑距离，这与基准测试使用的计算方法相同。

结果反映的是你的使用环境、你的麦克风和你朗读的段落。这是一个很小的样本，所以只把它当作粗略的读数，在得出结论之前，换用不同的文本再测几次。

1. 01 选一段几百个词的文字，存为名为ref.txt的纯文本文件，每行一句。这就是你的参考文本。
2. 02 用你想测试的工具听写同一段文字，把输出存为hyp.txt，相同的句子放在相同的行上。
3. 03 决定如何处理大写、标点和数字，然后对两个文件做同样的清理。一种简单的做法是在两个文件中都把所有字母改为小写，并去掉标点。
4. 04 打开“终端”，用以下命令安装该工具：pip install jiwer（需要Python 3.8或更高版本）。
5. 05 运行：jiwer -r ref.txt -h hyp.txt，即可输出词错误率。
6. 06 在命令中加上-a，可以输出每个句子的对齐结果，让你看到哪些词被替换、遗漏或插入。
7. 07 如果你想要的是字符错误率，请加上-c。

通常是因为评分前对文本的清理方式不同。WER基于字符串编辑距离，所以两份转写文本之间的每处差异都会被扣分，包括人会认为正确的差异，例如把缩约形式写成完整形式，或者把数字写成阿拉伯数字。

Whisper论文描述了这个问题，并用一个文本规范化器来应对：在统计错误之前，对两份转写文本都应用它。作者报告称，在几个数据集上，仅这一步就让WER最多降低了50%。没有说明背后规范化方式的WER数字，无法与另一个WER数字相比较。

• Whisper规范化器在评分前会删除hmm、mm、mhm、mmm、uh和um这些词。
• 它会删除方括号或圆括号中的任何短语。
• 它会把缩约形式展开为完整形式。
• 它会把用文字拼写的数字和金额改写为阿拉伯数字，例如“ten thousand dollars”会变成“$10000”。
• 它会把英式拼写转换为美式拼写，并去掉大部分标点和符号。

字符错误率（CER）是同样的计算，只是以字符而非词为单位。一个长单词中错了一个字母，在WER中算一个完整的错误，在CER中只算一个错误的一小部分，所以CER是更宽松的数字，两者不能互相比较。

模型发布者会按语言选择单位。例如，Whisper项目在Common Voice 15和Fleurs数据集上，为每种语言报告WER或CER。阅读准确度表格时，先看清某一行用的是哪一种，再与其他行比较。