言语不流畅
又称:语气词
更新于
定义
言语不流畅是指流畅语流中的任何中断:像“um”和“uh”这样的语气词、重复的词、说错重来,以及自我更正。自然的说话中充满了这些,而完成的文字中一个都没有。
去除言语不流畅,是把转写文本变成文字的第一步,也是最显眼的一步。微妙之处在于区分语气词和有意义的内容:重复的词可能是磕绊,也可能是强调;说错重来可能是噪音,也可能是有意的更正(“three hundred, scratch that, four hundred dollars”)。
各种工具对此的处理,从完全不处理(原始转写文本),到基于规则去除语气词,再到用语言模型完整整理一遍。最后一种的风险在于改写你本来想说的内容。
言语不流畅的类型
有声停顿:um、uh、er,以及各种语言中的对应说法。话语标记:like、you know、sort of,在它们不带任何意义的时候。重复:“the the meeting”、“I I think”。说错重来:一个短语说到一半放弃,又重新开始。自我更正:一个值被另一个值替换,以“no wait”、“scratch that”、“I mean”为信号。每一种都需要不同的处理方式,而最后一种最有意思,因为正确的输出不是删掉一些词,而是保留更正。
规则、模型,还是两者兼用
有声停顿和重复可以安全地按规则去除:“um”从来不是你想说的词。话语标记要棘手一些,因为“like”有时是动词。自我更正最适合用一条严格的规则:当“no wait”前后是同一类东西,比如时间、数字或某一天时,用后者替换前者是确定无疑的,不需要模型。比这更宽松的情况,都交给一个有严格指令的语言模型:去掉不是本意的内容,绝不改写本意。
需要警惕的失败模式
过度整理。一个被要求让口语读起来顺畅的模型,只要有机会,就会收紧你的句子,把你的用词换成它自己的,并删掉那个本来就是重点的委婉说法。测试方法很简单:听写一段用词不寻常的话,看它是否保留下来。一个去掉你的语气词、保留你的用词的工具,是在做该做的事;一个润色你文笔的工具,是在做另一件你没要求的事。
如何在听写时少说语气词
处理语气词最干净的办法就是少说。语气词通常是用声音填补的停顿,这个习惯来自对话:在对话中,沉默会让别人开始说话。听写工具不会打断你,所以你可以安静地停顿。
使用Apple内置的“听写”时,你有充足的空间这样做。Apple称,只有在30秒内未检测到语音时,听写才会自动停止。
- 开始听写之前,先想好这句话要说什么,哪怕只是大概。
- 一次说一句话,说完就停。
- 需要思考时,闭上嘴,什么也不说。安静的停顿不会在文本中留下任何东西。
- 稍微放慢一点。当嘴巴跑在下一个想法前面时,就会出现语气词。
- 如果说错了,先把这句话说完,再回头更正,而不要说到一半重新开始。
- 回看你听写的内容,记下你最常用的语气词,下次就能留意它们。
为什么“um”不计入准确度基准测试?
因为许多基准测试设置会在统计错误之前,从两份转写文本中删除语气词。随Whisper论文发布的文本规范化器会在计算词错误率之前,从参考文本和模型输出中删除hmm、mm、mhm、mmm、uh和um这些词。
实际结果是,公布的准确度数字完全不能说明语气词的情况。一个把每个“um”都写出来的模型,和一个一个都不写的模型,可能得到相同的分数。语气词会不会进入你的文档,取决于模型外围的工具,你必须自己测试。
如何测试听写工具对不流畅语音的处理
一个简短的测试就能区分两类工具:一类按细致的规则去掉语气词,另一类删得太多或什么都不删。按下面写的原样听写每一行,包括其中的犹豫,然后把输出与你想表达的意思对比。
- 听写一句带有填充停顿的话,例如:“报告嗯差不多呃写完了”。两个语气词都应该被去掉,其他每个字都应该保留。
- 听写一句磕磕绊绊的话,例如:“我我觉得会议会议改时间了”。重复的词应该只出现一次。
- 听写一句有意重复的话,例如:“那天真的真的很长”。两个词都应该保留,因为这里的重复是为了强调。
- 听写一句把“那个”当作实词的话,例如:“我更喜欢那个方案”。这个词不能被删掉。
- 听写一句自我更正的话,例如:“星期一发不对星期二”。检查你得到的是更正后的值、两个值都有,还是错误的那个。
- 听写一句你确实想保留的委婉说法,例如:“我觉得我们可能应该再等等”。如果“我觉得”或“可能”不见了,说明这个工具在改写,而不是在整理。
大家常问的问题。
听写软件会去掉“嗯”“呃”这类语气词吗?
好的软件会自动去掉,连同重复的词和说错重来的部分一起。原始转写工具会保留它们。大多数系统的内置听写也会保留其中的大部分。
如果我在听写时纠正自己,会怎样?
使用能处理自我更正的工具时,说“Monday, no wait, Tuesday”会得到Tuesday。最稳妥的实现方式是:当两个值属于同一类时按规则处理,把更宽松的情况留给格式化模型。
去除语气词会改变我的本意吗?
基于规则去除语气词和重复不会。一个随意改写的语言模型则可能会,因为它会收紧或改写措辞。找一个承诺保留你的实词的工具,并用一句你能察觉到被改动的话去测试它。
听写时怎样才能不说“嗯”?
用沉默代替这个声音。开始之前先想好这句话,一次说一句,需要思考时就不出声地停顿。安静的停顿不会给文本添加任何东西。
语气词在词错误率中算作错误吗?
通常不算。例如,Whisper论文的文本规范化器会在评分前从两份转写文本中删除hmm、mm、mhm、mmm、uh和um,所以语气词对公布的数字既没有帮助,也没有损害。
语气词和说错重来有什么区别?
语气词是填补停顿的声音或词,例如“嗯”或“呃”。说错重来是你开了个头、又放弃、再换种说法重新说的一个短语。两者都属于不流畅,但说错重来包含真实的词,所以去掉它需要更加小心。