术语表 / 输出的结果

格式化处理

又称:后处理

更新于

定义

格式化处理是语音识别之后的一个步骤,它把原始转写文本变成一个人会打出来的文字:加上标点和大小写,用数字书写数字,去掉语气词,并采用适合文字去处的语气。听写工具之间的大部分差异就在这里。

识别器生成的是词语。它不知道“ten thirty am”应该写成10:30 AM,不知道Slack消息用小写而发给客户的邮件不用,也不知道“bob at acme dot com”是一个地址。格式化处理知道,或者说应该知道。早期工具用规则来做;当前这一代会在转写文本上运行一个小型语言模型;最好的工具两者兼用,凡是只有一个正确答案的都用规则,需要判断的交给模型。

这也是最容易出错的一步。一个被要求“整理一下”的模型会改写、收紧,偶尔还会编造;一个慢模型则会把快速的工具变成候诊室。一个产品如何约束它的格式化处理,比它用了哪个识别器更能说明它的质量。

好的格式化处理会做什么

去掉语气词和说错重来的部分。加标点,处理大小写。把数字、时间、日期、价格、单位、电子邮件地址和URL写成正确的形式。执行像“new paragraph”这样的语音命令。把片段和词典术语按保存的样子原样插入。匹配目标App的语气,随意或专业,并且可以按App固定。终端和代码编辑器里的内容原样不动。清单上的每一项,要么是一条规则,要么是一个指令严格限定的模型,而且顺序很重要:规则在前,这样模型就永远没有机会去质疑一个时钟时间。

规则与模型

语言模型擅长判断,但在精确性上不可靠。给它“ten thirty AM”,它通常会写成10:30 AM,而“通常”正是问题所在,因为它写成10:30 PM的那一次,你要等到错过会议才会发现。凡是只有一个正确答案的内容,比如时钟时间、口述标点、词典中的词、片段、符号名称,都应该由确定性的规则处理,每次生成相同的输出,并且可以测试。模型负责剩下的部分:句子的流畅度、分段、哪些语气词确实是语气词,以及语气。

防护措施

有三条值得坚持。内容检查:如果模型的输出丢掉了你说的词,或加入了你没说的词,就丢弃它,保留按规则格式化的转写文本。时间预算:如果模型在固定时间内没有给出结果,转写文本就不经过它直接出现。逐字通道:任何改写都算作bug的App,根本不使用模型。有了这些,格式化处理只会改进文字或保持原样,绝不会搞坏一次听写。

如何用Apple听写自己设置文本格式

Apple内置的“听写”会自动完成其中一小部分工作,其余的交给语音命令。了解这条界线在哪里,你就知道更完整的格式化处理会为你做些什么。

自动的部分是自动标点符号:在受支持的语言中,它会在你说话时插入逗号、句号和问号。分段、默认以外的大写和符号,都需要你说出来。

  1. 选取“苹果菜单 → 系统设置”,点按边栏中的“键盘”,然后前往“听写”。
  2. 打开“听写”。如果你希望自动插入逗号、句号和问号,请确认“自动标点符号”已打开。
  3. 开始听写,在想要分隔的地方说“换行”或“新段落”。
  4. 在数字前说“数字”,下一个短语就会格式化为数字。
  5. 说“首字母大写开”,后面的词会以标题式首字母大写书写;说“首字母大写关”恢复正常。说“全部大写”,下一个词会全部大写。
  6. 说出符号的名称即可插入它,例如“at符号”、“百分号”、“井号”或“美元符号”。
  7. 回看结果。凡是你仍需手动修改的地方,都是格式化处理需要完成的工作。

格式化处理与逆文本规范化

逆文本规范化是这项工作中一部分的旧称,范围也更窄:把口语形式转换为书面形式,例如把“ten thirty”变成10:30。Whisper论文指出,许多语音识别系统都包含一定程度的逆文本规范化,它通常很简单或基于规则,从它没处理的地方就能看出来,例如从不加逗号。

较新的开放模型把其中一部分工作移到了识别本身。Whisper的训练目标是按书面形式预测转写文本,作者称这样就不再需要单独的逆文本规范化步骤。NVIDIA称Parakeet TDT 0.6B v2直接支持标点和大写。

格式化处理就是在这之后仍会进行的一切。识别器给出的标点只是起点。去掉语气词、应用你自己的术语、适配目标App,都是识别器不会执行的单独步骤。

如何在macOS中添加你自己的格式规则

macOS自带一个小型的基于规则的格式化层,它很好地展示了什么是确定性规则:同样的输入总是得到同样的输出。自定义短语把一个字符串换成另一个,智能引号和破折号会在输入文本时更改标点。

Apple指出,自定义短语、智能引号和破折号以及智能链接并非在所有App中都可用。如果文本带着弯引号或你没想到的替换出现,先检查这些设置,再去别处找原因。

  1. 选取苹果菜单 → “系统设置”,然后点按边栏中的“键盘”。
  2. 点按“自定义短语”。
  3. 点按“添加”按钮,键入要替换的文本和替换后的文本,然后点按“添加”。
  4. 若要更改引号和破折号的行为,请前往“键盘”设置中的“文字输入”,然后点按“编辑”。
  5. 打开或关闭“使用智能引号和破折号”,根据需要选择引号样式,然后点按“完成”。
  6. 在单个App中,选取“编辑 → 替换”,即可为该App打开或关闭“文本替换”。

大家常问的问题。

听写软件中的后处理是什么?

语音模型生成转写文本之后,对它所做的一切处理:标点、大小写、数字格式、去除语气词、语音命令,以及语气。正是这个阶段把转写文本变成文字,也是各个工具差异最大的阶段。

格式化会用到AI吗?

在当前大多数工具中,部分会用到。一个小型语言模型负责语气和句子流畅度这类判断。更好的工具会改用固定规则,处理凡是只有一个正确答案的内容,比如时间和标点,因为模型只是通常正确。

我可以关闭格式化吗?

好的工具会让你选择格式化的程度,从逐字到完全润色,并在终端和代码编辑器中自动切换为逐字。格式化越少,文字出现得也越快,对快速回复来说,这是一个合理的取舍。

Apple听写会自动添加标点吗?

会,在受支持的语言中。Apple的“听写”会自动插入逗号、句号和问号,你可以在“系统设置”的“键盘”中,在“听写”部分关闭此功能。其他标点要说出名称才能输入。

什么是逆文本规范化?

它是把口语形式转换为书面形式的步骤,例如把说出的数字变成阿拉伯数字。它是格式化处理的一部分,一些较新的语音模型会直接生成标点和大写,所以需要的逆文本规范化更少。

如何让听写把数字写成阿拉伯数字?

在Apple的“听写”中,在数字前说“数字”,下一个短语就会格式化为数字。具有更完整格式化处理的工具无需命令就能转换数字、时间和价格。

用到它的指南

博客中

使用场景

相关对比

相关术语

你的声音一直都更快。

免费试用7天,之后$19 USD买断。无需账户,无需订阅,不上传任何内容。

macOS 14或更高版本 · Apple芯片