术语表 / 和它说话

语音活动检测

又称:VAD

更新于

定义

语音活动检测(VAD)是一种判断有人在说话,还是只有静音或背景噪声的技术。它让软件能够自动开始和停止录音。

VAD模型小而快,持续在音频流上运行,不进行任何转写:它唯一的任务是对“这是语音吗?”给出是或否的回答。听写工具用它来实现免提模式(语音开始时启动,停顿时停止),以及在识别器运行之前剪掉静音。

设计良好的实现只会在你要求时才启用麦克风,并会丢弃没有变成听写的音频。

工作原理

经典的方法基于能量:如果麦克风信号高于某个阈值并持续足够长的时间,就算作语音。在任何有风扇、键盘声或另一个人的房间里,这种方法都会失效。现代VAD是一个很小的神经网络,经过训练来区分人声和其他所有声音,每段音频只需几毫秒就能处理完,开销低到可以在笔记本电脑上一直运行而不被察觉。

输出是一连串语音片段和非语音片段。听写工具用第一次转变来启动识别器,并用一段足够长的非语音来判断你已经说完。

为什么它关系到隐私

免提模式意味着工具在你开口之前就在聆听。一个值得信任的实现和一个令人不安的实现,区别在于如何处理那些结果不是语音的音频,或者从未变成听写的语音。正确的做法是:这些音频从不存储,从不发送到任何地方,检测器一判定不是语音就立即消失。在设备上运行VAD的工具可以做出这个承诺;把音频流式传到服务器来判断你是否在说话的工具则做不到。

VAD的不足之处

检测到停顿并不等于检测到一个想法的结束。人们会在句子中间停下来思考,由VAD驱动的停止会把他们打断;把停顿时间设长,工具又会显得迟缓。所以免提模式适合平稳流畅的听写,按键说话适合其他所有情况,这也是好工具会同时提供两者的原因。

如何在Mac上观察静音检测的工作方式

你不需要特殊软件就能看到语音检测器做出判断。Apple的听写在30秒内未检测到语音时会自动停止,你可以自己触发这条规则。

  1. 选取苹果菜单 → “系统设置”,点按“键盘”,前往“听写”,然后将其打开。
  2. 点按一个空白的备忘录或文稿。
  3. 按下听写快捷键,说一句话。
  4. 停止说话,不要操作Mac。
  5. 30秒没有语音后,观察听写在没有按键的情况下结束。
  6. 在附近播放音乐或开着风扇时重复测试,看看在你的设置下,背景声音是否会改变结果。

为什么免提听写会打断我,或漏掉我的第一个词?

语音检测器只能判断它收到的信号。如果选错了麦克风,或者输入音量非常小,你的声音和房间的声音就会变得相似,开始和停止的判断会变差。在责怪工具之前,先检查Mac实际在听什么。

  • 在“系统设置 → 声音”中,点按“输入”,然后选择你真正在对着说话的麦克风。
  • 在同一屏幕上,如果你的声音太小,就向上拖动输入音量滑块;如果太大,就向下拖动。
  • 对于Apple的听写,请检查“系统设置 → 键盘 → 听写”下的“麦克风来源”。“自动”会让Mac选择你最有可能使用的设备。
  • 靠近麦克风或使用耳麦,让你的声音明显比房间的声音大。
  • 如果你会在句子中间停下来思考,那么这些段落请使用按住的按键或开关,而不是免提模式。

如何检查麦克风是否处于打开状态

任何等待语音的工具在等待时都必须保持麦克风打开。macOS会在这种情况发生时告诉你,并让你决定哪些App可以这样做。

  1. 打开“控制中心”,查找录制指示器。它会在麦克风正在使用或最近使用过时显示。
  2. 选取苹果菜单 → “系统设置”,然后点按边栏中的“隐私与安全”。
  3. 点按“麦克风”。
  4. 阅读请求使用麦克风的App列表。
  5. 对任何不应在聆听的App关闭访问权限。

大家常问的问题。

VAD在听写App中有什么作用?

它判断麦克风收到的是不是语音。在免提模式下,它会在你开口时开始识别,在你停顿时停止,所以你完全不用碰按键。

免提模式会一直在听吗?

在设计良好的工具中,只有你启用后才会。即便如此,检测器判断的也只是“是不是语音”,而不是在转写;没有变成听写的音频应该立即被丢弃。问一问这个判断在哪里进行;你想要的答案是在设备上。

VAD是什么的缩写?

VAD是voice activity detection(语音活动检测)的缩写。它是语音工具中判断输入的声音是否为语音的部分,不会识别具体的词。

Mac听写会等多久才停止聆听?

如果30秒内未检测到语音,Apple的听写会自动停止。你可以再次按下听写快捷键或按下Escape键,提前结束。

如何知道Mac上是否有App在使用麦克风?

打开“控制中心”,查找录制指示器,它会在麦克风正在使用或最近使用过时显示。若要查看哪些App被允许使用麦克风,请前往“系统设置 → 隐私与安全 → 麦克风”。

用到它的指南

博客中

使用场景

相关术语

你的声音一直都更快。

免费试用7天,之后$19 USD买断。无需账户,无需订阅,不上传任何内容。

macOS 14或更高版本 · Apple芯片