语音活动检测
又称:VAD
更新于
定义
语音活动检测(VAD)是一种判断有人在说话,还是只有静音或背景噪声的技术。它让软件能够自动开始和停止录音。
VAD模型小而快,持续在音频流上运行,不进行任何转写:它唯一的任务是对“这是语音吗?”给出是或否的回答。听写工具用它来实现免提模式(语音开始时启动,停顿时停止),以及在识别器运行之前剪掉静音。
设计良好的实现只会在你要求时才启用麦克风,并会丢弃没有变成听写的音频。
工作原理
经典的方法基于能量:如果麦克风信号高于某个阈值并持续足够长的时间,就算作语音。在任何有风扇、键盘声或另一个人的房间里,这种方法都会失效。现代VAD是一个很小的神经网络,经过训练来区分人声和其他所有声音,每段音频只需几毫秒就能处理完,开销低到可以在笔记本电脑上一直运行而不被察觉。
输出是一连串语音片段和非语音片段。听写工具用第一次转变来启动识别器,并用一段足够长的非语音来判断你已经说完。
为什么它关系到隐私
免提模式意味着工具在你开口之前就在聆听。一个值得信任的实现和一个令人不安的实现,区别在于如何处理那些结果不是语音的音频,或者从未变成听写的语音。正确的做法是:这些音频从不存储,从不发送到任何地方,检测器一判定不是语音就立即消失。在设备上运行VAD的工具可以做出这个承诺;把音频流式传到服务器来判断你是否在说话的工具则做不到。
VAD的不足之处
检测到停顿并不等于检测到一个想法的结束。人们会在句子中间停下来思考,由VAD驱动的停止会把他们打断;把停顿时间设长,工具又会显得迟缓。所以免提模式适合平稳流畅的听写,按键说话适合其他所有情况,这也是好工具会同时提供两者的原因。
如何在Mac上观察静音检测的工作方式
你不需要特殊软件就能看到语音检测器做出判断。Apple的听写在30秒内未检测到语音时会自动停止,你可以自己触发这条规则。
- 选取苹果菜单 → “系统设置”,点按“键盘”,前往“听写”,然后将其打开。
- 点按一个空白的备忘录或文稿。
- 按下听写快捷键,说一句话。
- 停止说话,不要操作Mac。
- 30秒没有语音后,观察听写在没有按键的情况下结束。
- 在附近播放音乐或开着风扇时重复测试,看看在你的设置下,背景声音是否会改变结果。
为什么免提听写会打断我,或漏掉我的第一个词?
语音检测器只能判断它收到的信号。如果选错了麦克风,或者输入音量非常小,你的声音和房间的声音就会变得相似,开始和停止的判断会变差。在责怪工具之前,先检查Mac实际在听什么。
- 在“系统设置 → 声音”中,点按“输入”,然后选择你真正在对着说话的麦克风。
- 在同一屏幕上,如果你的声音太小,就向上拖动输入音量滑块;如果太大,就向下拖动。
- 对于Apple的听写,请检查“系统设置 → 键盘 → 听写”下的“麦克风来源”。“自动”会让Mac选择你最有可能使用的设备。
- 靠近麦克风或使用耳麦,让你的声音明显比房间的声音大。
- 如果你会在句子中间停下来思考,那么这些段落请使用按住的按键或开关,而不是免提模式。
如何检查麦克风是否处于打开状态
任何等待语音的工具在等待时都必须保持麦克风打开。macOS会在这种情况发生时告诉你,并让你决定哪些App可以这样做。
- 打开“控制中心”,查找录制指示器。它会在麦克风正在使用或最近使用过时显示。
- 选取苹果菜单 → “系统设置”,然后点按边栏中的“隐私与安全”。
- 点按“麦克风”。
- 阅读请求使用麦克风的App列表。
- 对任何不应在聆听的App关闭访问权限。
大家常问的问题。
VAD在听写App中有什么作用?
它判断麦克风收到的是不是语音。在免提模式下,它会在你开口时开始识别,在你停顿时停止,所以你完全不用碰按键。
免提模式会一直在听吗?
在设计良好的工具中,只有你启用后才会。即便如此,检测器判断的也只是“是不是语音”,而不是在转写;没有变成听写的音频应该立即被丢弃。问一问这个判断在哪里进行;你想要的答案是在设备上。
VAD是什么的缩写?
VAD是voice activity detection(语音活动检测)的缩写。它是语音工具中判断输入的声音是否为语音的部分,不会识别具体的词。
Mac听写会等多久才停止聆听?
如果30秒内未检测到语音,Apple的听写会自动停止。你可以再次按下听写快捷键或按下Escape键,提前结束。
如何知道Mac上是否有App在使用麦克风?
打开“控制中心”,查找录制指示器,它会在麦克风正在使用或最近使用过时显示。若要查看哪些App被允许使用麦克风,请前往“系统设置 → 隐私与安全 → 麦克风”。