延迟

识别尾段：松开按键时还剩多少音频要处理，流式能把它减少到几乎为零。格式化：用语言模型对转写文本处理一遍，这通常是本地工具中最大的一项开销，也是快速的工具要让这个模型保持小巧、并给它严格时间预算的原因。插入：通过无障碍层把结果输入当前聚焦的App，通常只需几十毫秒。网络，针对云端工具：一次往返，再加上在你无法控制的服务器上排队，这就是云端延迟会随时段从很快变成无法使用的原因。

格式化处理要花时间，跳过它就是最快的工具。但这样的工具会把转写文本交给你手动修改，花掉的时间比它省下的还多。正确的设计是提供选择：一种逐字或轻度整理的模式，几乎立即出现；一种完整格式化的模式，稍慢一点，但无需修改。工具绝不应该做的，是让一个慢模型把文字扣住不放；如果处理超时，原始转写文本也应照常出现。

你不需要特殊工具。同时录下麦克风声音的录屏，会把你的声音和屏幕放在同一条时间线上，所以你可以直接从回放中读出延迟。

测量几次长短不同的听写。一次读数说明不了什么，而短听写和长听写之间的差别能告诉你，等待时间是否会随你说话的时长而增加。

1. 01 打开你平时用来听写的App，把光标放在一个文本框中。
2. 02 按下Shift-⌘-5打开“截屏”，然后选择录制整个屏幕或屏幕的一部分。
3. 03 点按“选项”并选择你的麦克风，让录制内容包含你的声音。
4. 04 开始录制，然后听写一个短句和一个长句，中间留几秒钟。
5. 05 点按菜单栏中的停止按钮。录制内容会存为一个.mov文件，文件名以“录屏”开头。
6. 06 播放文件，为每次听写记下两个时刻：你的声音停止的时刻，以及完成的文字出现在屏幕上的时刻。两者之间的间隔就是延迟。
7. 07 比较短听写和长听写。如果长听写的等待时间明显更长，说明这个工具是在批量处理。

模型大小是准确度与速度之间最直接的取舍。Whisper项目公布了自家模型的相对速度：以large模型为1x，tiny约为10x，base约为7x，small约为4x，medium约为2x，turbo约为8x。这些数字是相互之间的比较，实际速度取决于你的硬件。

光有速度并不能让模型实时工作。Whisper通过一个滑动的30秒窗口读取音频，它的模型卡说明这些模型无法开箱即用地进行实时转写。基于这类模型构建的听写工具必须自己加上流式或分块处理，而做得好不好决定了你感受到的延迟。

如果你想看到不带任何App的识别本身的开销，可以用你自己声音的录音，为开源的Whisper命令行工具计时。这只测量模型在你的Mac上的表现，不涉及其他：没有格式化，没有插入，没有网络。

这个数字不是任何听写App的延迟，因为App会在你说话时处理音频。它适合在你自己的硬件上比较不同大小的模型。

1. 01 用以下命令安装音频依赖：brew install ffmpeg
2. 02 用以下命令安装Whisper：pip install -U openai-whisper
3. 03 录下你自己说话约十秒钟的音频并保存文件，例如存为clip.wav。
4. 04 运行：time whisper clip.wav --model tiny，记下“终端”输出的real时间。
5. 05 运行：time whisper clip.wav --model turbo，再次记下时间。
6. 06 每条命令再运行一次，比较这两次的计时，这样就不会把一次性的准备时间算进去。