流式转写

使用批量识别时，模型在你松开按键时才开始工作，你要等整段录音处理完。停顿的长短与你说了多久成正比。使用流式时，模型一直在跟进，所以松开按键时只剩最后零点几秒的音频要处理，再运行一次格式化处理。结果是延迟不会随着句子变长而增加，这就是人们说一个工具快时所指的意思。

还有第二个效果。看着实时出现的文字，你就知道工具听对了，所以事后不再瞄一眼结果去检查。这种信任，是让听写成为习惯、而不是一次尝试的主要原因。

流式模型会先暂定地给出文字，并可能随着更多音频到达而改变主意：“the meeting is”可能片刻之后就变成“the meeting isn’t”。好的工具会在临时显示区中展示这些修正，比如刘海浮层或浮动胶囊，只把已确定的文字插入你的文稿。把实时的部分结果插入App再改写它们，就是工具与你的文本编辑器打架的原因。

流式需要一个为该语言训练的transducer类模型。如今流式效果好的模型系列覆盖几十种语言；像Whisper这样的批量模型覆盖大约一百种。声称支持99种语言、又能实时出字的工具，通常是在其transducer支持的语言中流式输出，其余语言则批量处理。一个诚实的产品页面会说明哪些是哪种。

macOS有一个内置的流式转写示例，叫作“实时字幕”。它会在音频仍在播放时，为App中的音频或麦克风接收到的声音生成字幕。Apple称音频在设备上处理。“实时字幕”仅适用于搭载Apple芯片的Mac电脑，且并非在所有语言、国家或地区都可用。

1. 01 选取“苹果菜单 → 系统设置”，然后点按边栏中的“无障碍”。
2. 02 点按“实时字幕”，然后将其打开。
3. 03 在任意App中播放一段视频或播客。
4. 04 观察字幕窗口。说话人还在说话时，文字就已出现，这就是流式转写。
5. 05 用完后，在同一位置关闭“实时字幕”。

就Whisper而言，开箱即用时不能。OpenAI的模型卡称，Whisper模型无法开箱即用地进行实时转写，但其他人可以在其基础上构建接近实时的应用。参考代码会以30秒的窗口在一个完整的文件中逐段移动。

Parakeet更接近一些。NVIDIA为Parakeet TDT 0.6B v3发布的模型卡记录了一种流式模式，它的示例设置展示了每种流式方案都要做的取舍：音频以2秒为一块处理，并以之前10秒和之后2秒的音频作为上下文。之后的音频就是前瞻。前瞻越多，模型可依据的信息越多，文字出现得也越晚。

当有人在等着看文字时，流式就很重要。当音频已经是一个文件时，批量处理就够了，而且通常更简单。如果你在选择工具，请让模式与任务相匹配。

• 在文本框中听写：用流式，这样你能看到自己的话正在被听到。
• 实时通话或演讲的字幕：用流式，因为一句话说完后才出现的字幕没什么用。
• 转写录好的会议、访谈或讲座：用批量。没有人在看文字逐个出现。
• 制作字幕文件：用批量。Whisper命令行工具可以直接写出srt和vtt文件。
• 你的流式模型不支持的语言：用批量，并选择支持该语言的模型。