Whisper large-v3 turbo

OpenAI的公告用一句话概括：turbo是large-v3的优化版本，只有4个解码器层，与tiny模型相同，而large系列有32层。模型卡称它是经过剪枝的large-v3的微调版本。

解码器削减之后，模型又在与large-v3相同的多语言转写数据上训练了两个epoch。翻译数据被排除在外，这一点关系到下一节的内容。

OpenAI自己的表格列出，turbo的速度约为large模型的8倍，显存约为6GB，而large模型约为10GB。这些数据是在A100显卡上转写英语语音时测得的，所以它们描述的是比例，而不是某台Mac的实际表现。

在准确度方面，OpenAI说在各种语言上，turbo的表现与large-v2相近，但在部分语言上下降更明显，并点名了泰语和粤语。

Turbo有每个Whisper模型都有的局限，还多了一个自己的。

• 它不能翻译。OpenAI表示，turbo没有针对翻译任务进行训练，即使要求翻译成英语，它也会返回原始语言。
• 它可能会产生幻觉。模型卡说，预测结果中可能包含实际上并没有说过的文字。
• 它可能会重复自己。模型卡说，它的架构使它容易生成重复的文本。
• 用模型卡自己的话说，它在不同语言上的表现参差不齐。
• 它不是为实时使用而打造的。模型卡说，Whisper模型无法直接用于实时转写。

公开发布的权重在16位格式下约为1.6GB。由于权重可以量化，也有更小的版本，以牺牲一点准确度来换取更小的下载量。

模型卡列出了99种语言。代码和权重都采用MIT许可证，所以可以自由使用和分发。

方法不止一种。OpenAI以Python形式发布这个模型。其他项目把同样的权重转换为可以在Apple芯片上运行的版本，要么在图形芯片上运行，要么通过Apple自己的框架运行，Mac App正是基于这些项目构建的。

由于Whisper先读取一段音频再输出文字，它适合已完成的录音，以及在你停下时才显示文字的听写。那些在你说话时就显示文字的工具，会自己把音频分段，或者在这部分使用流式模型。