Whisper large-v3 turbo

OpenAIの発表では、ひと言でこう説明されています：turboはlarge-v3を最適化したもので、デコーダ層はlargeシリーズの32層から、tinyモデルと同じ4層に減らされている。モデルカードでは、枝刈りしたlarge-v3をファインチューニングしたものとされています。

デコーダを減らしたあと、モデルはlarge-v3と同じ多言語の文字起こしデータで、さらに2エポック学習されました。翻訳データは含まれておらず、これが次の項目に関係します。

OpenAI自身の表では、turboの速度はlargeモデルの約8倍、必要なビデオメモリは約10GBに対して約6GBとされています。この数値はA100グラフィックスカードで英語の音声を文字起こしして測ったものなので、表しているのは比率であり、特定のMacでの速さではありません。

精度について、OpenAIは、言語全体で見るとturboはlarge-v2と同程度の性能で、一部の言語では低下が大きいとし、タイ語と広東語を挙げています。

turboには、すべてのWhisperモデルに共通する制限があり、さらに独自の制限が1つあります。

• 翻訳はできません。OpenAIは、turboは翻訳タスク向けに学習されておらず、英語への翻訳を求めても元の言語のまま返すと明記しています。
• ハルシネーションが起きることがあります。モデルカードには、実際には話されていないテキストが予測に含まれる場合があると書かれています。
• 同じ内容を繰り返すことがあります。モデルカードによると、そのアーキテクチャのため、繰り返しのテキストを生成しやすくなっています。
• モデルカード自身の言葉では、言語によって精度にばらつきがあります。
• ライブでの利用向けではありません。モデルカードには、Whisperモデルはそのままではリアルタイムの文字起こしに使えないと書かれています。

公開されている重みは16ビット形式で約1.6GBです。重みは量子化できるので、より小さいビルドもあります。精度を少し犠牲にして、ダウンロードを小さくしたものです。

モデルカードには99の言語が載っています。ライセンスはコードと重みのどちらもMITなので、自由に使い、製品に組み込めます。

方法は1つではありません。OpenAIはPython向けにモデルを公開しています。ほかのプロジェクトが同じ重みを変換し、Apple silicon上でグラフィックスチップやApple独自のフレームワークを使って動かせるようにしていて、Mac用Appはそれを土台にしています。

Whisperは音声をひとまとまり読んでから書き出すので、録音済みの音声や、話し終えたときに表示される音声入力に向いています。話している最中に文字を表示するツールは、音声を自分で細かく区切るか、その部分にストリーミングモデルを使っています。