Whisper large-v3 turbo

OpenAI의 발표는 이를 한 문장으로 요약합니다. turbo는 large 시리즈의 디코더 레이어 32개를 tiny 모델과 같은 4개로 줄인, large-v3의 최적화 버전이라는 것입니다. 모델 카드는 이를 가지치기한 large-v3를 미세 조정한 버전이라고 부릅니다.

디코더를 줄인 뒤, 모델은 large-v3와 같은 다국어 전사 데이터로 2에포크 더 학습되었습니다. 번역 데이터는 제외되었는데, 이는 다음 섹션에서 중요합니다.

OpenAI의 자체 표에 따르면 turbo는 large 모델보다 약 8배 빠르고, 비디오 메모리는 약 10GB 대비 약 6GB를 사용합니다. 이 수치는 A100 그래픽 카드에서 영어 음성을 전사하며 측정한 것이므로, 특정 Mac의 성능이 아니라 비율을 나타냅니다.

정확도에 대해 OpenAI는 여러 언어에서 turbo가 large-v2와 비슷한 성능을 보이지만 일부 언어에서는 저하가 더 크다고 말하며, 태국어와 광둥어를 예로 듭니다.

turbo는 모든 Whisper 모델의 한계를 공유하며, 자체 한계가 하나 더 있습니다.

• 번역하지 않습니다. OpenAI는 turbo가 번역 작업용으로 학습되지 않았으며, 영어로 번역하도록 요청해도 원래 언어를 반환한다고 밝힙니다.
• 환각을 일으킬 수 있습니다. 모델 카드에 따르면 예측에 실제로 말하지 않은 텍스트가 포함될 수 있습니다.
• 같은 내용을 반복할 수 있습니다. 모델 카드에 따르면 아키텍처 때문에 반복적인 텍스트를 생성하기 쉽습니다.
• 모델 카드의 표현대로, 언어별로 성능이 고르지 않습니다.
• 실시간 사용을 위해 만들어지지 않았습니다. 모델 카드에 따르면 Whisper 모델은 기본 상태로는 실시간 전사에 사용할 수 없습니다.

공개된 가중치는 16비트 형식으로 약 1.6GB입니다. 가중치를 양자화할 수 있어 더 작은 빌드도 있으며, 정확도를 약간 희생하는 대신 다운로드 크기가 작아집니다.

모델 카드에는 99개 언어가 나와 있습니다. 코드와 가중치 모두 MIT 라이선스이므로 자유롭게 사용하고 배포할 수 있습니다.

정해진 방법은 하나가 아닙니다. OpenAI는 Python용 모델을 공개합니다. 다른 프로젝트들은 같은 가중치를 변환해 그래픽 칩에서 또는 Apple 자체 프레임워크를 통해 Apple 실리콘에서 실행하며, Mac 앱은 이를 기반으로 만들어집니다.

Whisper는 오디오 덩어리를 읽은 뒤에 쓰기 때문에, 완성된 녹음이나 말을 멈췄을 때 나타나는 받아쓰기에 적합합니다. 말하는 동안 단어를 보여 주는 도구는 오디오를 직접 나누거나, 그 부분에 스트리밍 모델을 사용합니다.