Whisper

tiny와 base는 빠르지만 거칠어서 음성 메모 정도에 알맞습니다. 받아쓰기에 쓸 만한 최소 크기는 small입니다. medium과 large는 업무에 쓸 만큼 정확하고, 최신 Mac에서는 여전히 빠릅니다. 지금 가장 균형이 좋은 것은 large-v3-turbo입니다. 디코더를 가볍게 줄인 large 모델로, 정확도는 대부분 유지하면서 속도는 몇 배 빠릅니다. 모델을 고를 수 있는 Mac 도구는 대부분 이 크기들을 제공하며, 받아쓰기에 맞는 답은 기다리다 지치기 전에 텍스트를 돌려주는 가장 큰 모델입니다.

Whisper는 오디오 구간을 읽은 다음 그 구간의 전사본을 씁니다. 판단하기 전에 문장 전체를 보기 때문에 정확하지만, 그래서 일괄 처리 방식이 됩니다. 말을 멈출 때까지 아무것도 나타나지 않습니다. Whisper만으로 만든 도구는 문장마다 잠시 멈추는 느낌이 듭니다. 스트리밍하는 도구는 실시간 단어를 위해 트랜스듀서 모델을 함께 쓰고, 그 모델이 처리하지 못하는 언어에만 Whisper를 씁니다.

Whisper는 무음이나 아주 짧은 클립에서 환각을 일으켜 아무도 말하지 않은 그럴듯한 문구를 만들어 내고, 긴 오디오에서는 같은 내용을 되풀이하기도 합니다. 두 문제 모두 잘 알려져 있고 대처법도 잘 정리되어 있습니다. 모델을 실행하기 전에 무음을 잘라 내고, 구간을 짧게 유지하고, 말소리가 없는 오디오에서 나온 출력은 의심하면 됩니다. 숫자와 고유 명사는 일반적인 ASR과 마찬가지로 사용자가 쓰는 철자가 아니라 가장 확률이 높은 철자로 나옵니다.

OpenAI는 Whisper를 명령줄 도구가 포함된 Python 패키지로 공개합니다. 프로젝트에 따르면 코드는 Python 3.8부터 3.11까지에서 작동할 것으로 예상되며, 오디오 파일을 읽으려면 ffmpeg 도구가 필요합니다. 아래 단계는 Python과 Homebrew가 이미 설치되어 있다고 가정합니다.

1. 01 터미널을 열고 다음 명령으로 ffmpeg을 설치하세요: brew install ffmpeg
2. 02 다음 명령으로 Whisper를 설치하세요: pip install -U openai-whisper
3. 03 다음 명령으로 파일을 전사하세요: whisper audio.mp3 --model turbo
4. 04 처음 실행할 때 모델이 다운로드되는 동안 기다리세요. 모델은 홈 폴더의 .cache/whisper 폴더에 저장되고 이후에 다시 사용됩니다.
5. 05 현재 폴더에서 전사본을 찾으세요. 기본적으로 Whisper는 txt, vtt, srt, tsv, json 파일을 씁니다.
6. 06 자동 감지를 건너뛰려면 --language 뒤에 언어 이름을 붙이세요. 예: --language Japanese
7. 07 whisper --help를 실행하면 모든 옵션을 볼 수 있습니다.

OpenAI 표에 따르면 large 모델은 15억 5,000만 파라미터, 약 10GB의 비디오 메모리, 상대 속도 1x입니다. turbo 모델은 8억 900만 파라미터, 약 6GB, 약 8x입니다. OpenAI는 turbo를 정확도 저하가 최소화된 large-v3의 최적화 버전이라고 설명하며, turbo는 명령줄 도구의 기본 모델입니다.

이 수치에는 두 가지 주의할 점이 있습니다. 속도는 NVIDIA A100 그래픽 카드에서 영어를 전사하며 측정했으며, OpenAI는 실제 속도가 언어, 말하는 속도, 하드웨어에 따라 크게 다를 수 있다고 말합니다. 또한 turbo는 번역용으로 학습되지 않았으므로, 번역을 요청해도 원래 언어로 돌려줍니다.

• tiny: 3,900만 파라미터, 약 1GB, 약 10x.
• base: 7,400만 파라미터, 약 1GB, 약 7x.
• small: 2억 4,400만 파라미터, 약 2GB, 약 4x.
• medium: 7억 6,900만 파라미터, 약 5GB, 약 2x.
• large: 15억 5,000만 파라미터, 약 10GB, 1x.
• turbo: 8억 900만 파라미터, 약 6GB, 약 8x.

Whisper는 두 가지 작업으로 학습되었습니다. 음성을 그 언어 그대로 전사하는 작업과, 다른 언어의 음성을 영어로 번역하는 작업입니다. 68만 시간의 학습 데이터 중 약 43만 8,000시간은 영어 전사본이 있는 영어 오디오, 약 12만 6,000시간은 영어 전사본이 있는 비영어 오디오, 약 11만 7,000시간은 같은 언어의 전사본이 있는 비영어 오디오이며, 98개 언어에 걸쳐 있습니다.

그래서 번역은 한 방향으로만 됩니다. 비영어 음성에서 영어 텍스트를 얻으려면 --task translate를 추가하고, OpenAI가 권장하는 대로 medium이나 large 모델을 사용하세요. Whisper는 영어 음성을 다른 언어로 번역하지 않습니다.

tiny, base, small, medium 크기에는 이름이 .en으로 끝나는 영어 전용 버전도 있습니다. OpenAI에 따르면 이 버전은 영어에서 더 좋은 성능을 보이는 경향이 있고, 특히 tiny.en과 base.en에서 그러하며, small.en과 medium.en에서는 차이가 덜 두드러집니다.