Parakeet

Whisper 같은 인코더-디코더 모델은 읽는 쪽과 쓰는 쪽으로 나뉩니다. 인코더가 오디오 구간을 소화하면 디코더가 전사본을 씁니다. 트랜스듀서는 이 둘을 합쳐, 구간이 닫히기를 기다리지 않고 새 오디오 조각마다 새 토큰을 만들 수 있게 합니다. 스트리밍에 필요한 것이 바로 이것이며, 트랜스듀서가 긴 오디오에서 더 안정적인 경향이 있는 이유이기도 합니다. 한 구절 전체를 “다시 생각”해서 되풀이할 기회가 없기 때문입니다.

Parakeet은 키를 누르고 있는 동안 돌아가야 하는 엔진입니다. 노치나 알약 모양 창에 실시간 전사본을 보여 주고, 말이 제대로 들렸다는 것을 확인시켜 주며, 키를 놓을 때 할 일을 거의 남기지 않습니다. 다만 최종 텍스트 품질은 다른 ASR 모델과 똑같이 뒤따르는 서식 단계와 이름을 위한 사전에 달려 있습니다.

요즘 사람들이 말하는 Parakeet 모델은 대개 두 가지 TDT 0.6B 릴리스입니다. 둘 다 파라미터가 6억 개이고, 구두점과 대소문자를 넣으며, 타임스탬프를 돌려주고, CC BY 4.0 라이선스로 공개되었습니다.

차이는 언어입니다. 버전 2는 영어 전용이며 약 12만 시간의 영어 음성으로 학습되었습니다. 버전 3은 이를 25개 유럽 언어로 확장했으며, 알려 주지 않아도 어떤 언어로 말하는지 감지합니다. NVIDIA가 보고한 Hugging Face Open ASR Leaderboard 평균 단어 오류율은 v2가 6.05%, v3가 6.34%입니다.

• 서유럽과 북유럽: 덴마크어, 네덜란드어, 영어, 핀란드어, 프랑스어, 독일어, 스웨덴어.
• 남유럽: 그리스어, 이탈리아어, 몰타어, 포르투갈어, 스페인어.
• 중부 유럽: 크로아티아어, 체코어, 헝가리어, 폴란드어, 슬로바키아어, 슬로베니아어.
• 발트 지역: 에스토니아어, 라트비아어, 리투아니아어.
• 동유럽: 불가리아어, 루마니아어, 러시아어, 우크라이나어.

NVIDIA는 Python용 NeMo 툴킷을 통해 Parakeet을 배포합니다. 모델 카드에는 지원 운영 체제로 Linux가 나와 있고 모델이 NVIDIA 그래픽 카드에 최적화되어 있다고 적혀 있으므로, Mac에서 실행하는 것은 실험으로 생각하세요. 모델을 불러오려면 최소 2GB의 메모리가 필요하며, 메모리가 많을수록 더 긴 오디오를 처리할 수 있습니다.

1. 01 최신 버전의 PyTorch를 설치한 다음, 다음 명령으로 툴킷을 설치하세요: pip install -U nemo_toolkit['asr']
2. 02 녹음 파일을 모델이 요구하는 형식인 16kHz 모노 wav 또는 flac으로 변환하세요. ffmpeg을 사용하는 경우: ffmpeg -i input.m4a -ar 16000 -ac 1 audio.wav
3. 03 Python을 시작하고 다음을 실행하세요: import nemo.collections.asr as nemo_asr
4. 04 다음 명령으로 모델을 불러오세요: asr_model = nemo_asr.models.ASRModel.from_pretrained(model_name="nvidia/parakeet-tdt-0.6b-v3")
5. 05 다음 명령으로 전사하세요: output = asr_model.transcribe(['audio.wav'])
6. 06 다음 명령으로 텍스트를 출력하세요: print(output[0].text)
7. 07 단어 및 구간 타임스탬프가 필요하면 transcribe 호출에 timestamps=True를 추가하세요.

둘 다 내려받을 수 있는 공개 음성 인식 모델이며, 둘 다 문장 부호가 들어간 텍스트를 씁니다. 크기, 지원 범위, 라이선스, 설계 목적이 다릅니다. NVIDIA는 Parakeet TDT 0.6B v3를 고처리량 전사용으로 설계했다고 설명하며, 모델 카드에는 오디오를 몇 초 단위의 청크로 처리하는 스트리밍 모드도 문서화되어 있습니다.

• 언어: Parakeet TDT 0.6B v3는 25개 유럽 언어를 지원합니다. Whisper는 영어와 그 외 98개 언어로 학습되었습니다.
• 크기: Parakeet TDT 0.6B는 매개변수가 6억 개입니다. Whisper는 3,900만 개(tiny)부터 15억 5,000만 개(large)까지 있습니다.
• 라이선스: Parakeet은 CC BY 4.0이며, 저작자 표시가 필요합니다. Whisper는 MIT입니다.
• 번역: Whisper는 다른 언어를 영어로 번역할 수 있습니다. Parakeet TDT 모델 카드에는 전사 기능만 설명되어 있습니다.
• 긴 오디오: Parakeet은 한 번에 최대 24분, 로컬 어텐션을 사용하면 최대 3시간까지 처리합니다. Whisper는 30초 창을 파일 전체에 걸쳐 옮겨 가며 처리합니다.
• 입력: Parakeet은 16kHz 모노 wav 또는 flac을 요구합니다. Whisper는 ffmpeg을 사용해 일반적인 오디오 형식을 읽습니다.