언어 식별

일부 ASR 모델은 전사하는 과정에서 언어를 스스로 감지합니다. Whisper는 첫 번째 처리에서 이를 합니다. 다른 모델은 발화의 시작 부분을 듣고 언어와 신뢰도 점수를 돌려주는 별도의 아주 작은 분류기에 의존합니다. 어느 쪽이든 결정은 일찍 내려야 합니다. 잘못된 모델은 많은 것을 만들어 내기 전에 버려야 하기 때문입니다. 또 아주 적은 오디오로 결정해야 하므로, 받아쓰기의 첫 한두 단어가 다국어 도구가 가장 취약한 순간입니다.

언어를 식별해 그 언어로 전사하는 것이 기본이자 안전한 동작입니다. 한 언어로 말하고 다른 언어로 텍스트가 입력되는 번역은 별도의 선택 단계이며, 사용자가 켜지 않는 한 꺼져 있어야 합니다. 예고 없이 번역하는 도구는 사용자의 말에 대해 자신이 내릴 수 없는 결정을 내린 것입니다.

Apple의 받아쓰기는 추가한 언어로 작동하며, 받아쓰는 동안 언어를 직접 전환합니다. 설정하는 데 1분이면 됩니다.

1. 01 Apple 메뉴 → 시스템 설정을 선택한 다음 사이드바에서 키보드를 클릭하세요.
2. 02 받아쓰기로 이동하고 언어 옆에 있는 편집 버튼을 클릭하세요.
3. 03 받아쓰기에 사용할 언어와 지역을 각각 선택하세요.
4. 04 아무 텍스트 필드에서나 받아쓰기를 시작하세요.
5. 05 언어를 바꾸려면 커서 옆에 표시된 언어를 클릭하세요. 언어는 약어나 해당 언어를 나타내는 문자로 표시됩니다.
6. 06 또는 🌐 키를 누르고 사용할 언어를 선택하세요.

Whisper는 전사, 번역과 함께 말하는 언어를 식별하는 것도 과제 중 하나로 학습했습니다. 언어를 지정하지 않으면 전사 도구는 오디오의 처음 최대 30초를 사용해 언어를 감지한 뒤, 파일 전체를 그 언어로 전사합니다. 영어 전용 모델은 감지를 건너뛰고 영어로 간주합니다.

Parakeet TDT 0.6B v3는 더 좁은 방식을 택합니다. NVIDIA에 따르면 이 모델은 지원하는 25개 유럽 언어에 대해 오디오의 언어를 자동으로 감지하고 추가 프롬프트 없이 전사합니다. 그 밖의 언어는 지원되지 않습니다.

감지는 적은 양의 오디오로 하는 추측이며, 몇 가지 상황에서는 거의 어김없이 틀립니다. 대부분은 간단히 해결할 수 있습니다. 모델에 언어를 직접 알려 주면 됩니다.

• 녹음 도중에 언어가 바뀝니다. Whisper 도구는 파일 시작 부분에서 한 번만 감지하고, 그 언어를 나머지에 적용합니다.
• 학습 데이터가 적은 언어입니다. Whisper 모델 카드에는 이런 언어의 정확도가 더 낮다고 나와 있습니다.
• 모델이 아예 지원하지 않는 언어여서, 지원하는 언어 중 하나로만 답할 수 있습니다.
• Whisper의 해결 방법: 명령에 --language와 언어 이름을 추가하세요. 예: --language German.
• Apple 받아쓰기의 해결 방법: 커서 옆의 언어를 클릭해 언어를 직접 선택하세요.