자동 음성 인식
다른 이름: ASR
업데이트
정의
자동 음성 인식(ASR)은 사람의 말소리 오디오를 텍스트로 바꾸는 머신 러닝 분야이자 그런 모델의 부류입니다. ASR 모델은 모든 받아쓰기 제품과 전사 제품 안에 들어 있는 엔진입니다.
최신 ASR 모델은 대량의 녹음된 음성으로 훈련한 신경망입니다. 잘 알려진 제품군으로는 Whisper(OpenAI, 오픈 소스), Parakeet(NVIDIA, 오픈 소스), 그리고 Google, Apple 등의 클라우드 서비스에 들어 있는 독점 엔진이 있습니다.
ASR 품질은 보통 벤치마크 오디오에서의 단어 오류율(WER)로 발표됩니다. 실제 품질은 마이크, 방, 억양, 어휘에 따라서도 달라지며, 그래서 사용자별 사전과 분야별 어휘가 대표 모델만큼 중요합니다.
모델을 만드는 방법
ASR 모델은 오디오와 정확한 전사본의 쌍, 수십만 시간 분량으로 훈련하여, 들어 본 적 없는 오디오의 텍스트를 예측할 수 있게 됩니다. 이전 시스템은 음향 모델(소리에서 음소로)과 언어 모델(음소에서 그럴듯한 단어로)을 분리했습니다. 현재 시스템은 엔드 투 엔드 방식입니다. 하나의 신경망이 오디오를 텍스트 토큰에 직접 대응시키므로 더 단순하고, 더 정확하며, 일반 소비자용 하드웨어에서 실행하기도 더 쉽습니다.
현재는 두 가지 아키텍처가 주류입니다. Whisper 같은 인코더-디코더 모델은 오디오 덩어리 전체를 읽은 뒤 전사본을 쓰므로 정확하고 일괄 처리에 맞습니다. Parakeet 같은 트랜스듀서 모델은 오디오가 들어오는 대로 토큰을 내보내므로 스트리밍할 수 있습니다.
실제로 정확도를 결정하는 것
모델 크기와 훈련 데이터가 상한선을 정합니다. 그 아래는 모두 사용자의 몫입니다. 마이크 품질, 마이크와의 거리, 방의 울림, 배경 소음, 억양, 어휘입니다. 이름, 전문 용어, 제품 용어는 훈련 데이터에 드물게 나오기 때문에 모든 모델이 어려워하는 부분이며, 그래서 개인 사전과 문맥을 반영하는 교정 단계가 더 큰 모델로 바꾸는 것보다 일상적인 정확도를 더 높여 주는 경우가 많습니다.
오픈 모델이 판도를 바꾸었습니다
2022년까지 경쟁력 있는 ASR은 클라우드 API 뒤에 있었습니다. Whisper가 오픈으로 공개되고 이어서 Parakeet 등이 나오면서 최고 수준의 인식 기술을 누구나 쓸 수 있게 되었고, Apple 실리콘은 노트북에 그것을 실행할 연산 능력을 주었습니다. 비공개 로컬 받아쓰기가 몇 년 만에 타협안에서 기본이 된 이유가 여기에 있습니다.
내 목소리로 두 ASR 모델을 비교하는 방법
벤치마크 점수는 벤치마크 오디오를 설명합니다. 모델이 내 목소리, 내 방, 내 어휘를 어떻게 처리하는지 알 수 있는 유일한 방법은 내 녹음으로 실행해 보는 것입니다. 오픈 Whisper 명령줄 도구를 사용하면 터미널에서 금방 할 수 있습니다. 먼저 Python과 ffmpeg이 설치되어 있어야 합니다.
- 평소 받아쓰는 방식대로 이름 몇 개와 전문 용어를 섞어 1~2분 동안 말한 것을 녹음하고, 오디오 파일로 저장하세요.
- 터미널에서 다음 명령으로 Whisper를 설치하세요: pip install -U openai-whisper
- 작은 모델로 파일을 전사하세요: whisper myclip.m4a --model small --output_format txt
- 만들어진 텍스트 파일의 이름을 바꾼 다음, --model turbo로 같은 명령을 실행하세요.
- 두 전사본을 실제로 말한 내용과 비교해 읽고, 각각에서 틀린 단어, 빠진 단어, 추가된 단어를 세세요.
- 오류 수를 말한 단어 수로 나누세요. 그것이 각 모델에 대한 나만의 단어 오류율입니다.
ASR 모델이 단어 외에 돌려주는 것
예전 인식기는 소문자 단어만 죽 이어서 돌려주었습니다. 요즘 오픈 모델은 더 많은 것을 돌려주며, 무엇을 받을 수 있는지 알면 그 모델로 만든 제품이 추가 작업 없이 무엇을 할 수 있는지 알 수 있습니다.
- 구두점과 대소문자. Parakeet TDT 0.6B는 둘 다 기본 기능으로 밝히고 있습니다.
- 타임스탬프. Parakeet은 단어 단위와 구간 단위 타임스탬프를 돌려주며, Whisper에는 word_timestamps 옵션이 있습니다.
- 자막 파일. Whisper 명령줄 도구는 txt, vtt, srt, tsv, json 출력을 쓸 수 있습니다.
- 언어. Whisper와 Parakeet TDT 0.6B v3는 모두 언어를 지정하지 않으면 말하는 언어를 감지합니다.
- 번역. Whisper의 다국어 모델은 다른 언어의 음성을 영어 텍스트로 번역할 수 있습니다.
ASR은 정확한가요? 한 모델에 점수가 여러 개인 이유
ASR 모델의 정확도를 나타내는 하나의 숫자는 없습니다. NVIDIA는 Hugging Face Open ASR Leaderboard의 8개 영어 테스트 세트 전체에서 Parakeet TDT 0.6B v3의 평균 단어 오류율을 6.34%로 보고하지만, 개별 세트로 보면 LibriSpeech test-clean의 1.93%부터 기업 실적 발표 통화 녹음인 Earnings-22의 11.42%까지 다양합니다.
언어도 오디오 종류만큼 중요합니다. Whisper 모델 카드에 따르면 모델은 약 10개 언어에서 좋은 결과를 보이며, 학습 데이터가 적은 언어에서는 정확도가 낮습니다. 점수를 볼 때는 다른 점수와 비교하기 전에 어떤 테스트 세트와 어떤 언어로 측정했는지 확인하세요.
자주 묻는 질문.
받아쓰기에 가장 좋은 ASR 모델은 무엇인가요?
실시간 받아쓰기라면 Parakeet 같은 스트리밍 가능 모델이 좋습니다. 말하는 동안 단어가 나타나기 때문입니다. 가장 많은 언어를 지원하려면 99개 언어를 다루는 Whisper나 1,600개가 넘는 언어를 다루는 Meta의 Omnilingual ASR처럼 많은 언어로 훈련된 모델이 좋습니다. 좋은 도구는 대부분 둘 이상을 쓰고 언어와 작업에 따라 고릅니다. Apple 실리콘에서는 모두 로컬로 실행됩니다.
ASR은 음성 텍스트 변환과 같은 것인가요?
ASR은 모델과 연구 분야를 가리키는 기술 용어입니다. 음성 텍스트 변환은 그 모델이 하는 일을 쉬운 말로 부르는 이름입니다. 제품 페이지에서는 둘을 바꿔 써도 됩니다.
ASR은 왜 내 이름을 틀리게 쓰나요?
모델은 어떤 이름을 훈련 오디오에 나온 만큼만 보았는데, 대부분의 이름과 제품 용어는 거의 나오지 않기 때문입니다. 모델은 그 소리에 대해 가장 가능성이 높은 철자를 씁니다. 사용자만의 용어 사전, 그리고 화면이나 프로젝트에서 볼 수 있는 이름에 맞춘 교정이 어떤 모델 교체보다 이 문제를 잘 해결합니다.
ASR은 무엇의 약자인가요?
ASR은 automatic speech recognition(자동 음성 인식)의 약자입니다. 녹음된 음성이나 실시간 음성을 텍스트로 바꾸는 기술입니다.
내 컴퓨터에서 ASR 모델을 실행할 수 있나요?
네. Whisper와 Parakeet 같은 오픈 모델은 다운로드해 로컬에서 실행할 수 있습니다. Whisper는 pip로 설치하고 Mac의 터미널에서 실행합니다.
ASR 모델은 구두점을 넣나요?
현재 많은 모델이 넣습니다. NVIDIA는 자동 구두점과 대소문자 처리를 Parakeet TDT 0.6B의 기능으로 밝히고 있으며, Whisper도 구두점이 있는 텍스트를 씁니다.
