스트리밍 전사

일괄 인식에서는 키를 놓을 때 모델이 작업을 시작하므로 녹음 전체가 처리될 때까지 기다려야 합니다. 기다리는 시간은 말한 길이에 비례합니다. 스트리밍에서는 모델이 내내 따라오고 있었으므로, 키를 놓을 때는 마지막 1초 미만의 오디오를 마무리하고 서식 처리를 실행하는 일만 남습니다. 그 결과 문장이 길어져도 늘어나지 않는 지연이 생기며, 사람들이 어떤 도구가 빠르다고 말할 때 뜻하는 것이 바로 이것입니다.

두 번째 효과도 있습니다. 실시간 단어를 보면 도구가 제대로 듣고 있다는 것을 알 수 있으므로, 나중에 결과를 확인하려고 흘끗 보는 일이 없어집니다. 받아쓰기가 실험이 아니라 습관이 되는 것은 대부분 이 신뢰 덕분입니다.

스트리밍 모델은 단어를 잠정적으로 확정하며, 오디오가 더 들어오면 생각을 바꿀 수 있습니다. “회의는 열립니다”가 잠시 뒤 “회의는 열리지 않습니다”로 바뀔 수 있습니다. 좋은 도구는 이런 수정을 노치 오버레이나 떠 있는 알약 모양 창 같은 임시 표시에 보여 주고, 확정된 텍스트만 문서에 입력합니다. 실시간 부분 결과를 앱에 입력한 뒤 다시 고쳐 쓰는 도구는 결국 텍스트 편집기와 싸우게 됩니다.

스트리밍에는 해당 언어로 학습된 트랜스듀서 방식의 모델이 필요합니다. 현재 스트리밍을 잘하는 모델 제품군은 수십 개 언어를 지원하고, Whisper 같은 일괄 처리 모델은 약 100개 언어를 지원합니다. 99개 언어와 실시간 텍스트를 내세우는 도구는 보통 트랜스듀서가 지원하는 언어에서는 스트리밍하고 나머지는 일괄 처리하며, 정직한 제품 페이지라면 어느 언어가 어느 쪽인지 밝힙니다.

macOS에는 ‘실시간 자막’이라는 스트리밍 전사 기능이 기본으로 들어 있습니다. 앱에서 나오는 오디오나 마이크로 들어오는 소리에 대해, 오디오가 아직 재생되는 동안 자막을 씁니다. Apple에 따르면 오디오는 기기에서 처리됩니다. 실시간 자막은 Apple 실리콘이 탑재된 Mac에서만 사용할 수 있으며, 모든 언어, 국가 또는 지역에서 제공되지는 않습니다.

1. 01 Apple 메뉴 → 시스템 설정을 선택한 다음, 사이드바에서 손쉬운 사용을 클릭하세요.
2. 02 실시간 자막을 클릭하고 켜세요.
3. 03 아무 앱에서나 비디오나 팟캐스트를 재생하세요.
4. 04 자막 윈도우를 보세요. 화자가 아직 말하는 동안 텍스트가 나타나는데, 이것이 스트리밍입니다.
5. 05 다 보았으면 같은 곳에서 실시간 자막을 끄세요.

Whisper는 기본 상태로는 할 수 없습니다. OpenAI의 모델 카드에 따르면 Whisper 모델은 기본 상태로는 실시간 전사에 사용할 수 없으며, 다른 개발자가 그 위에 실시간에 가까운 애플리케이션을 만들 수는 있습니다. 참조 코드는 완성된 파일에서 30초 창을 옮겨 가며 처리합니다.

Parakeet은 더 가깝습니다. NVIDIA의 Parakeet TDT 0.6B v3 모델 카드에는 스트리밍 모드가 문서화되어 있으며, 예시 설정은 모든 스트리밍 방식이 감수하는 절충을 보여 줍니다. 오디오를 2초 청크로 처리하면서 이전 오디오 10초와 이후 오디오 2초를 맥락으로 사용합니다. 이후 오디오는 미리 보기(look-ahead)입니다. 이 부분이 길수록 모델이 참고할 정보가 많아지지만, 그만큼 단어가 늦게 나타납니다.

사람이 단어를 기다리고 있을 때는 스트리밍이 중요합니다. 오디오가 이미 파일로 있을 때는 일괄 처리로 충분하며, 대개 더 간단합니다. 도구를 고른다면 작업에 맞는 방식을 선택하세요.

• 텍스트 필드에 받아쓰기: 스트리밍. 내 말이 들리고 있는지 확인할 수 있습니다.
• 실시간 통화나 강연의 자막: 스트리밍. 문장이 끝난 뒤에 도착하는 자막은 거의 쓸모가 없습니다.
• 녹음된 회의, 인터뷰, 강의 전사: 일괄 처리. 단어가 나타나는 것을 지켜보는 사람이 없습니다.
• 자막 파일 만들기: 일괄 처리. Whisper 명령줄 도구는 srt와 vtt 파일을 바로 씁니다.
• 스트리밍 모델이 지원하지 않는 언어: 그 언어를 지원하는 모델로 일괄 처리.