로컬 LLM

잘 설계된 도구에서는 생각보다 적습니다. 고쳐 쓰는 것도, 더 낫게 만드는 것도, 시각이나 철자를 정하는 것도 아닙니다. 이것들은 모두 규칙이 맡습니다. 모델에게 요청하는 것은 판단입니다. 어떤 군더더기가 정말 군더더기였는지, 문장을 어디서 나눌지, 대상이 어떤 어조를 원하는지입니다. 좁은 지침 덕분에 작은 모델도 일을 잘할 수 있고, 출력을 검사할 수도 있습니다. 내용어를 더하거나 빼는 것이 허용되지 않은 모델은 그렇게 했는지 테스트할 수 있기 때문입니다.

로컬 모델은 메모리를 두고 다른 앱과, 전력을 두고 배터리와 경쟁합니다. 중요한 엔지니어링은 모델을 작게 유지하고, 메모리에 상주시켜 콜드 스타트가 없게 하고, 런타임이 차지할 수 있는 메모리에 상한을 두고, 시간 예산을 주어 느린 답은 기다리지 않고 버리는 것입니다. M 시리즈 Mac에서는 전체 처리가 여유 있게 1초 안에 끝납니다.

전사본을 호스팅된 모델로 보내면 더 큰 모델을 쓸 수 있지만, 그 대가로 왕복 시간, 추론 비용을 대는 구독료, 그리고 받아쓴 모든 문장의 사본이 다른 사람의 서버에 남는 것을 치릅니다. 일반 글의 서식에서는 더 큰 모델이 의미 있는 장점이 아닙니다. 작업이 작기 때문입니다. 왕복 시간과 사본은 매번 드는 실제 비용입니다.

칩과 여유 메모리, 이 두 가지가 결정합니다. 둘 다 확인하는 데 1분이면 되고, 추가 소프트웨어는 필요하지 않습니다.

1. 01 Apple 메뉴 → 이 Mac에 관하여를 선택하세요.
2. 02 ‘칩’이라는 항목을 찾으세요. Apple 실리콘이 탑재된 Mac에서는 그 뒤에 칩 이름이 나옵니다. 메모리 수치도 함께 적어 두세요.
3. 03 활성 상태 보기 앱을 열고 메모리를 클릭하세요.
4. 04 평소에 쓰는 앱을 연 상태에서 윈도우 하단의 ‘메모리 압력’ 그래프를 보세요. 실행 중인 작업에 메모리가 얼마나 효율적으로 쓰이고 있는지 보여 줍니다.
5. 05 ‘사용된 스왑 공간’을 확인하세요. 사용하지 않는 파일을 RAM과 주고받기 위해 시동 디스크에서 사용 중인 공간입니다.
6. 06 모델을 추가하기 전부터 메모리 압력이 높고 스왑이 사용되고 있다면, 로컬 모델은 메모리를 두고 다른 앱과 경쟁하게 됩니다.

언어 모델은 숫자로 이루어진 큰 파일이며, 모델이 실행되는 동안 그 전체가 메모리에 올라가 있어야 합니다. 필요할 때 서버에서 가져오는 것은 없습니다. 모델에 필요한 메모리는 모델 크기에 따라 커지므로, 하루에 여러 번 실행하는 작업에는 작은 모델이 현실적인 선택입니다.

Apple 실리콘에는 여기에 도움이 되는 특징이 하나 있습니다. Apple 머신 러닝 연구팀의 머신 러닝 프레임워크인 MLX는 배열이 공유 메모리에 있고 데이터를 옮기지 않고도 지원되는 모든 기기 유형에서 연산을 실행할 수 있는 통합 메모리 모델을 설명합니다. 쉽게 말해, 프로세서와 그래픽 하드웨어를 위한 별도의 메모리 공간 사이에서 모델을 복사할 필요가 없습니다.

둘은 서로 다른 일을 하며, 텍스트를 서식화하는 받아쓰기 도구는 둘 다 사용합니다. 음성 모델은 오디오를 단어로 바꿉니다. 언어 모델은 그 단어를 받아 어떻게 써야 할지 결정합니다. Whisper와 Parakeet은 LLM이 아니라 음성 모델입니다.

크기는 공개되어 있습니다. OpenAI는 Whisper를 3,900만 매개변수의 tiny부터 15억 5,000만 매개변수의 large까지 나열하며, large-v3의 최적화 버전이라고 설명하는 8억 900만 매개변수의 turbo 모델도 있습니다. NVIDIA는 영어용 Parakeet TDT 0.6B v2를 6억 매개변수로 나열합니다.

두 종류의 모델은 조금 겹칩니다. Parakeet 모델 카드에는 전사본의 자동 구두점과 대문자 처리가 포함되어 있어, 언어 모델이 텍스트를 보기 전에 일부 서식이 이미 적용됩니다. 언어 모델은 남은 판단에만 필요합니다.