LLM local
También: modelo de lenguaje en el dispositivo
Actualizado el
Definición
Un LLM local es un modelo de lenguaje que se ejecuta en tu propio ordenador y no en el servidor de un proveedor. En las herramientas de dictado es el modelo que hay detrás de la pasada de formato: corrige la puntuación, elimina muletillas y adapta el tono, sin que la transcripción salga nunca del equipo.
La pasada de formato es el paso que más a menudo se externaliza a la nube, porque es el paso que necesita un modelo de lenguaje, y los modelos de lenguaje eran hasta hace poco demasiado grandes para ejecutarse en un portátil. Los modelos pequeños lo cambiaron. Un modelo pequeño, ejecutado con los frameworks en el dispositivo que ofrece Apple silicon, puede limpiar una frase en unos cientos de milisegundos.
Lo local es el sitio adecuado para este paso por la misma razón que lo es para el reconocimiento: el modelo ve tus palabras, y tus palabras no deberían convertirse en datos de un proveedor de camino a recibir su puntuación.
Qué se le pide al modelo
Menos de lo que crees, en una herramienta bien diseñada. No reescribir, no mejorar, no decidir horas ni grafías, que son cosa de reglas. Se le pide criterio: qué muletillas eran relleno, dónde se cortan las frases, qué tono quiere el destino. Unas instrucciones acotadas son lo que permite que un modelo pequeño haga bien el trabajo, y también lo que hace que el resultado se pueda comprobar, porque a un modelo al que nunca se le permitió añadir ni quitar palabras de contenido se le puede comprobar si lo hizo.
Velocidad, memoria y calor
Un modelo local compite con tus otras apps por la memoria y con tu batería por la energía. La ingeniería que importa es mantenerlo pequeño, mantenerlo cargado para que no haya arranque en frío, limitar cuánta memoria puede ocupar su runtime y darle un presupuesto de tiempo para que una respuesta lenta se descarte en lugar de esperarla. En un Mac con chip de la serie M, la pasada entera cabe en un segundo con margen de sobra.
Formato con un LLM en la nube, como comparación
Enviar la transcripción a un modelo alojado te da un modelo más grande y te cuesta un viaje de ida y vuelta, una suscripción para pagar la inferencia y una copia de cada frase que dictas en el servidor de otro. Para dar formato a la prosa, el modelo más grande no es una ventaja apreciable; la tarea es pequeña. El viaje de ida y vuelta y la copia son costes reales, cada vez.
Cómo comprobar si tu Mac puede ejecutar un modelo local
Lo deciden dos cosas: el chip y la memoria libre. Las dos se comprueban en un minuto y ninguna necesita software adicional.
- Elige menú Apple → Acerca de este Mac.
- Busca un ítem llamado Chip. En un Mac con Apple silicon, va seguido del nombre del chip. Anota también la cifra de Memoria.
- Abre la app Monitor de Actividad y haz clic en Memoria.
- Con tus apps habituales abiertas, mira la gráfica Presión de memoria en la parte inferior de la ventana. Muestra con qué eficacia la memoria atiende lo que estás ejecutando.
- Comprueba Espacio de intercambio usado. Es el espacio del disco de arranque que se usa para intercambiar archivos no utilizados entre el disco y la RAM.
- Si la presión ya es alta y se está usando el intercambio antes de añadir un modelo, un modelo local competirá con tus apps por la memoria.
¿Por qué un LLM local usa tanta memoria?
Un modelo de lenguaje es un archivo grande de números, y todo él tiene que estar en memoria mientras el modelo se ejecuta. No se descarga nada de un servidor sobre la marcha. La memoria que necesita un modelo crece con su tamaño, y por eso los modelos pequeños son la opción práctica para una tarea que se ejecuta muchas veces al día.
Apple silicon tiene una característica que ayuda aquí. MLX, el framework de aprendizaje automático de Apple machine learning research, describe un modelo de memoria unificada en el que los arrays viven en memoria compartida y las operaciones pueden ejecutarse en cualquier tipo de dispositivo compatible sin transferir datos. Dicho de forma sencilla, el modelo no tiene que copiarse entre reservas de memoria separadas para el procesador y para la gráfica.
LLM local o modelo de voz: ¿en qué se diferencian?
Hacen trabajos distintos, y una herramienta de dictado que da formato al texto usa los dos. Un modelo de voz convierte el audio en palabras. Un modelo de lenguaje toma esas palabras y decide cómo deben escribirse. Whisper y Parakeet son modelos de voz, no LLM.
Los tamaños son públicos. OpenAI enumera Whisper desde tiny, con 39 millones de parámetros, hasta large, con 1.550 millones, más un modelo turbo de 809 millones que describe como una versión optimizada de large-v3. NVIDIA indica que Parakeet TDT 0.6B v2 tiene 600 millones de parámetros, para inglés.
Los dos tipos de modelo se solapan un poco. La ficha del modelo Parakeet incluye puntuación y mayúsculas automáticas en la transcripción, así que parte del formato llega antes de que ningún modelo de lenguaje vea el texto. El modelo de lenguaje solo hace falta para el criterio que queda.
Preguntas que hace la gente.
¿El software de dictado necesita un LLM?
Para la transcripción sin más, no. Para convertir una transcripción en un texto terminado y con el tono adecuado, un modelo de lenguaje pequeño ayuda muchísimo, y puede ejecutarse en local en Apple silicon. Las mejores herramientas le dejan solo las decisiones de criterio y resuelven todo lo exacto con reglas.
¿Puede un modelo de lenguaje ejecutarse en mi Mac sin la nube?
Sí. Los modelos pequeños se ejecutan en Apple silicon con frameworks en el dispositivo, y las versiones recientes de macOS incluyen modelos a los que las apps pueden llamar en local. Ambos son lo bastante rápidos para dar formato a una frase en bastante menos de un segundo.
¿Un LLM local ralentizará mi Mac?
Uno que se comporte bien, no. Debería seguir siendo pequeño, limitar su memoria y ejecutarse en la GPU mientras el resto del equipo sigue a lo suyo. Los runtimes mal gestionados, que dejan crecer su caché sin límite, son los que la gente nota.
¿Cómo sé si mi Mac tiene Apple silicon?
Elige menú Apple → Acerca de este Mac. Un Mac con Apple silicon muestra un ítem llamado Chip, seguido del nombre del chip.
¿Whisper es un LLM?
No. Whisper es un modelo de reconocimiento de voz que convierte el audio en texto. Un LLM trabaja con texto que ya existe, lo que en el dictado significa limpiar la transcripción.
¿Qué es MLX en un Mac?
MLX es un framework de arrays para aprendizaje automático en Apple silicon, publicado por Apple machine learning research. Es una de las formas en que el software ejecuta modelos en local en un Mac.
