LLM local
Aussi : modèle de langage sur l’appareil
Mis à jour le
Définition
Un LLM local est un modèle de langage qui tourne sur votre propre ordinateur plutôt que sur le serveur d’un éditeur. Dans les outils de dictée, c’est le modèle derrière la passe de mise en forme : il corrige la ponctuation, retire les hésitations et adapte le ton, sans que la transcription quitte jamais la machine.
La passe de mise en forme est l’étape la plus souvent confiée au cloud, car c’est celle qui a besoin d’un modèle de langage, et les modèles de langage étaient jusqu’à récemment trop gros pour tourner sur un ordinateur portable. Les petits modèles ont changé cela. Un petit modèle, exécuté via les frameworks sur l’appareil que fournit Apple silicon, peut nettoyer une phrase en quelques centaines de millisecondes.
Le local est la bonne place pour cette étape, pour la même raison que pour la reconnaissance : le modèle voit vos mots, et vos mots ne devraient pas devenir les données d’un éditeur en chemin vers leur ponctuation.
Ce que l’on demande au modèle
Moins qu’on ne le croit, dans un outil bien conçu. Ni de réécrire, ni d’améliorer, ni de décider des heures ou des orthographes, qui relèvent toutes de règles. On lui demande du jugement : quelles hésitations en étaient vraiment, où les phrases se coupent, quel ton la destination attend. Des consignes étroites permettent à un petit modèle de bien faire son travail, et rendent aussi la sortie vérifiable, car un modèle qui n’a jamais eu le droit d’ajouter ou de retirer des mots porteurs de sens peut être testé sur ce point.
Vitesse, mémoire et chaleur
Un modèle local fait concurrence à vos autres apps pour la mémoire et à votre batterie pour l’énergie. L’ingénierie qui compte consiste à le garder petit, à le garder chargé pour éviter tout démarrage à froid, à plafonner la mémoire que peut occuper son environnement d’exécution, et à lui donner un budget de temps pour qu’une réponse lente soit abandonnée plutôt qu’attendue. Sur un Mac à puce M, toute la passe tient dans une seconde, avec de la marge.
La mise en forme par un LLM dans le cloud, pour comparer
Envoyer la transcription à un modèle hébergé apporte un modèle plus gros, et coûte un aller-retour, un abonnement pour payer l’inférence, et une copie de chaque phrase que vous dictez sur le serveur de quelqu’un d’autre. Pour mettre en forme de la prose, un modèle plus gros n’est pas un avantage notable ; la tâche est modeste. L’aller-retour et la copie sont de vrais coûts, à chaque fois.
Comment vérifier si votre Mac peut faire tourner un modèle local
Deux choses en décident : la puce et la mémoire disponible. Les deux se vérifient en une minute, sans logiciel supplémentaire.
- Choisissez menu Apple → À propos de ce Mac.
- Cherchez l’élément intitulé Puce. Sur un Mac avec Apple silicon, il est suivi du nom de la puce. Notez aussi la valeur Mémoire.
- Ouvrez l’app Moniteur d’activité et cliquez sur Mémoire.
- Avec vos apps habituelles ouvertes, regardez le graphique Pression sur la mémoire en bas de la fenêtre. Il montre avec quelle efficacité la mémoire répond à ce que vous faites tourner.
- Vérifiez Fichier d’échange utilisé. C’est l’espace de votre disque de démarrage utilisé pour échanger les fichiers inutilisés depuis et vers la RAM.
- Si la pression est déjà élevée et que le fichier d’échange est utilisé avant même d’ajouter un modèle, un modèle local entrera en concurrence avec vos apps pour la mémoire.
Pourquoi un LLM local utilise-t-il autant de mémoire ?
Un modèle de langage est un gros fichier de nombres, et il doit être entièrement gardé en mémoire pendant que le modèle tourne. Rien n’est récupéré sur un serveur à la demande. La mémoire nécessaire augmente avec la taille du modèle, c’est pourquoi les petits modèles sont le choix pratique pour une tâche qui s’exécute de nombreuses fois par jour.
Apple silicon a une particularité qui aide ici. MLX, le framework d’apprentissage automatique d’Apple machine learning research, décrit un modèle de mémoire unifiée dans lequel les tableaux résident en mémoire partagée et les opérations peuvent s’exécuter sur n’importe quel type d’appareil pris en charge sans transfert de données. Concrètement, le modèle n’a pas besoin d’être copié entre des réserves de mémoire séparées pour le processeur et pour la partie graphique.
LLM local ou modèle vocal : quelle différence ?
Ils ne font pas le même travail, et un outil de dictée qui met en forme le texte utilise les deux. Un modèle vocal transforme l’audio en mots. Un modèle de langage prend ces mots et décide comment les écrire. Whisper et Parakeet sont des modèles vocaux, pas des LLM.
Les tailles sont publiques. OpenAI liste Whisper de tiny, à 39 millions de paramètres, à large, à 1 550 millions, avec un modèle turbo à 809 millions qu’il décrit comme une version optimisée de large-v3. NVIDIA indique 600 millions de paramètres pour Parakeet TDT 0.6B v2, pour l’anglais.
Les deux types de modèles se recoupent un peu. La fiche du modèle Parakeet inclut la ponctuation et les majuscules automatiques dans la transcription, donc une partie de la mise en forme arrive avant qu’un modèle de langage ne voie le texte. Le modèle de langage ne sert qu’au jugement qui reste à faire.
Les questions qu’on se pose.
Un logiciel de dictée a-t-il besoin d’un LLM ?
Pour une transcription brute, non. Pour transformer une transcription en texte fini, au ton adapté, un petit modèle de langage aide beaucoup, et il peut tourner localement sur Apple silicon. Les meilleurs outils ne lui confient que les décisions de jugement et traitent tout ce qui est exact par des règles.
Un modèle de langage peut-il tourner sur mon Mac sans le cloud ?
Oui. Les petits modèles tournent sur Apple silicon via des frameworks sur l’appareil, et les versions récentes de macOS incluent des modèles que les apps peuvent appeler localement. Les deux sont assez rapides pour mettre en forme une phrase en bien moins d’une seconde.
Un LLM local va-t-il ralentir mon Mac ?
Pas s’il est bien conçu. Il doit rester petit, plafonner sa mémoire et tourner sur le GPU pendant que le reste de la machine continue son travail. Ce sont les environnements d’exécution mal gérés, qui laissent leur cache grossir sans limite, que les gens remarquent.
Comment savoir si mon Mac est équipé d’Apple silicon ?
Choisissez menu Apple → À propos de ce Mac. Un Mac avec Apple silicon affiche un élément intitulé Puce, suivi du nom de la puce.
Whisper est-il un LLM ?
Non. Whisper est un modèle de reconnaissance vocale qui transforme l’audio en texte. Un LLM travaille sur du texte qui existe déjà, ce qui, en dictée, veut dire nettoyer la transcription.
Qu’est-ce que MLX sur un Mac ?
MLX est un framework de tableaux pour l’apprentissage automatique sur Apple silicon, publié par Apple machine learning research. C’est l’un des moyens par lesquels un logiciel fait tourner des modèles en local sur un Mac.
