Lokales LLM
Auch: KI-Sprachmodell auf dem Gerät
Aktualisiert:
Definition
Ein lokales LLM ist ein großes Sprachmodell, das auf deinem eigenen Computer läuft statt auf dem Server eines Anbieters. In Diktier-Tools ist es das Modell hinter dem Formatierungsdurchgang: Es korrigiert Satzzeichen, entfernt Füllwörter und passt den Tonfall an, ohne dass das Transkript je den Rechner verlässt.
Der Formatierungsdurchgang ist der Schritt, der am ehesten in die Cloud ausgelagert wird, denn er braucht ein LLM, und LLMs waren bis vor Kurzem zu groß für einen Laptop. Kleine Modelle haben das geändert. Ein kleines Modell, ausgeführt über die Frameworks, die Apple silicon für die Verarbeitung auf dem Gerät bietet, kann einen Satz in wenigen hundert Millisekunden aufräumen.
Lokal ist der richtige Ort für diesen Schritt, aus demselben Grund wie für die Erkennung: Das Modell sieht deine Wörter, und deine Wörter sollten nicht auf dem Weg zu ihren Satzzeichen zu Daten eines Anbieters werden.
Was das Modell tun soll
In einem gut gebauten Tool weniger, als du denkst. Nicht umschreiben, nicht verbessern, nicht über Uhrzeiten oder Schreibweisen entscheiden, denn das alles sind Regeln. Gefragt ist Urteilsvermögen: welche Füllwörter Füllwörter waren, wo die Sätze enden, welchen Tonfall das Ziel will. Ein eng gefasster Auftrag lässt ein kleines Modell die Aufgabe gut erledigen, und er macht die Ausgabe auch überprüfbar, denn bei einem Modell, das nie inhaltstragende Wörter hinzufügen oder entfernen durfte, lässt sich testen, ob es das trotzdem getan hat.
Tempo, Arbeitsspeicher und Wärme
Ein lokales Modell konkurriert mit deinen anderen Apps um Arbeitsspeicher und mit deinem Akku um Energie. Worauf es technisch ankommt: es klein halten, es geladen halten, damit es keinen Kaltstart gibt, begrenzen, wie viel Speicher seine Laufzeit belegen darf, und ihm ein Zeitbudget geben, damit eine langsame Antwort verworfen wird, statt auf sie zu warten. Auf einem Mac mit M-Chip passt der ganze Durchgang mit Luft in eine Sekunde.
Formatierung per Cloud-LLM, zum Vergleich
Wer das Transkript an ein gehostetes Modell schickt, bekommt ein größeres Modell und zahlt dafür mit einem Hin- und Rückweg, einem Abo, das die Inferenz bezahlt, und einer Kopie jedes diktierten Satzes auf dem Server von jemand anderem. Für die Formatierung von Fließtext ist das größere Modell kein nennenswerter Vorteil, die Aufgabe ist klein. Der Hin- und Rückweg und die Kopie sind echte Kosten, jedes Mal.
So prüfst du, ob dein Mac ein lokales Modell ausführen kann
Zwei Dinge entscheiden darüber: der Chip und der freie Arbeitsspeicher. Beides ist in einer Minute geprüft, und für keins davon brauchst du zusätzliche Software.
- Wähle Menü „Apple“ → Über diesen Mac.
- Such nach dem Eintrag „Chip“. Auf einem Mac mit Apple silicon folgt darauf der Name des Chips. Notiere dir auch die Angabe bei „Speicher“.
- Öffne die App „Aktivitätsanzeige“ und klicke auf „Speicher“.
- Lass deine üblichen Apps geöffnet und sieh dir den Graphen „Speicherdruck“ unten im Fenster an. Er zeigt, wie effizient der Arbeitsspeicher für das genutzt wird, was gerade läuft.
- Prüfe „Verwendeter Swap“. Das ist der Platz auf deinem Startvolume, der genutzt wird, um ungenutzte Dateien in den Arbeitsspeicher und aus ihm heraus auszulagern.
- Ist der Speicherdruck schon hoch und wird Swap genutzt, bevor du ein Modell hinzufügst, konkurriert ein lokales Modell mit deinen Apps um den Arbeitsspeicher.
Warum braucht ein lokales LLM so viel Arbeitsspeicher?
Ein LLM ist eine große Datei voller Zahlen, und sie muss vollständig im Arbeitsspeicher liegen, solange das Modell läuft. Nichts wird bei Bedarf von einem Server geholt. Der Speicherbedarf wächst mit der Größe des Modells. Deshalb sind kleine Modelle die praktische Wahl für eine Aufgabe, die viele Male am Tag läuft.
Apple silicon hat eine Eigenschaft, die hier hilft. MLX, das Framework für maschinelles Lernen aus Apples Forschung zu maschinellem Lernen, beschreibt ein Modell mit gemeinsamem Arbeitsspeicher: Arrays liegen in gemeinsam genutztem Speicher, und Operationen können auf jedem unterstützten Gerätetyp laufen, ohne Daten zu übertragen. Einfach gesagt: Das Modell muss nicht zwischen getrennten Speicherbereichen für Prozessor und Grafikhardware hin- und herkopiert werden.
Lokales LLM oder Spracherkennungsmodell: Was ist der Unterschied?
Sie erledigen verschiedene Aufgaben, und ein Diktier-Tool, das Text formatiert, nutzt beide. Ein Spracherkennungsmodell macht aus Audio Wörter. Ein LLM nimmt diese Wörter und entscheidet, wie sie geschrieben werden sollen. Whisper und Parakeet sind Spracherkennungsmodelle, keine LLMs.
Die Größen sind öffentlich. OpenAI führt Whisper von tiny mit 39 Millionen Parametern bis large mit 1550 Millionen, dazu ein turbo-Modell mit 809 Millionen, das OpenAI als optimierte Version von large-v3 beschreibt. NVIDIA gibt Parakeet TDT 0.6B v2 mit 600 Millionen Parametern an, für Englisch.
Die beiden Modellarten überschneiden sich ein wenig. Laut Modellkarte setzt Parakeet im Transkript automatisch Satzzeichen und Großschreibung. Ein Teil der Formatierung ist also schon da, bevor ein LLM den Text sieht. Das LLM wird nur für die Entscheidungen gebraucht, die dann noch übrig sind.
Fragen, die Leute stellen.
Braucht Diktiersoftware ein LLM?
Für reine Transkription nicht. Um aus einem Transkript fertigen Text im passenden Tonfall zu machen, hilft ein kleines LLM sehr, und es kann lokal auf Apple silicon laufen. Die besten Tools überlassen ihm nur die Ermessensfragen und erledigen alles Exakte per Regel.
Kann ein LLM ohne Cloud auf meinem Mac laufen?
Ja. Kleine Modelle laufen über Frameworks für die Verarbeitung auf dem Gerät auf Apple silicon, und neuere macOS-Versionen bringen Modelle mit, die Apps lokal aufrufen können. Beide sind schnell genug, um einen Satz in deutlich unter einer Sekunde zu formatieren.
Macht ein lokales LLM meinen Mac langsamer?
Ein gut programmiertes nicht. Es sollte klein bleiben, seinen Speicher begrenzen und auf der GPU laufen, während der Rest des Rechners weiterarbeitet. Auffallen tun schlecht verwaltete Laufzeiten, deren Cache unbegrenzt wächst.
Woran erkenne ich, ob mein Mac Apple silicon hat?
Wähle Menü „Apple“ → Über diesen Mac. Ein Mac mit Apple silicon zeigt einen Eintrag „Chip“, gefolgt vom Namen des Chips.
Ist Whisper ein LLM?
Nein. Whisper ist ein Spracherkennungsmodell, das Audio in Text umwandelt. Ein LLM arbeitet mit Text, der schon existiert. Beim Diktieren heißt das: Es bereinigt das Transkript.
Was ist MLX auf dem Mac?
MLX ist ein Array-Framework für maschinelles Lernen auf Apple silicon, veröffentlicht von Apples Forschung zu maschinellem Lernen. Es ist einer der Wege, auf denen Software Modelle lokal auf einem Mac ausführt.
