Latenz
Auch: Latenz nach dem Loslassen
Aktualisiert:
Definition
Beim Diktieren ist die Latenz die Zeit zwischen dem Ende deiner Sprache und dem Moment, in dem fertiger Text am Cursor erscheint. Diese Zahl entscheidet, ob sich ein Tool sofort anfühlt oder nach Warten.
Miss sie ab dem Moment, in dem du die Taste loslässt, denn ab da wartest du. Alles, was nach dem Loslassen passiert, zählt: die Erkennung der letzten paar hundert Millisekunden Audio abschließen, der Formatierungsdurchgang und das Einfügen in die App. Ein Tool, das die Erkennung streamt, muss nur noch das Ende fertigstellen; ein Tool, das im Batch arbeitet, muss noch die ganze Äußerung verarbeiten, sodass seine Latenz mit jeder Sekunde wächst, die du gesprochen hast.
Unter etwa einer Sekunde merken es die meisten nicht mehr. Bei zwei oder drei Sekunden schauen sie erst auf den Bildschirm und dann auf das Tool. Darüber hinaus ist Diktieren keine Art mehr zu schreiben, sondern eine Art, eine Aufnahme zu machen, auf die man dann wartet.
Wo die Zeit bleibt
Erkennungsrest: wie viel Audio beim Loslassen der Taste noch verarbeitet werden muss. Streaming senkt das fast auf null. Formatierung: ein LLM-Durchgang über das Transkript, in einem lokalen Tool meist der größte Einzelposten und der Grund, warum ein schnelles Tool dieses Modell klein hält und ihm ein strenges Zeitbudget gibt. Einfügen: das Tippen des Ergebnisses in die fokussierte App über die Bedienungshilfen-Schnittstelle, meist einige zehn Millisekunden. Netzwerk, bei Cloud-Tools: ein Hin- und Rückweg plus Warteschlange auf einem Server, den du nicht kontrollierst. Deshalb schwankt die Latenz in der Cloud je nach Tageszeit zwischen schnell und unbrauchbar.
Latenz gegen Qualität ist ein echter Kompromiss
Ein Formatierungsdurchgang kostet Zeit, und ohne ihn hast du das schnellstmögliche Tool. Es ist aber auch ein Tool, das dir ein Transkript gibt, das du von Hand nachbessern musst, und das kostet mehr Zeit, als es gespart hat. Das richtige Design lässt dir die Wahl: einen wörtlichen oder leicht bereinigten Modus, der fast sofort landet, und einen voll formatierten Modus, der etwas länger dauert und nichts zum Nachbessern übrig lässt. Was ein Tool nie tun sollte: ein langsames Modell den Text als Geisel nehmen lassen. Wenn der Durchgang zu spät kommt, sollte das einfache Transkript trotzdem landen.
Diktier-Latenz auf dem Mac messen
Du brauchst keine besonderen Werkzeuge. Eine Bildschirmaufnahme, die auch dein Mikrofon aufnimmt, legt deine Stimme und den Bildschirm auf dieselbe Zeitleiste. So kannst du die Verzögerung direkt bei der Wiedergabe ablesen.
Miss mehrere Diktate unterschiedlicher Länge. Eine einzelne Messung sagt wenig. Der Unterschied zwischen einem kurzen und einem langen Diktat zeigt dir, ob die Wartezeit mit der Länge deines Sprechens wächst.
- Öffne die App, in die du normalerweise diktierst, und setze den Cursor in ein Textfeld.
- Drücke Umschalt-⌘-5, um „Bildschirmfoto“ zu öffnen, und wähle, ob du den ganzen Bildschirm oder einen Ausschnitt aufnehmen willst.
- Klicke auf „Optionen“ und wähle dein Mikrofon, damit die Aufnahme deine Stimme enthält.
- Starte die Aufnahme und diktiere dann einen kurzen und einen langen Satz, mit ein paar Sekunden Abstand dazwischen.
- Klicke in der Menüleiste auf die Stopptaste. Die Aufnahme wird als .mov-Datei gespeichert, deren Name mit „Bildschirmaufnahme“ beginnt.
- Spiel die Datei ab und notiere für jedes Diktat zwei Momente: wann deine Stimme endet und wann der fertige Text auf dem Bildschirm steht. Der Abstand dazwischen ist die Latenz.
- Vergleiche das kurze und das lange Diktat. Wartest du beim langen spürbar länger, verarbeitet das Tool am Stück (im Batch).
Warum ein größeres Modell länger warten lässt
Die Modellgröße ist der direkteste Tausch zwischen Genauigkeit und Geschwindigkeit. Das Whisper-Projekt veröffentlicht relative Geschwindigkeiten für seine eigenen Modelle: Gemessen am großen Modell mit 1x läuft tiny mit etwa 10x, base mit etwa 7x, small mit etwa 4x, medium mit etwa 2x und turbo mit etwa 8x. Diese Werte sind relativ zueinander, und die tatsächliche Geschwindigkeit hängt von deiner Hardware ab.
Geschwindigkeit allein macht ein Modell nicht live. Whisper liest Audio durch ein gleitendes 30-Sekunden-Fenster, und laut seiner Model Card lassen sich die Modelle nicht ohne Weiteres für Echtzeit-Transkription nutzen. Ein Diktier-Tool, das auf einem solchen Modell aufbaut, muss eigenes Streaming oder eine eigene Aufteilung in Stücke ergänzen, und wie gut ihm das gelingt, entscheidet über die Verzögerung, die du spürst.
Die Zeit eines Sprachmodells im Terminal messen
Wenn du die reinen Kosten der Erkennung ohne jede App drumherum sehen willst, kannst du die Zeit messen, die das Open-Source-Kommandozeilentool von Whisper für eine Aufnahme deiner eigenen Stimme braucht. Das misst das Modell auf deinem Mac und sonst nichts: keine Formatierung, kein Einfügen, kein Netzwerk.
Der Wert ist nicht die Latenz einer Diktier-App, denn Apps verarbeiten das Audio, während du sprichst. Er eignet sich, um Modellgrößen auf deiner eigenen Hardware zu vergleichen.
- Installiere die Audio-Abhängigkeit mit: brew install ffmpeg
- Installiere Whisper mit: pip install -U openai-whisper
- Nimm dich etwa zehn Sekunden lang beim Sprechen auf und speichere die Datei, zum Beispiel als clip.wav.
- Führe aus: time whisper clip.wav --model tiny und notiere die Zeit „real“, die das Terminal ausgibt.
- Führe aus: time whisper clip.wav --model turbo und notiere die Zeit erneut.
- Führe jeden Befehl ein zweites Mal aus und vergleiche diese Zeiten, damit die einmalige Einrichtung nicht mitzählt.
Fragen, die Leute stellen.
Was ist eine gute Latenz beim Diktieren?
Unter einer Sekunde vom Loslassen der Taste bis zum fertigen Text fühlt sich sofort an. Ein bis zwei Sekunden sind akzeptabel. Darüber wird das Warten zum eigentlichen Erlebnis. Streaming-Erkennung und ein kleines Formatierungsmodell mit festem Zeitlimit bringen lokale Tools unter eine Sekunde.
Warum wird mein Diktier-Tool langsamer, je länger ich spreche?
Weil es im Batch erkennt: Nichts wird verarbeitet, bis du aufhörst. Eine längere Aufnahme heißt also längeres Warten. Streaming-Tools verarbeiten, während du sprichst, und halten die Verzögerung konstant.
Ist Diktieren in der Cloud langsamer als lokal?
Oft, und weniger vorhersehbar. Ein Hin- und Rückweg zum Server kostet bei jedem Diktat Zeit und schwankt mit deiner Verbindung und der Last beim Anbieter. Lokale Tools haben feste Kosten, die nur von deinem Mac abhängen.
Wie teste ich, wie schnell meine Diktier-App ist?
Nimm deinen Bildschirm mit Umschalt-⌘-5 bei eingeschaltetem Mikrofon auf, diktiere einen Satz und spiel die Aufnahme ab. Die Zeit zwischen dem Ende deiner Stimme und dem Erscheinen des fertigen Textes ist die Latenz.
Kann Whisper in Echtzeit transkribieren?
Nicht von sich aus. Laut der Model Card von Whisper lassen sich die Modelle nicht ohne Weiteres für Echtzeit-Transkription nutzen, und der Standardcode verarbeitet Audio in 30-Sekunden-Fenstern. Apps, die sich mit Whisper live anfühlen, haben eine eigene Streaming-Schicht ergänzt.
Macht ein kleineres Sprachmodell das Diktieren schneller?
Ja, auf Kosten der Genauigkeit. Das Whisper-Projekt gibt sein Modell tiny als etwa 10-mal so schnell an wie sein großes Modell und sein Modell turbo als etwa 8-mal so schnell.
