Schneller denken mit kleinem Helfer: Nvidia zeigt, wie Speculative Decoding die KI-Inferenz beschleunigt

Berlin, 3. September 2026 – Wer schon einmal auf die Antwort eines großen Sprachmodells gewartet hat, kennt das Phänomen: Wort für Wort tastet sich das Modell voran. Nvidia will diese als autoregressive Dekodierung bekannte Flaschenhals-Phase nun massiv beschleunigen – mit einer Technik namens Speculative Decoding. Der Chip-Konzern hat dazu den dritten Teil seiner Reihe zum „KI-Modell-Co-Design“ veröffentlicht, in dem es darum geht, Modelle und Hardware gemeinsam zu optimieren.^[NVIDIA Developer Blog – Co-Designing AI Models Using Speculative Decoding for Faster LLM Inference – url: https://developer.nvidia.com/blog/co-designing-ai-models-using-speculative-decoding-for-faster-llm-inference/]

Das Prinzip: Entwurf und Gegenzug

Die Grundidee ist elegant: Ein kleines, schnelles „Draft“-Modell schlägt mehrere wahrscheinliche nächste Tokens vor. Das große Zielmodell verifiziert diese Vorschläge dann in einem einzigen Durchgang parallel – statt sie einzeln, Wort für Wort, selbst zu erzeugen. Akzeptiert das große Modell die Vorschläge, übernimmt es sie; beim ersten Fehlversuch setzt die nächste Vorhersagerunde an dieser Stelle an.^[NVIDIA Developer Blog – Co-Designing AI Models Using Speculative Decoding for Faster LLM Inference – url: https://developer.nvidia.com/blog/co-designing-ai-models-using-speculative-decoding-for-faster-llm-inference/]

Der Clou aus Nutzersicht: Weil nur Tokens übernommen werden, die das Zielmodell selbst gebilligt hat, erzeugt Speculative Decoding exakt dieselbe Ausgabesequenz wie die Standard-Dekodierung – nur eben schneller. Die Technik verschiebt die Arbeit in den „compute-bound“-Bereich: Die Rechenwerke (GEMMs) des Zielmodells werden besser ausgelastet, ohne dass mehr Speicherbandbreite oder größere Chargen nötig wären. Praxisrelevant ist das vor allem bei den zunehmend verbreiteten Mixture-of-Experts-Modellen, bei denen die effektive Parallelität pro Experte sinkt.^[NVIDIA Developer Blog – Co-Designing AI Models Using Speculative Decoding for Faster LLM Inference – url: https://developer.nvidia.com/blog/co-designing-ai-models-using-speculative-decoding-for-faster-llm-inference/]

Fünf Leitlinien für die Praxis

Damit die Technik ihr Potenzial entfaltet, kommt es auf die Feinabstimmung an – Nvidia destilliert daraus fünf Leitlinien für die optimale Länge und Mechanik des Entwurfs:

1. Die Entwurfslänge so weit erhöhen, bis die Rechenwerke in den compute-bound-Bereich gelangen – ohne den KV-Cache-Speicher weiter zu belasten.
2. Wenn die Aufmerksamkeit (Attention) dominiert, eine Entwurfslänge von 128/G − 1 wählen (G = Gruppen-Größe).
3. Größere Entwurfslängen an den Kachelgrenzen der Attention-Kernel von 128 ausrichten.
4. Bei sehr niedrigen Latenzen die Entwurfslänge nur erhöhen, solange die Akzeptanzgewinne die zusätzlichen Entwurfskosten rechtfertigen.
5. Den Entwurfsmechanismus nach Akzeptanzlänge, Entwurfs-Overhead sowie Trainings- und Bereitstellungskosten auswählen.^[NVIDIA Developer Blog – Co-Designing AI Models Using Speculative Decoding for Faster LLM Inference – url: https://developer.nvidia.com/blog/co-designing-ai-models-using-speculative-decoding-for-faster-llm-inference/]

Mechanismen im Vergleich

Als Entwurfsverfahren vergleicht Nvidia externe Draft-Modelle mit den Techniken EAGLE-3, MTP, DFlash, DSpark sowie einfachen Suffix- oder N-Gramm-Methoden – jede mit eigenen Trade-offs bei Trainingskosten, Speicherbedarf zur Laufzeit und Spekulationskosten pro Entwurfstoken. Wer es selbst ausprobieren will, findet in Nvidias Model-Optimizer-Repository lauffähige Trainingsbeispiele für EAGLE-3, DFlash und DSpark – inklusive Feinabstimmungs- und Quantisierungsworkflows, demonstriert an Nvidias eigenem Modell Nemotron 3.5 Lightning. Zum Messen der Akzeptanzlängen stellt der Konzern mit SPEED-Bench einen eigenen Benchmark mit realistischen Arbeitslasten aus Bereichen wie Codierung und Zusammenfassung bereit.^[NVIDIA Developer Blog – Co-Designing AI Models Using Speculative Decoding for Faster LLM Inference – url: https://developer.nvidia.com/blog/co-designing-ai-models-using-speculative-decoding-for-faster-llm-inference/]

Warum Effizienz gerade jetzt das Thema ist

Die Forschung kommt zu einem Zeitpunkt, an dem die Branche über Effizienz anders nachdenkt als noch vor einem Jahr. Als Google am selben Tag Gemini 3.8 Flash vorstellte, machte der Konzern kein Geheimnis daraus, dass das Modell bei komplexen Aufgaben „härter arbeitet“ und dadurch rund 30 Prozent mehr Ausgabe-Tokens pro Aufgabe erzeugt – die Kosten pro Aufgabe stiegen trotz unverändertem Token-Preis.^[The Decoder – Gemini 3.8 Flash is Google's third budget model in six weeks while frontier models remain MIA – url: https://the-decoder.com/gemini-3-8-flash-is-googles-third-budget-model-in-six-weeks-while-frontier-models-remain-mia/] Und GitHub erklärte ebenfalls am Dienstag, warum kürzere Ausgaben nicht automatisch billiger sind und wie der Codier-Assistent „verschwendete Arbeit“ über den gesamten Auftrag hinweg reduziert.^[GitHub Blog – How we make AI coding more cost efficient without sacrificing task quality – url: https://github.blog/ai-and-ml/github-copilot/how-we-make-ai-coding-more-cost-efficient-without-sacrificing-task-quality/]

Speculative Decoding ist damit Teil einer größeren Bewegung: Statt immer nur größere Modelle zu bauen, rückt die Frage in den Vordergrund, wie sich aus vorhandener Hardware und vorhandenen Modellen mehr Tempo und mehr Durchsatz herausholen lassen – ein Wettbewerbsvorteil, der sich direkt in niedrigere Kosten pro Abfrage übersetzt.