Vom Spiel zum Job: Was KI-Agenten wirklich lernen – und ob sie ihren Erfolg wiederholen

Berlin, 16. September 2026 – Zwei neue Arbeiten aus der KI-Forschung behandeln dieselbe Frage aus zwei Richtungen: Lernen KI-Agenten eigentlich etwas, das sich auf die echte Arbeitswelt übertragen lässt – und wenn ja, wiederholen sie ihren Erfolg dann verlässlich? Die Antworten sind vorsichtig optimistisch und zugleich ernüchternd präzise.^[Latent Space – Can Skills Learned in Games Transfer to Real-World Work? – url: https://www.latent.space/p/good-start-labs]

Spiele als Lehrplan

Beim Unternehmen Good Start Labs, das aus der Medien- und Werkzeugfirma Every ausgegründet wurde und 3,6 Millionen Dollar von Geldgebern wie General Catalyst einsammelte, dreht sich alles um Spiele als Trainingsmaterial für KI-Modelle. Auslöser war ein Twitch-Stream aus dem Jahr 2025, in dem Spitzenmodelle das Brettspiel Diplomacy spielten. Dabei zeigte sich, wie unterschiedlich die Systeme handeln: Das OpenAI-Modell o3 gewann die Partien laut Mitgründer und Chef Alex Duffy dadurch, dass es einen künftigen Verrat einplante, während das Claude-Modell Opus 4 nicht lügen wollte und deshalb „vernichtet wurde".^[Latent Space – Can Skills Learned in Games Transfer to Real-World Work? – url: https://www.latent.space/p/good-start-labs] Duffys Schluss daraus: Strategisches Denken lässt sich über solche Spiele vermitteln – gerade weil ihre Ergebnisse überprüfbar sind.^[Latent Space – Can Skills Learned in Games Transfer to Real-World Work? – url: https://www.latent.space/p/good-start-labs]

Den bislang stärksten Beleg liefert ein Spiel aus dem 19. Jahrhundert: „1830: The Game of Railroads and Robber Barons". Good Start Labs trainierte ein 30-Milliarden-Parameter-Modell in diesem Spiel und testete anschließend dasselbe Modell an Aufgaben aus der Finanzrecherche.^[Latent Space – Can Skills Learned in Games Transfer to Real-World Work? – url: https://www.latent.space/p/good-start-labs] Das Spiel enthält eine Börsenmechanik: Man bietet auf Aktien von Eisenbahngesellschaften, um ein Logistiknetz aufzubauen. Duffy beschreibt die Testaufgaben als Ablauf, der „genau das spiegelt, was man typischerweise in einem Finanz-Workflow tun würde": Daten durchsuchen, in eine Excel-Tabelle übertragen, Funktionen bauen und die Antwort daraus berechnen.^[Latent Space – Can Skills Learned in Games Transfer to Real-World Work? – url: https://www.latent.space/p/good-start-labs] Das Ergebnis ist aufschlussreich: Beide Trainingsvarianten verbesserten das jeweilige Spielziel, doch nur das Design als „multi-turn terminal agent" – ein Agent, der Werkzeuge nutzt, seine Umgebung erkundet, eine Strategie plant und sich in Echtzeit anpasst – verbesserte die Leistung im Finance-Agent-Benchmark.^[Latent Space – Can Skills Learned in Games Transfer to Real-World Work? – url: https://www.latent.space/p/good-start-labs]

Der Unterschied liegt im Trainingsdesign

„Wie man diese Umgebung gestaltet, verändert vollständig, was das Modell lernen kann", sagt Duffy. Ein Modell, das Bilder sehe, lerne anderes als eines, das natürlichen Text liest oder dem alles als Python-Code präsentiert werde.^[Latent Space – Can Skills Learned in Games Transfer to Real-World Work? – url: https://www.latent.space/p/good-start-labs] In einem begleitenden Paper („COS-PLAY") beschreiben die Forscher ein System, in dem ein Entscheidungs-Agent Zugriff auf eine lernbare „Skill-Bank" erhält, während ein zweiter Agent die Skill-Bank anhand des Verlaufs überarbeitet und für den nächsten Durchlauf zurückfüttert.^[Latent Space – Can Skills Learned in Games Transfer to Real-World Work? – url: https://www.latent.space/p/good-start-labs]

Bemerkenswert: Gerade leistungsfähigere Modelle machen die Trainingsumgebung nicht überflüssig – im Gegenteil. Zwar würden neue Modelle in den Spielen besser, doch sie „divergieren auf den Persönlichkeitsachsen: Verrat, Zusammenarbeit, Theory of Mind".^[Latent Space – Can Skills Learned in Games Transfer to Real-World Work? – url: https://www.latent.space/p/good-start-labs] Duffy berichtet, das Modell GPT-6 Astra mache weniger „Chain-of-Thought" und springe direkt zu Antworten. Wer wolle, dass ein Modell ein Problem auf eine bestimmte Weise löse, brauche daher den Rahmen („Harness") – „wenn man möchte, dass es Code benutzt, damit das Ergebnis vertrauenswürdig ist".^[Latent Space – Can Skills Learned in Games Transfer to Real-World Work? – url: https://www.latent.space/p/good-start-labs] Good Start Labs verkauft seinen Angaben zufolge vor allem Daten und Lernumgebungen an führende Labore.^[Latent Space – Can Skills Learned in Games Transfer to Real-World Work? – url: https://www.latent.space/p/good-start-labs] Wie breit und verlässlich sich Spielfertigkeiten übertragen, bleibe aber eine offene Frage – das gelte auch für die eigenen Versuche.^[Latent Space – Can Skills Learned in Games Transfer to Real-World Work? – url: https://www.latent.space/p/good-start-labs]

Erfolg ist kein Zufall

Genau an dieser Zuverlässigkeit setzt die zweite Arbeit an. Forschende von IBM Research beschreiben auf dem Hugging-Face-Blog ein Problem, das in klassischen Benchmarks verschwindet: Ein ReAct-Agent auf Basis von GPT-4.1 löst die Aufgaben des Benchmarks AppWorld im Schnitt in 77,4 Prozent der Fälle – aber nur bei 53,0 Prozent der Aufgaben gelingt ihm dies in allen fünf Wiederholungen.^[Hugging Face (IBM Research) – Your Agent Aced the Task. Will It Do It Again? – url: https://huggingface.co/blog/ibm-research/altk-evolve-consistency] Diese Lücke von 24,4 Prozentpunkten nennen die Autoren den „Consistency Gap".^[Hugging Face (IBM Research) – Your Agent Aced the Task. Will It Do It Again? – url: https://huggingface.co/blog/ibm-research/altk-evolve-consistency]

Die entscheidende Kennzahl sei nicht das oft berichtete Mittel über k Durchläufe („Mean@k"), sondern „Pass^k": der Anteil der Aufgaben, die ein Agent in allen k Läufen besteht.^[Hugging Face (IBM Research) – Your Agent Aced the Task. Will It Do It Again? – url: https://huggingface.co/blog/ibm-research/altk-evolve-consistency] Die Autoren betonen den Unterschied zum geläufigen „Pass@k", das optimistisch fragt, ob mindestens einer von k Versuchen gelingt – „Pass^k" sei das pessimistische Gegenstück, bei dem jeder Versuch sitzen muss.^[Hugging Face (IBM Research) – Your Agent Aced the Task. Will It Do It Again? – url: https://huggingface.co/blog/ibm-research/altk-evolve-consistency] Der Grund für das Springen liege in der Form der Wahrscheinlichkeitsverteilung an jeder Entscheidungsstelle: „scharfe" Verteilungen sind stabil, „flache" Verteilungen kippen schon durch kleinste Schwankungen – und selbst bei Temperatur 0,0.^[Hugging Face (IBM Research) – Your Agent Aced the Task. Will It Do It Again? – url: https://huggingface.co/blog/ibm-research/altk-evolve-consistency]

Ihr Gegenmittel: ein „Consistency Analyzer", der eine aufgezeichnete Spur neu abtastet (eine zusätzliche Modellabfrage pro Entscheidungsschritt, standardmäßig k=5) und „kippanfällige" Entscheidungspunkte findet; daraus entstehen „Consistency Guidelines".^[Hugging Face (IBM Research) – Your Agent Aced the Task. Will It Do It Again? – url: https://huggingface.co/blog/ibm-research/altk-evolve-consistency] Das Ergebnis: Der Anteil durchgehend gelöster Aufgaben (Pass^5) steigt von 53,0 auf 69,0 Prozent, während die Durchschnittsgenauigkeit von 77,4 auf 81,0 Prozent zulegt – die Lücke schrumpft von 24,4 auf 12,0 Prozentpunkte.^[Hugging Face (IBM Research) – Your Agent Aced the Task. Will It Do It Again? – url: https://huggingface.co/blog/ibm-research/altk-evolve-consistency] Besonders schwierige Aufgaben profitieren, und die Leitlinien übertragen sich auf verwandte Aufgaben.^[Hugging Face (IBM Research) – Your Agent Aced the Task. Will It Do It Again? – url: https://huggingface.co/blog/ibm-research/altk-evolve-consistency]

Die Autoren ziehen daraus eine nüchterne Empfehlung für alle, die Agenten produktiv einsetzen: „Pass^k" neben „Mean@k" berichten, mit steigender Schwierigkeit mit einer größeren Lücke rechnen – und nicht zuerst zu einem größeren Modell greifen, denn Verlässlichkeit sei eine eigene Achse neben der Fähigkeit.^[Hugging Face (IBM Research) – Your Agent Aced the Task. Will It Do It Again? – url: https://huggingface.co/blog/ibm-research/altk-evolve-consistency]

Beide Arbeiten zeigen damit dasselbe: Ob KI-Agenten brauchbar sind, entscheidet sich weniger an spektakulären Einzelleistungen als an der Sorgfalt, mit der ihre Lernumgebung und ihre Verlässlichkeit gestaltet werden.