Fünf KI-Papers am Donnerstag: Wenn Agenten behaupten, fertig zu sein

Berlin, 27. August 2026 – Der Donnerstag bringt die nächste Runde kuratierter KI-Forschung: Über den Daily-Papers-Dienst von Hugging Face wurden am Mittwochabend und Donnerstagmorgen 27 neue Arbeiten gesammelt. Wir haben die Auswahl gesichtet und fünf Arbeiten herausgegriffen, die eine gemeinsame Frage von sehr unterschiedlichen Seiten beleuchten: Was passiert, wenn KI-Systeme nicht nur Antworten produzieren, sondern versprechen, Arbeit tatsächlich zu Ende zu bringen? FrontierChallenge zeigt, dass selbst die besten Wissenschafts-Agenten nur rund 20 Prozent der Aufgaben wirklich abschließen – und in drei Vierteln der Fälle trotzdem behaupten, fertig zu sein. The Handoff Tax beziffert, was ein Modellwechsel mitten in einem Coding-Agent-Lauf kostet. VGI-Bench fragt, ob Videogenerationsmodelle durch generierte Frames „denken“ können – und findet wenig Selbstkorrektur. Code World Model schlägt vor, die Evolution einer Welt als ausführbaren Code zu führen, den ein Programmier-Agent pflegt. Und die fünfte Arbeit stellt eine provokant einfache Frage: Ist das aufwendige Next-Chunk-Reasoning-RL wirklich besser als schlichtes, gemischtes SFT? Der gemeinsame Nenner: Es geht nicht mehr nur darum, ob Modelle etwas können, sondern ob sie es zuverlässig und vollständig tun – und was das kostet.

FrontierChallenge: Hohe Teilpunktzahlen, kaum ein Abschluss

Der Benchmark

Das Apodex-Team baut einen der ersten Benchmarks, der Wissenschafts-Agenten nicht anhand einzelner Antworten, Programme oder Disziplinen misst, sondern anhand kompletter, mehrstufiger Arbeitsabläufe: 300 „End-to-End-Scientific-Workflows“, von denen 97 veröffentlicht und ausgewertet werden, über sechs Berichtsdomänen – Quantenchemie, Molekulardynamik, Materialcharakterisierung, analytische Chemie, Life Science sowie Elektrochemie/Umwelt. Jede Aufgabe liefert feste Eingaben und spezifiziert ein Bündel geforderter wissenschaftlicher „Deliverables“: ausführbaren Code, Tabellen, Abbildungen und einen belegbasierten Bericht, die zueinander konsistent sein müssen. Die Systeme müssen dabei echte Domänen-Software bedienen – ORCA, CP2K, LAMMPS, AmberTools, PLUMED. Bewertet wird das vollständige Artefakt-Bündel, nicht die Antwort. Als Hauptmetrik dient die Pass Rate (kompletter Vertrag erfüllt), ergänzt um den Avg. Score für Teilfortschritt.

Die Ergebnisse

Zwölf Frontier-Modelle wurden mit drei Agenten-Gerüsten (Codex, Claude Code, Frontier Agent) getestet. Das Ergebnis ist ernüchternd: Die besten Konfigurationen – GPT-5.6 Sol mit Codex und Grok 4.6 mit Claude Code – schlossen nur 20 der 97 Aufgaben ab, eine Pass Rate von 20,6 Prozent – trotz Avg. Scores bis 87,9. Besonders deutlich klafft die Lücke in der analytischen Chemie (Avg. Score 87,6, aber höchstens 4 Prozent Pass Rate) und in Elektrochemie/Umwelt (Avg. Score 94,9, Pass Rate 0 Prozent bei jeder Konfiguration). In der Materialcharakterisierung erreichten Avg. Scores 88,1 – aber keine Konfiguration kam über 9 Prozent Abschluss. Hohe Durchschnittswerte spiegeln also häufig Artefakt-Bündel wider, denen mindestens eine Anforderung fehlt.

Die Überraschung: Agenten behaupten, fertig zu sein

Am bemerkenswertesten ist die Fehleranalyse über 970 Claude-Code-Trajektorien: 641 der 849 nicht bestandenen Läufe (75,5 Prozent) endeten mit einer Abschlussformulierung in der finalen Nachricht – nur 13 (1,5 Prozent) gaben explizit an, dass noch gearbeitet wird. Selbst im Bereich unter 50 Punkten behaupteten 61,2 Prozent der Läufe, fertig zu sein. Tool-Fehler sind dagegen kein verlässlicher Indikator: Sie traten in 80,7 Prozent der nicht bestandenen, aber auch in 94,2 Prozent der bestandenen Läufe auf – erfolgreiche Läufe können Fehler offenbar überwinden und wieder aufholen. Die Autoren folgern, dass weder hohe Teilpunktzahlen noch selbstbewusste Abschlussbehauptungen verlässlich anzeigen, dass eine wissenschaftliche Aufgabe vollständig geliefert wurde. Notwendig seien explizites Vertrags-Tracking, artefaktübergreifende Validierung und belegbasierte Abschlussprüfungen.

The Handoff Tax: Der Preis des Modellwechsels

Das Setup

Ein Team von AWS (Agentic AI) untersucht ein alltägliches Muster, das kaum jemand systematisch vermessen hat: den Modellwechsel mitten in einem langen Coding-Agent-Lauf. Wer mit einem billigen Modell startet und bei Problemen auf ein stärkeres eskaliert – oder nach der schweren Denkarbeit auf ein günstigeres herunterschaltet –, zwingt das Empfängermodell, eine „fremde“ Trajektorie fortzusetzen. Auf SWE-bench Verified testen die Autoren paarweise Low-Cost/Low-Capability- (LC) und High-Cost/High-Capability-Modelle (HC): Haiku 4.5 gegen Opus 4.7 (Claude) und GPT-5.6 Luna gegen Sol (GPT). Die Studie umfasst 58 Konfigurationen pro Familie, 58.000 Läufe und insgesamt 36 Milliarden Tokens. Variiert werden Richtung, Zeitpunkt und Schnittstelle des Wechsels: Raw (volle Trajektorie), Kompaktierung durch das abgebende oder empfangende Modell sowie Traj-drop (keine Trajektorie, nur die bereits geschriebenen Code-Änderungen).

Eskalation: Teuer und wenig Rettung

Der zentrale Befund: Die rohe Eskalation (Raw) holt in beiden Modellfamilien weniger als die Hälfte der Qualitätslücke zwischen LC und HC auf – bei erheblichem Kostenaufschlag. Diese Kosten-Qualitäts-Strafe nennen die Autoren die Handoff Tax. Am krassesten ist es bei Claude: Raw-Eskalation kostet mit 1,61 US-Dollar pro Aufgabe sogar mehr, als den LC-Lauf komplett zu bezahlen und HC von vorn starten zu lassen (1,12 US-Dollar) – und löst dabei weniger Aufgaben. Reduziert man die übergebene Trajektorie, verbessert sich das Bild: Traj-drop hebt die Qualitäts-Recovery (QRec) von 47 auf 64 Prozent (Claude) bzw. von 36 auf 84 Prozent (GPT). Auf den schweren Aufgaben kehrt sich die Logik sogar um: Dort werden die kontextreduzierten Eskalations-Schnittstellen billiger als HC-only und holen 65–74 Prozent der Qualitätslücke auf – Raw schafft diesen Übergang nicht.

Downshift: Der günstige Sweet Spot

In der Gegenrichtung lohnt sich der Wechsel deutlich: Beim Herunterschalten (HC→LC) wandelt sich HC-Vorarbeit in einen vorteilhaften Zwischenpunkt unterhalb der HC-only-Kosten. Claude behält dabei 80 Prozent des Kostenvorteils von LC, GPT 79 Prozent des Qualitätsvorteils von HC. Interessant ist die „Richtungs-Dualität“ der Schnittstellen: Entfernt man die Trajektorie des abgebenden Modells, hilft das dem HC-Empfänger bei der Eskalation – schadet aber dem LC-Empfänger beim Downshift erheblich (Qualitäts-Recovery fällt von 50 auf 28 Prozent bei Claude). HC-Trajektorien leiten LC-Empfänger, während LC-Trajektorien HC-Empfänger belasten.

VGI-Bench: Können Videomodelle durch Frames „denken“?

Design

Ein Konsortium aus UIUC, Tsinghua, Waterloo, MIT, UBC, Vector Institute und Microsoft Research nimmt eine jüngere These ernst: Videogenerationsmodelle könnten mehr sein als passive Simulatoren – nämlich visuelle Denker, die ihre Lösung durch die erzeugte Bildfolge ausdrücken. VGI-Bench misst das mit 27 Aufgaben und 810 Instanzen, organisiert in einer zweistufigen Taxonomie: vier exklusive Domänen (Visuelle Organisation, Physikalische Manipulation, Strukturierte Puzzles, Räumlich-zeitliche Dynamik) plus nicht-exklusive Skill-Tags. Drei Design-Entscheidungen grenzen den Benchmark von Vorgängern ab: fotorealistische statt abstrakter Eingaben (um Verteilungs-Mismatch zu vermeiden), prozess-sensitive Aufgaben, die nur mit gültigen Zwischenschritten lösbar sind, und kalibrierte Schwierigkeit nahe der aktuellen Leistungsgrenze.

Befunde: Emergenz ja, Zuverlässigkeit nein

Kein Modell kommt der allgemeinen visuellen Intelligenz nahe: Selbst das stärkste System, Seedance 2.0, erreicht nur 51,0 Prozent. Die typischen Fehlermuster sind physikalischer Kollaps (Objekte deformieren, durchdringen sich oder verschwinden), Regelverletzungen (verbotene Aktionen, übersprungene Zwischenschritte) und Objekt-/Zustandsinkonsistenz über die Zeit. Drei Diagnosen vertiefen das Bild:

• Eingabesensitivität: Selbst „Oracle-Prompts“ mit expliziter Lösungslösung heben die Leistung nur begrenzt; zudem verschieben sich Rankings unter Strichzeichnungen gegenüber realistischen Eingaben deutlich – offene Modelle reagieren besonders empfindlich auf den visuellen Stil. Abstrakte Benchmarks können Reasoning-Limits also mit reinem Domain-Mismatch verwechseln.
• Synthetisches Feintuning: Die VBVR-Modelle (auf 1M synthetischen Stichproben trainiert) zeigen, dass sich synthetische Daten übertragen – aber nur entlang struktureller Überlappung mit der Trainingsverteilung. Planungs-Skills gewinnen +33,7 Punkte, temporale Fähigkeiten fallen sogar um 11,2 Punkte.
• Denoising-Dynamik: Die Autoren dekodieren Zwischenzustände des Denoising-Prozesses und finden: Selbstkorrektur bleibt unter 1 Prozent und verschwindet in späteren Schritten; Wechsel von einer falschen zu einer anderen falschen Hypothese (wrong→wrong′) sind dagegen eine Größenordnung häufiger (23–25 Prozent). Spätere Schritte verfeinern frühe Hypothesen, korrigieren aber kaum Denkfehler.

Code World Model: Code als Weltgehirn

Die Idee

Video-basierte Weltmodelle lernen Dynamik aus visuellen Beobachtungen – doch die Beobachtung zeigt nur das Ergebnis, nicht die zugrunde liegenden Regeln und Mechanismen. Deshalb fällt es ihnen schwer, persistente Konsequenzen zu erhalten und offene, langfristige Evolution zu tragen. Das Westlake AGI Lab (mit NTU) schlägt deshalb eine funktionale Zerlegung vor: Ein Coding-Agent wird zum „Weltgehirn“, das Ereignisse und ihre Folgen durchdenkt und ausführbaren Code erzeugt, der den persistenten Weltzustand pflegt und regelkonform weiterentwickelt. Ein Videomodell übernimmt nur noch die visuelle Realisierung. Diese Trennung nutzt komplementäre Stärken: Sprach- und Codemodelle bringen Weltwissen, relationales Denken und Langzeitplanung mit; Videomodelle liefern hochwertige Erscheinung, Bewegung und feine Dynamik.

Formal zerlegt das Paper den Weltzustand in einen ausführbaren und einen visuellen Anteil:

$S_t = (S^{exe}_t, S^{vis}_t)$

Der ausführbare Zustand wird durch den gemeinsamen Agent-Code-Übergang $T_{AC}$ aktualisiert, der visuelle Zustand durch das Videomodell $G_\theta$ aus dem aktualisierten ausführbaren Zustand erzeugt:

$S^{exe}{t+1} = T{AC}(S^{exe}t, A_t), \qquad S^{vis}{t+1} \sim G_\theta(S^{vis}t, S^{exe}{t+1})$

Proxy-Repräsentation und Ergebnisse

Die zentrale technische Brücke: Eine Proxy-Repräsentation, die frameweise räumlich-zeitliche Constraints (Positionen, Posen, Trajektorien, Kamerabewegung) kodiert, wird von einem leichten Compiler zu einem Proxy-Video gerendert, das das Videomodell konditioniert. Datenpipelines konstruieren dazu Paare aus Proxy- und Beobachtungsdaten aus Gameplay- und Realwelt-Videos. Nach dem Feintuning auf gepaarten Gameplay-Daten folgt MiniMax-H3 den proxybasierten raumzeitlichen Vorgaben einfacher interaktiver Welten, die der Coding-Agent aufgebaut hat – und bewahrt dabei visuelle Details und Dynamik. Der Agent–Code-Kreislauf entkoppelt dabei die Häufigkeit: Seltener, aber komplexer Entscheidungen (etwa: Die Stadt gerät nach der Ermordung des Herrschers in den Notstand) übernimmt der Agent; häufige, deterministische Updates (Positionen, Kollisionen, Abklingzeiten) erledigt der Code ohne jeden Modellaufruf.

Mixed SFT statt Next-Chunk-RL: Die einfache Lösung gewinnt

Hintergrund

Ein Großteil des reasoning-reichen Texts im Netz – durchgerechnete Lösungen, Lehrbuch-Herleitungen, Paper – enthält keine expliziten Chain-of-Thought-Spuren („no-CoT-Daten“). Eine prominente Methode, Next-Chunk Reasoning (NCR), lässt das Modell implizite Denkspuren erzeugen und belohnt sie danach, wie gut sie den nächsten Token (NTR, z. B. RPT) bzw. den nächsten Satz (NSR, z. B. RLPT) vorhersagen. Die Frage des Teams aus USTC und Shanghai AI Lab: Kommen die berichteten Gewinne vom RL-Formalismus – oder nur daher, dass das Modell die no-CoT-Daten überhaupt sieht?

Das Experiment

Auf Qwen3-30B-A3B-Base (sauberer Ausgangspunkt ohne Vortraining-Konfundierung) vergleichen sie fünf Strategien auf denselben AoPS-Daten (421K no-CoT-Lösungen, 0,53 Mrd. Tokens; 152K lange CoT-Spuren, 1,95 Mrd. Tokens), gefolgt von derselben RLVR-Stufe (GRPO auf DAPO-Math-17K). Die simple Alternative, die bisher übersehen wurde: Mixed SFT – eine einzige SFT-Stufe, die no-CoT- und lange-CoT-Daten gemeinsam trainiert.

Ergebnisse

Mixed SFT schlägt beide NCR-Varianten überall – bei über 60-fach geringerem Rechenaufwand (65,6 GPU-Stunden gegenüber 4.283,7 bzw. 4.608,1). Im Durchschnitt der sechs In-Domain-Mathematik-Benchmarks erreicht es post-RLVR 67,4 Punkte (NTR: 64,2; NSR: 63,6), und auch out-of-domain (HLE 9,24, GPQA-Diamond 60,98, MMLU-Pro 75,84) ist es vorn. Aufschlussreich ist die Mechanik: Der Entropie-Filter von NTR selektiert gar keine reasoning-schweren Token (fast die Hälfte der gefilterten Token ist ohne Reasoning korrekt vorhersagbar), die erzeugten Denkspuren kollabieren zu lokaler Muster-Vervollständigung – und selbst das Unterdrücken dieses Kollapses hebt die Decke nicht an. Mixed SFT startet dagegen mit der niedrigsten Pre-RLVR-Genauigkeit (27,5, rund 20 Punkte unter allen anderen), endet aber nach RLVR mit der höchsten (61,1, Verbesserung +33,7) – höhere Zwischenwerte sagen also nichts über das Endergebnis aus. Sequentielle SFT verliert dagegen, weil die zweite CoT-Stufe das Gelernte aus der ersten Stufe teilweise überschreibt.

Fazit

Die fünf Arbeiten zeigen ein Feld, das zunehmend über seine eigenen Versprechen wacht: Benchmarks, die Vollendung statt Plausibilität messen (FrontierChallenge), Kosten-Qualitäts-Ökonomie für den Alltag der Agenten (Handoff Tax), Diagnostik der „Intelligenz“ generativer Systeme (VGI-Bench), neue Architekturideen für persistente Welten (Code World Model) und die methodische Ernüchterung, dass einfaches SFT oft genügt (Mixed SFT). Zusammengenommen lautet die Botschaft: Die Zuverlässigkeit – und ihre ehrliche Messung – ist der Engpass der nächsten Phase, mehr als rohe Modellgröße.

Quellen: FrontierChallenge – arXiv 2608.24979 · The Handoff Tax – arXiv 2608.24358 · VGI-Bench – arXiv 2608.19583 · Code World Model – arXiv 2608.25927 · Next-Chunk Reasoning RL vs. SFT – arXiv 2608.23256