Fünf KI-Forschungspapers der Woche: Physik für Videomodelle, offene Bildgenerierung und die Macht des Zufalls

Jede Woche erscheinen auf arXiv.org hunderte neue Manuskripte aus dem Maschinellen Lernen – eine Menge, die niemand mehr vollständig lesen kann. Diese Zusammenfassung greift aus den Veröffentlichungen der vergangenen Tage fünf Arbeiten heraus, die uns besonders bemerkenswert erscheinen, und ordnet sie kurz ein. Zwei davon stellen die vielleicht drängendste Frage der generativen Video-KI: Verstehen die Modelle eigentlich, was sie zeigen? Ein drittes Paper liefert ein vollständig offenes Rezept für hochwertige Bildgenerierung. Zwei weitere Arbeiten wiederum blicken mit überraschenden Ergebnissen auf die Effizienz- und Trainingsseite großer Sprachmodelle – auf den KV-Cache beim langen Schlussfolgern und auf die Frage, warum Reinforcement Learning die Denkvielfalt von Modellen einschrumpfen lässt.

Alle fünf Preprints stammen aus der Woche Ende August bis Anfang September 2026 und wurden über die „Hugging Face Daily Papers“ kuratiert; die arXiv-Identifier sind jeweils angegeben.

1. Principia: Wenn zwei Objekte dieselbe Physik verraten

arXiv 2609.04200 – „Principia: Relational Physics Tests for Video Models“ (Thozhiyoor, Tripathi, Radhakrishnan, Bhattad)

Generierte Videos sehen inzwischen verblüffend realistisch aus – doch physikalisch stimmig sind sie deshalb noch lange nicht. Das Problem für Forschende: Absolute Bewegungsmaße hängen von Bildrate, Objektgröße und Kamerakalibrierung ab, die in generierten Videos oft gar nicht bekannt sind. Wie soll man also prüfen, ob ein Modell Physik „versteht“, wenn man nicht einmal einen Maßstab hat?

Die Idee: Relationale Konsistenz statt Kalibrierung

Die Autoren schlagen einen eleganten Ausweg vor: Folgen zwei Objekte in derselben Szene demselben physikalischen Gesetz, dann müssen ihre Bewegungen in vorhersagbaren Beziehungen zueinander stehen – und genau diese Relationen sind unabhängig von jeder Kalibrierung. Ein einfaches Beispiel für die zugrunde liegende Idee ist der freie Fall aus der Ruhe: Für beide Körper gilt dieselbe Erdbeschleunigung $g$, und für die Fallzeiten $t_1, t_2$ aus den Höhen $h_1, h_2$ muss unabhängig von $g$ gelten:

$$\frac{t_1}{t_2} = \sqrt{\frac{h_1}{h_2}}$$

Verletzt ein generiertes Video diese Relation, liegt ein echter physikalischer Fehler vor – messbar direkt im Bildraum, ganz ohne Kenntnis von Maßstab oder Kamera. Dieses Prinzip der kalibrierungsunabhängigen relationalen Konsistenz zwischen gepaarten Objekten setzt der neue Benchmark „Principia“ um.

Methode und Ergebnisse

Principia spannt acht Phänomene auf – Gravitation, Restitution (Rückprall), Reibung, Rotationsträgheit, Wurfparabel, Impuls, Pendel und Masse-Feder-Oszillation – und deckt translatorische, rotatorische, kollisions- und oszillationsbasierte Dynamik ab, aufgenommen in realen Szenen unter kontrollierten Protokollen. Dazu führt die Arbeit einen kalibrierungsunabhängigen Konsistenz-Score ein, der physikalische Verstöße quantifiziert.

Die Ergebnisse sind ernüchternd: Über tausende Generationen von sechs modernen Videogeneratoren hinweg überschreitet kein einziges Modell 0,42 auf Principia – obwohl alle Systeme auf dem gängigen Qualitäts-Benchmark VBench Werte um 0,8 erzielen. Die visuelle Qualität täuscht also systematisch über physikalische Defizite hinweg. Auch Sprach-Bild-Modelle (VLMs), die Verstöße erkennen sollen, scheitern: Das beste getestete Modell erreicht nur 67 % Genauigkeit, die meisten liegen nahe am Zufallsniveau. Principia zeigt damit, dass die Evaluationsinstrumente der Branche eine zentrale Fähigkeit schlicht nicht messen.

2. VeriPhy: Prüfbare Physik für Weltmodelle

arXiv 2609.03153 – „VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement“ (Xu, Zhu, Ge, Shen, Shi)

Verwandt, aber mit anderem Ziel, geht VeriPhy an: Während Principia ein Benchmark ist, ist VeriPhy ein System zur auditierbaren physikalischen Verifikation generierter Videos. Die Ausgangsbeobachtung: Ein einzelner Qualitäts-Score kann weder sagen, welche physikalische Verpflichtung ein Clip verletzt, noch, in welchem Moment er versagt.

So funktioniert es

VeriPhy arbeitet in mehreren Stufen, die jede Entscheidung nachvollziehbar machen:

1. Planung vor dem Bild: Ein reiner Text-Planner übersetzt den Prompt in „typisierte physikalische Verpflichtungen“ (etwa: Dieses Objekt muss nach dem Loslassen fallen) und einen statisch validierten Ausführungsplan – bevor irgendein Frame erzeugt oder beobachtet wird.
2. Geführte Expertenanalyse: Während der Ausführung rufen nur deklarierte, eingefrorene Low-Level-Experten – Segmentierung und Tracking, Zählen, elf typisierte physikalische Messungen über die erzeugten Spuren, Tiefenschätzung, OCR und Audio-Ereigniserkennung – jeweils von den Beobachtungen begrenzte Messwerte ab.
3. Evidenz mit Herkunft: Jede Aktion liefert einen Evidenzdatensatz mit Provenienz. Typisierte Resolver und feste Kompositionsregeln bilden die verwertbaren Datensätze auf einen dreiwertigen Zustand ab: supported / contradicted / unknown, nach außen sichtbar als plausibel / unplausibel / Enthaltung – jedes Urteil rückverfolgbar bis zur Evidenz, die es erzeugt hat.

Befunde

Zur Evaluation dient ein Korpus aus 1.500 Clips mit menschlich annotierten Fehlerdatensätzen, die reale Generierungsfehler in Prompt-Bezug, Raum und Zeit lokalisieren. Auf einem Kern von 149 Clips mit 304 solcher Fehlerdatensätze klärt VeriPhy 228 auf – gegenüber 164 für einen veröffentlichten Frage-Zerlegungs-Evaluator. Interessant: Beim bloßen Recall (222) liegt ein monolithisch gepromptes Backbone gleichauf. Was VeriPhy abhebt, ist die Auditierbarkeit: Jede Entscheidung behält ihren Evidenzdatensatz und ihre Provenienz, Urteil für Urteil – und genau diese Spur ist die Schnittstelle, über die sich Kritiken zurück in die Generierung schreiben ließen. VeriPhy ist damit ein Baustein für Weltmodelle, die nicht nur erzeugen, sondern sich auch korrigieren lassen.

3. LLaDA-Image: Ein komplett offenes Rezept für starke Bildgenerierung

arXiv 2609.03796 – „LLaDA-Image: Building Strong Image Generators with Fully Open Training Recipes“ (inclusionAI)

Während die generative Bild-KI oft von geschlossenen Systemen dominiert wird, verfolgt LLaDA-Image einen ausdrücklich offenen Ansatz – und veröffentlicht neben den Gewichten auch Trainingscode und detaillierte Rezepte. Die Architektur vereint einen von Grund auf trainierten 6B-Diffusion-Transformer (DiT) mit einem eingefrorenen Sprach-Bild-Verständnismodul auf Basis des LLaDA2.0-Mini-Diffusions-Sprachmodells.

Methode

Der Clou liegt in der Trainingsstrategie: Statt von Anfang an auf gepaarte Bild-Text-Daten angewiesen zu sein, wird zunächst über reine Bild-Vor- und Zwischentrainingsphasen ein starker visueller Prior aufgebaut; die Generations-Pipeline umfasst insgesamt 220 Millionen Trainingsproben, von denen nur ein kleiner Teil echte Bilder sind. Für effizientes, skalierbares Training setzt das Team auf parameterfreie RMSNorm im gesamten DiT sowie den Muon-Optimierer.

Das so entstandene einheitliche Modell erzeugt hochfotorrealistische Bilder und folgt zugleich präzise feingranularen Editieranweisungen. Eine zusätzliche Destillation ergibt LLaDA-Image-Turbo mit schneller Inferenz in nur 2–4 Sampling-Schritten.

Ergebnisse und Einordnung

Auf dem Qwen-Image-Bench erreicht LLaDA-Image Gesamtscores von 53,53 (englischer Track) bzw. 53,38 (chinesischer Track) – jeweils neuer State of the Art unter Open-Source-Modellen. Besonders bemerkenswert ist die Botschaft des Papers für die Forschungspraxis: Weil Gewichte, Code und detaillierte Rezepte veröffentlicht werden, lässt sich nachvollziehen, wie diese Leistung entsteht – ein Muster, das hoffentlich Schule macht und die Reproduzierbarkeit in der Bildgenerierung deutlich verbessert.

4. Random Attention: Warum Zufall beim KV-Cache genügt

arXiv 2609.03430 – „Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning“ (Salesforce AI Research)

Reasoning-Modelle erzeugen Denkketten über zehntausende Tokens. Der dabei linear wachsende Key-Value-Cache (KV-Cache) wird so zum gravierenden Speicher-Engpass. Bisherige Kompressionsverfahren folgen einem gemeinsamen Paradigma: Jedes gecachte Token erhält einen Score dafür, wie wichtig es später vermutlich noch sein wird, und nur die Besten bleiben erhalten – von akkumulierter Aufmerksamkeit (H2O, SnapKV) über Redundanzmaße (R-KV) bis zu positionsabhängigen Statistiken (TriAttention).

Die Salesforce-Forschenden testen nun genau diese Prämisse – und finden: Das Auswahlsignal trägt so gut wie nichts bei. „Random Attention“ schützt lediglich den Prompt und verwirft ansonsten innerhalb jedes Aufmerksamkeitskopfes rein zufällig und gleichverteilt – ganz ohne Score. Formal ist die gesamte Methode eine einzige Zeile:

$$s_i = \begin{cases} +\infty, & i \le \ell_p \text{ (Prompt)}, \ u_i \sim \mathrm{Uniform}(0,1), & \text{sonst,} \end{cases}$$

pro Kopf und Räumungsereignis unabhängig gezogen. Kosten pro Räumung: ein Zufallsvektor und ein Top-k.

Ergebnisse

Über vier Modelle (Qwen3-4B/14B/32B, Phi-4-Reasoning) und sechs Reasoning-Aufgaben (MATH500, GPQA-Diamond, AIME/HMMT, LiveCodeBench) bei etwa 4-facher Kompression ist Random Attention mit dem stärksten bisherigen Verfahren gleichauf – und in 31 von 60 Vergleichen sogar signifikant besser. Der einzige signifikante Rückstand (Code-Reasoning auf Qwen3-32B) lässt sich auf die Prompts zurückführen, die bei Code-Aufgaben extrem lang werden. Da keine Scoring-Passage nötig ist, liefert Random Attention im vLLM-Betrieb bei 32k-Token-Generationen 32–43 % höheren Durchsatz (siehe Abbildung).

Warum das funktioniert

Zwei kontrollierte Experimente erklären das überraschende Ergebnis. Erstens ist der Prompt der fragile Teil des Caches: Einmal verworfen, ist die Frage unwiederbringlich verloren; ein Großteil der Unterschiede zwischen den Selektoren verschwindet, sobald alle den Prompt gleichermaßen schützen. Zweitens schützt sich die Denkspur selbst durch Redundanz – auf zwei Ebenen: im Text (das Modell wiederholt, was es noch braucht) und über die Aufmerksamkeitsköpfe (jeder Kopf hält eine eigene Kopie jedes Tokens, und die Räumung entscheidet pro Kopf). Ein „Planted-Fact“-Probe zeigt: Ein nur in einem Kopf gehaltener Fakt wird fast nie abgerufen, ein in mehreren Köpfen gehaltener fast immer – die genaue Form der überlebenden Kopien ist egal. Sobald der Prompt sicher ist, behält eine Zufallsziehung genug Kopien dessen, was das Modell noch braucht.

Damit ist Random Attention zugleich Nullhypothese und einsatzbereite Methode: Jede künftige Selektionsstrategie muss bei gleichem Budget und gleichem Prompt-Schutz nachweisen, dass sie den Zufall schlägt. Die offenen Fragen verschieben sich dorthin, wo Schutz wirklich zählt: das Budget für sehr lange Prompts (etwa in Code-Aufgaben) und die seltenen, nur einmal genannten Fakten, die nur ein inhaltsabhängiges Signal bewahren könnte.

5. Locked at the Entrance: Wo Reinforcement Learning den Lösungsraum verengt

arXiv 2608.29188 – „Locked at the Entrance, Open Inside: Where RLVR Narrows the Solution Space“ (Zhou & Li, University of Birmingham)

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) ist zum Standard geworden, um mathematisches Denken in LLMs zu erzeugen – doch es hat einen bekannten Preis: Die Einzelsample-Genauigkeit (pass@1) steigt, während die Vielfalt der Lösungswege schrumpft, was den Nutzen von Testzeit-Skalierung (etwa wiederholtem Sampling) begrenzt. Bisherige Studien maßen diese Verengung nur über aggregierte Endantworten und vermischten dabei zwei verschiedene Fehlerquellen: Ein Modell kann einen gültigen Lösungsweg nie beginnen (Zugang fehlt) oder ihn abbrechen, nachdem es begonnen hat (Ausführung scheitert). Die Autoren trennen diese Faktoren erstmals sauber – mit einer Aufgabe, deren Lösungsraum sich vollständig aufzählen lässt: Countdown.

Zugang vs. Ausführung

Bei Countdown wird aus gegebenen Zahlen mit Grundrechenarten exakt ein Zielwert gebildet. Da der gesamte Lösungsraum erschöpfend aufzählbar ist, lässt er sich in „Entrance-Familien“ partitionieren – definiert durch die erste Operand-Operator-Entscheidung $(o_1, \odot_1)$ (Abbildung). Über 150 Testinstanzen findet ein exakter Löser 379 zulässige Familien (im Schnitt 2,53 pro Instanz). Das Lösen über Familie $b$ faktorisiert dann in einen Zugangs- und einen Ausführungsteil:

$$\pi_\theta(\text{lösen über } b \mid x) = \underbrace{\pi_\theta(B = b \mid x)}{\text{Zugang (access)}} \cdot \underbrace{\pi\theta(\text{gültige Vervollständigung} \mid x, B = b)}_{\text{Ausführung (execution)}}$$

Die Lösungsabdeckung misst, welcher Anteil der gültigen Lösungen eines Problems nach $n$ unabhängigen Rollouts erreicht wird:

$$\mathrm{Cov}(x, Y_{1:n}) = \frac{\left|{s \in S(x) \mid s \text{ ist kanonische Lösung eines } Y_i}\right|}{|S(x)|}$$

Befunde: Die Tür ist der Engpass

Unter PPO (Qwen2.5-3B) steigt pass@1 um mehr als das Fünfzigfache, während die Lösungsabdeckung von 0,337 auf 0,111 fällt – ein Verlust von etwa 67 %. Die GRPO-Checkpoint-Serie zeigt dasselbe Muster (Genauigkeit verdreifacht, Abdeckung −43 %). Entscheidend: Die Verengung tritt sogar bei Problemen auf, die das Modell über alle Checkpoints hinweg korrekt löst.

Wo geht die Breite verloren? Die Likelihood-Verschiebung pro Token ist 16× (PPO) bzw. 11× (GRPO) größer vor der ersten Rechenoperation als in allen späteren Denkschritten. Und ein entscheidender Test: Klemmt man nur ein minimales, nicht vom Modell gewähltes Entrance-Präfix vor („Let me try: 4 ד), steigen die Abschlussraten in wenig frequentierten Familien um mehr als eine Größenordnung (0,018 → 0,212 unter PPO). Alternative Lösungen bleiben also ausführbar – sie werden nur nicht mehr angestoßen. Die Breite geht an der Tür verloren, nicht im Raum dahinter.

Gegenmittel

Oberflächliche Prompts und Temperaturskalierung helfen nicht. Wirksam sind dagegen eingriffsgezielte Methoden: Die Parameter-Interpolation später Schichten (20–28) mit frühen Checkpoint-Gewichten (Step 50) erhöht die Lösungsabdeckung um 37 %, ohne dass pass@1 leidet; auch Checkpoint-Sampling und Logit-Mixing in der Denkphase öffnen „vergessene“ Einstiegswege wieder. Die Autoren zeigen zudem, dass der frühe Entropie-Kollaps über sechs Mathe-Benchmarks (GSM8K, MATH500, Minerva, Olympiad-Bench, AMC23, AIME24) bei 7B- und 14B-Modellen generalisiert – aber kein unvermeidbares Schicksal ist: Ein SFT-Basismodell behält mehr als die doppelte Abdeckung, und eine gestufte SFT–DPO–RLVR-Pipeline (OLMo-3) hebt pass@1, während die frühe Rechenentropie erhalten bleibt. Ein starkes Argument für Trainingspipelines, die Alignment vor das RLVR schalten.

Fazit: Messen, Prüfen, Offenlegen

Fünf Papers, ein gemeinsamer Unterton: Die Branche schiebt ihre Messlatten nach. Principia und VeriPhy zeigen, dass „schön aussehen“ und „physikalisch korrekt sein“ zweierlei ist und wie sich Letzteres kalibrierungsfrei und auditierbar prüfen ließe – die Voraussetzung für Weltmodelle, denen man vertrauen kann. LLaDA-Image demonstriert, dass Spitzenqualität in der Bildgenerierung nicht an geschlossene Labore gebunden sein muss, wenn Trainingsrezepte offen gelegt werden. Und Random Attention wie auch das RLVR-Paper liefern überraschende, aber mechanistisch gut begründete Antworten auf Effizienzfragen – im einen Fall mit einem radikal einfachen Verfahren, das vermeintlich kluge Scores überflüssig macht, im anderen mit einer klaren Lokalisierung des Problems („an der Tür, nicht im Raum“), die direkt zu wirksamen Gegenmitteln führt. Für alle, die tief in die jeweilige Arbeit einsteigen wollen, sind die arXiv-Preprints über die genannten Identifikatoren frei verfügbar.