Fünf KI-Forschungspapers der Woche: Aus Fehlern lernen, Formalismen prüfen, Erinnerungen planen

Jede Woche erscheinen auf arXiv.org hunderte neue Manuskripte aus dem Maschinellen Lernen – eine Menge, die niemand mehr vollständig lesen kann. Diese Zusammenfassung greift aus den Veröffentlichungen der vergangenen Tage fünf Arbeiten heraus, die uns besonders bemerkenswert erscheinen, und ordnet sie kurz ein. Sie stammen aus dem jüngsten Schwung der „Hugging Face Daily Papers" vom 11. September 2026, einem Kuratierungskanal für neue arXiv-Preprints.

Fünf Muster ziehen sich durch diese Woche. Erstens die Umkehrung des Selbsttrainings: Nicht das Nachahmen einer perfekten Lösung, sondern das Vermeiden eines selbst erzeugten Denkfehlers wird zum Lernsignal. Zweitens die Erkenntnis, dass ein bestandener Solver-Lauf keineswegs beweist, dass die formale Übersetzung das Gemeinte trifft. Drittens der Beweis, dass Schlussfolgern offenbar weitgehend sprachunabhängig ist und sich per Datenmischung übertragen lässt. Viertens ein Weltmodell, das man durch eine gegebene Videoaufnahme navigieren kann, ohne das Modell nachzutrainieren. Und fünftens ein Roboter, der sein Gedächtnis nicht als wachsenden Bilderstrom, sondern als Plan organisiert.

1. Negative Self-Distillation: Lernen durch Vermeiden von Denkfehlern

arXiv 2609.11699 – „Negative Self-Distillation: Learning to Reason by Avoiding Flaws" (Rongcan Pei, Zhepei Wei, Shuyao Xu, Xinyu Zhu, Wei-Lin Chen, Yu Meng – University of Virginia, Stanford University)

Ein populäres Verfahren zur Selbstverbesserung von Sprachmodellen heißt On-Policy Self-Distillation (OPSD): Das Modell fungiert als sein eigener Lehrer und darf dabei privilegiertes Wissen wie die Musterlösung einsehen. Die Autoren berichten, dass OPSD die Leistung auf komplexen Schlussfolgerungsaufgaben sogar verschlechtern kann – weil der Schüler eine künstlich selbstsichere, lineare Argumentationskette nachahmt und dadurch Ausdrücke der Unsicherheit sowie das explorative, selbstkorrigierende Verhalten verlernt, das schwierige Aufgaben überhaupt erst lösbar macht.

Die Idee: Vom negativen Lehrer wegoptimieren

Negative Self-Distillation (NSD) dreht die Richtung um. Statt eine Lösung nachzuahmen, lässt das Verfahren das Modell selbst eine fragespezifische negative Bedingung erzeugen – etwa die Rolle eines „careless reasoner" – und optimiert den Schüler so, dass er sich von dieser selbst erzeugten Negativ-Verteilung entfernt.

Der naive Weg über eine Unlikelihood-Zielgröße hat zwei Probleme, die die Autoren als RQ1 und RQ2 formalisieren: Erstens sind Denkfehler-Token mit gewöhnlichen Sprach-Token vermischt – wer beide bestraft, beschädigt die Sprachfähigkeit. Zweitens explodiert die ungebremste Unlikelihood für hochsichere Token wie Satzzeichen, weil der Term gegen unendlich läuft, wenn die Modellwahrscheinlichkeit gegen eins geht.

Das Gating: Zwei Lehrer, ein Tor

Gelöst wird beides mit einem dynamischen Token-Gating. Zwei eingefrorene Modelle werden verglichen: ein Referenzmodell $\pi_{\text{ref}}$, das nur die Aufgabe sieht, und ein negativer Lehrer $\pi_{\text{neg}}$, der zusätzlich die negative Bedingung erhält – beide teilen dieselben Gewichte und unterscheiden sich nur im Kontext. Das Tor ist die positive Wahrscheinlichkeitsdifferenz:

$$G_t = \max\bigl(0,; \pi_{\text{neg}}(y_t \mid x_i, n_i, y_{<t}) - \pi_{\text{ref}}(y_t \mid x_i, y_{<t})\bigr)$$

Nur Token, deren Wahrscheinlichkeit durch die negative Bedingung steigt, gelten als fehleranfällig und werden unterdrückt; alle übrigen werden lediglich per KL-Divergenz reguliert. Die Gesamtverlustfunktion kombiniert beide Anteile:

$$\mathcal{L}^{(t)}{\text{NSD}} = \mathcal{L}^{(t)}{\text{GU}} + \alpha \cdot \mathcal{L}^{(t)}_{\text{KL}}$$

Die Ergebnisse

Trainiert wird auf MATH – ohne Gold-Labels – auf Qwen3-Modellen mit 1,7B, 4B und 8B Parametern. NSD erzielt mittlere Verbesserungen von +2,3 %, +7,5 % und +6,0 % gegenüber dem jeweiligen Basislinien-Modell über sieben Mathematik-Benchmarks (AIME 24/25/26, HMMT, AMC, OlympiadBench, MATH-500). Beim 8B-Modell steigt AIME 2024 von 28,8 % auf 39,6 %.

Besonders aufschlussreich ist die Reflexionsanalyse auf Qwen3-4B: Die durchschnittliche Frequenz von Reflexionstoken (etwa „Wait") liegt beim Ausgangsmodell bei 3,6 pro Antwort, sinkt unter OPSD auf 2,2 und unter Intuitor auf 0,8 – während NSD sie auf 7,5 steigert. Das Modell wird also nicht selbstsicherer, sondern zweifelnder – und genau das zahlt sich aus.

2. Beyond Solver Verdicts: Wenn ein bestandener Solver-Lauf nichts beweist

arXiv 2609.11085 – „Beyond Solver Verdicts: Generative Reward Models for Autoformalization" (Vikash Singh, Debargha Ganguly, Aman Goel, Ali Torkamani, Xiaoxue Han, Joseph Lilien, Ferhat Erata, Vipin Chaudhary – Case Western Reserve University, Amazon Web Services)

Neuro-symbolische Systeme arbeiten mit einer sauberen Arbeitsteilung: Ein Sprachmodell übersetzt ein natürlichsprachliches Problem in formale Logik, ein SMT-Solver wie Z3 übernimmt die Deduktion. Diese Garantie ist jedoch bedingt – der Solver bescheinigt, was aus der gelieferten Kodierung folgt, nicht dass die Kodierung das Ausgangsproblem korrekt repräsentiert. Die Autoren formalisieren diese Lücke als Verdict-Preserving-Unfaithfulness (VPU): eine fehlerhafte Kodierung, die syntaktisch gültig ist, dasselbe Solver-Verdikt liefert wie eine Referenz und dennoch nicht logisch äquivalent zu ihr ist.

Ein minimales Beispiel: Vertauscht man in einer Kodierung den Vergleichsoperator > zu <, so erhalten beide Varianten das Verdikt „sat" – obwohl sie unterschiedliche Aussagen treffen.

Ein Theorem über die Grenzen des Verdikts

Proposition 1 zeigt, dass jede Bewertungsfunktion, die ausschließlich vom binären Solver-Verdikt abhängt, auf verdikt-gleichen Paaren zwangsläufig bei AUROC 0,5 landet, also dem Zufallsniveau.

Formal wird die Referenzäquivalenz über gegenseitige Implikation definiert:

$$\text{Eq}(s, s^\star) = \mathbb{I}\bigl[;A(s) \wedge \neg A(s^\star)\ \text{unsat},;; A(s^\star) \wedge \neg A(s)\ \text{unsat};\bigr]$$

und VPU als Kombination aus Verdikt-Gleichheit und fehlender Äquivalenz:

$$\text{VPU}(s; s^\star) = \mathbb{I}\bigl[v(s) = v(s^\star)\bigr] \cdot \bigl[1 - \text{Eq}(s, s^\star)\bigr]$$

Generative Verification (GenV)

Die Lösung namens GenV destilliert einen Offline-Z3-Äquivalenz-Orakel in eine referenzfreie, kontinuierliche Äquivalenzbewertung. Statt eine Klassifikationsschicht anzuhängen, nutzt das Verfahren die native Token-Vorhersage des Sprachmodells: Ein Prompt fragt, ob $s$ das Problem $x$ korrekt formalisiert, und aus den Wahrscheinlichkeiten der Antworttoken „Yes" und „No" entsteht ein Score $f = P(\text{Yes}) / (P(\text{Yes}) + P(\text{No}))$ – in einem einzigen Vorwärtsschritt und ohne die Referenz zur Inferenzzeit. Trainiert wird ein 27B-Modell mit eingefrorenem Basismodell und LoRA-Adaptern; zusätzlich werden 732 programmatisch erzeugte harte Negativbeispiele eingemischt (GenV+HN).

Die Ergebnisse

System	AUROC
GenV+HN (eingesetzt)	0,961
GenV ohne geminte Negative	0,956
Self-Consistency (K=5)	0,863
Outcome Reward Model	0,762
Process Reward Model	0,756
Nur Solver-Verdikt	0,500

Auf einem 950-zeiligen Benchmark mit 260 VPU-Fällen erreicht GenV+HN 0,961 AUROC, auf einem konservativen textgetrennten Teilsatz noch 0,955. Gegenüber früheren Alignment-Methoden wie GTED (0,835) oder FormalAlign (0,752) fällt der Abstand deutlich aus. In der agentischen Testzeit-Kalkulation über neun Reasoning-Benchmarks bringt der Verifier teils große Zugewinne: Das schwächere Backend gpt-oss-20b legt um +42,6 Punkte zu, im gepoolten Best-of-5-Reranking sind es +7,0 Punkte gegenüber einem Einzelversuch.

Bemerkenswert ist die mechanistische Nebenanalyse: Sonden auf den versteckten Aktivierungen eines Sparse-Autoencoders erreichen 0,960 AUROC – die Information über VPU und Fehlerposition steckt also bereits im Modell, sie muss nur richtig ausgelesen werden.

3. Mehrsprachiges Schlussfolgern ohne „Multilingualitätssteuer"

arXiv 2609.10445 – „Building Multilingual Bridges: Data Mixing as the Pillar of Generalization for In-Language Reasoning" (Mehrnaz Mofakhami, Ananya Sahu, Alejandro R. Salamanca, Daniel D'souza, Alexandre Bérard, Thomas Euyang, Marzieh Fadaee, Julia Kreutzer – Cohere Labs)

Reasoning-Modelle denken fast immer auf Englisch – unabhängig davon, in welcher Sprache man sie fragt. Das ist für nicht-englischsprachige Nutzende ein Problem: Es riskiert Bedeutungsverlust durch interne Übersetzung und verwehrt Wissen, das sich in der Zielsprache leichter ausdrücken lässt.

Die Autoren nennen die Fähigkeit, in der Sprache der Anfrage zu denken, L2-Reasoning und gehen die Frage datenzentriert an. Statt für jede Sprache eigene Reasoning-Daten zu erheben, übersetzen sie englische Argumentationsspuren automatisch („translate-train"). Das Ergebnis ist Tiny Aya L2-Thinker mit 3,35 Milliarden Parametern, trainiert auf 45 Reasoning-Sprachen.

Die drei Befunde

Erstens: Mehr Sprachen helfen und stören nicht. Breitere L2-Überwachung erhält Genauigkeit und In-Language-Rate auf abgedeckten Sprachen und erhöht die L2-Rate sogar auf nicht überwachten Sprachen – ein einzelnes gemeinsam trainiertes Modell überträgt besser als regionale Spezialisten, und der „Fluch der Mehrsprachigkeit" gilt fürs Reasoning offenbar nicht.

Zweitens: Nicht-Reasoning-Daten sind ein billiger Hebel. Mehrsprachige Instruktionsdaten verbessern sowohl L2-Rate als auch Genauigkeit auf ungesehenen Sprachen, während englische Reasoning-Daten das notwendige Rückgrat bleiben.

Drittens: Wie man mischt, ist entscheidend. Datenmischung bietet bessere Kompromisse zwischen Aufgaben- und L2-Rate als sequenzielle Anpassung oder Gewichts-Merging.

Die Zahlen

Gemessen wird unter anderem die Repetitionsrate über 4-Gramme, definiert als

$$\text{Rep} = \frac{\sum_{g:,c_g > 1} (c_g - 1)}{\sum_g c_g}$$

womit „Doomloops" erfasst werden, die das Token-Budget verbrauchen.

Modell (Ø über nicht-englische Sprachen)	MGSM Acc	MGSM L2%	PolyMath Acc	MIST-OEG Acc	GlobalPIQA Acc
Tiny Aya En-Thinker (nur Englisch)	70,8	0,8	18,6	85,3	72,3
Qwen3.5-4B (Status quo)	52,2	31,0	39,8	79,9	78,6
Qwen3.5-4B (Thinking-Prefix-LF)	50,6	94,3	27,6	67,7	77,0
M-Thinker-7B	38,0	87,8	32,6	30,0	59,2
Magistral-Small-24B	64,2	33,6	15,9	80,8	77,1
Tiny Aya L2-Thinker (3,35B)	68,0	96,5	11,1	85,8	70,7

Die zentrale Botschaft steckt im Vergleich mit dem Inference-Trick „Thinking-Prefix-Language-Forcing": Bei Qwen3.5-4B schiebt er die L2-Rate zwar auf 94,3 %, kostet aber massiv Genauigkeit – die MGSM-Leistung fällt von 52,2 % auf 50,6 %, die MIST-OEG-Bewertung von 79,9 auf 67,7. Das kleine, von Grund auf mehrsprachig trainierte Modell erreicht dagegen eine L2-Rate von über 93 % auf jedem Benchmark bei erhaltener Leistung.

4. World in World: Ein Video ist kein Fenster, sondern eine Welt

arXiv 2609.11548 – „World in World: Explore the World with World Models" (Chenxi Song, Yanming Yang, Chi Zhang – AGI Lab, Westlake University)

Autoregressive Video-Weltmodelle erlauben interaktive, langhorizontige Exploration: Man kann Kameraposition und Blickrichtung während des Generierens ändern. Die Anforderung ist allerdings hart. Wer eine bestehende Aufnahme aus neuen Blickwinkeln erkunden will, muss (1) mit dem aufgezeichneten Ereignis synchron bleiben, (2) beobachteten Inhalt in die gewünschte Ansicht bringen, (3) neu sichtbare Regionen plausibel vervollständigen und (4) bereits Generiertes bei Rückkehr wiederfinden.

Bestehende Verfahren lösen das mit aufgabenspezifischen Modulen oder zusätzlichem Training. World in World (WiW) geht einen anderen Weg: Es ist eine trainingsfreie Inferenz-Schnittstelle für ein eingefrorenes kausales Videomodell. Die Grundbeobachtung ist, dass solche Modelle mit einem Clean-State-Cache bereits einen gemeinsamen Eingangspunkt für visuelle Information besitzen – ihre native Self-Attention. Externe Steuerungsinformation wird deshalb nicht in neue Pfade gelernt, sondern in genau dasselbe Format gebracht: saubere visuelle Zustände mit Kamera-, Zeit- und Gültigkeitslabels.

Vier Evidenzquellen, zwei Mechanismen

Vier komplementäre Quellen liefern je, was sie am zuverlässigsten beitragen können: die Quellvideo-Beobachtungen (Erscheinungsbild), tiefenbasierte Zielansicht-Projektionen (räumliche Führung), geometrische Renderings eines Subjekt-Avatars für neu exponierte Oberflächen (Vervollständigung) und ein rollenweiter Verlaufsspeicher für frühere Zustände jenseits des rollierenden Caches (Wiederbesuch).

Zwei Mechanismen sorgen dafür, dass das Modell die richtige Evidenz am richtigen Ort und in der richtigen Stärke liest:

Correspondence-guided attention routing (CGAR) kombiniert persistente Punktidentitäten mit Geometrie und schlägt die Entsprechung als Additiv im Attention-Score nieder:

$$\ell^{\text{corr}}{ij} = \frac{q_i^\top k_j}{\sqrt{d_h}} + \log \beta{ij}$$

Evidence-wise attention CFG (EWA) reguliert jeden Evidenzkanal unabhängig – und verstärkt dabei nur die komplementäre Richtung, indem die Projektion auf die native Antwort entfernt wird:

$$\tilde{o}e = o_e + g_e \max\bigl(0, \cos(o_e, o_0)\bigr)\bigl(o_e - \text{Proj}{o_0}(o_e)\bigr)$$

Das ist rechentechnisch elegant, weil EWA die Antworten desselben Denoising-Vorwärtsschritts wiederverwendet und damit keine zusätzlichen Network Function Evaluations kostet.

Die Ergebnisse

Instanziiert wird WiW auf dem öffentlich verfügbaren causal-fast-Checkpoint von LingBot-World 2.0, alle Parameter eingefroren. Auf kamerakontrolliertem Video-Rerendering über DAVIS und OpenVid-1M erreicht es einen VBench-Gesamtwert von 85,19 bei einem Translationsfehler von 0,069 und einem Rotationsfehler von 2,83 Grad, dazu PSNR 23,15, SSIM 0,787 und LPIPS 0,122. Über das Rerendering hinaus demonstrieren die Autoren Bullet-Time-Aufnahmen, Videostabilisierung, Videoschnitt sowie die Übergabe von K/V-Caches zwischen zwei Generierungsläufen desselben eingefrorenen Modells.

5. MaP-WAM: Gedächtnis als Plan, nicht als Bilderstrom

arXiv 2609.11561 – „Memory as Plans: World-Action Modeling with Memory-Grounded Planning" (Sizhe Zhao, Haozhe Xie, Weiyu Zhao, Chenchu Zhang, Huan Wang, Chenyang Wang, Qinglin Liu, Shengping Zhang – Harbin Institute of Technology, Nanyang Technological University, Shandong University)

Robotische Policies arbeiten meist unter der Markov-Annahme: die aktuelle Beobachtung oder ein fixes kurzes Fenster genügt. Viele reale Manipulationsaufgaben sind aber inhärent nicht-Markovsch – die für eine Entscheidung nötige Information ist im aktuellen Bild gar nicht mehr sichtbar.

Bisherige Gedächtnisformen haben je einen Haken: Sprachgedächtnis verdichtet die Historie zu knappen semantischen Zusammenfassungen, verliert aber feinkörnige visuelle Evidenz – in einer Vergleichsaufgabe („Swap T") erreicht die reine Sprachplan-Variante nur 14 % gegenüber 96 % des neuen Verfahrens. Wachsendes Fenster-Gedächtnis behält reichere visuelle Information, aber Latenz und GPU-Speicher wachsen mit der Kontextlänge; der kausale Vergleichsansatz läuft ab etwa 1.700 Frames in den Out-of-Memory-Fehler.

Die Idee: Planung und Ausführung trennen

MaP-WAM zerlegt gedächtnisabhängige Welt-Aktions-Modellierung in gedächtnisgestützte Planung und plangesteuerte Ausführung. Die Langzeithistorie wird als multimodaler episodischer Kontext gehalten – abgeschlossene Segmentanweisungen plus eine sparsame visuelle Stichprobe (acht Frames pro Segment) – und dient nur der Planung. Ein Sprachplaner sagt die nächste segmentweise Anweisung voraus, ein kausales Weltmodell erzeugt dazu die passende visuelle Führung.

Ausgeführt wird der Plan von einem World-Action-Progress (WAP)-Modell, das in einer Mixture-of-Transformers-Architektur zugleich künftige visuelle Dynamik, Aktionsblöcke und einen Fortschrittswert vorhersagt. Der Fortschritt ist hier erstmals eine eigenständige Modalität, nicht bloß ein nachgelagerter Prüf- oder Belohnungswert. Er hat zwei Funktionen: Er liefert eine explizite Zeitkoordinate, die visuell ähnliche, aber semantisch verschiedene Ausführungszustände unterscheidbar macht, und er steuert den Segmentübergang. Trainiert wird mit einer Conditional-Flow-Matching-Zielgröße über alle drei Zweige:

$$\mathcal{L}m = \mathcal{L}{\text{FM}}(y_m, c), \quad m \in {v, a, p}, \qquad \mathcal{L} = \lambda_v \mathcal{L}_v + \lambda_a \mathcal{L}_a + \lambda_p \mathcal{L}_p$$

Da der wahre Fortschritt zur Laufzeit unbekannt ist und sich Vorhersagefehler über lange Horizonte aufsummieren, wird er über Plan-Beobachtungs-Ausrichtung kalibriert: Aus den nahen Planframes wird derjenige gewählt, der der Beobachtung nach dem aktuellen Aktionsblock am ähnlichsten sieht, und als neuer Fortschrittsanker übernommen.

Die Ergebnisse

Auf RMBench, dem Simulationsbenchmark für langhorizontige, gedächtnisabhängige Manipulation, erreicht MaP-WAM mit 83,3 % die höchste Gesamterfolgsrate und übertrifft damit LingBot-VA (77,1 %), Mem-0 (42,0 %), π0.5 (10,4 %), X-VLA (9,8 %) und DP (5,8 %). Die schwierigen gedächtnisabhängigen Aufgaben werden fast gelöst: „Swap T" und „Press Button" je 96 %, „Cover Blocks" 100 %.

Aufgabe	Gedächtnistyp	Mem-0	LingBot-VA	MaP-WAM
Swap T	M(1)	14 %	88 %	96 %
Cover Blocks	M(n)	68 %	79 %	100 %
Press Button	M(n)	0 %	84 %	96 %
Gesamtdurchschnitt		42,0 %	77,1 %	83,3 %

Auf echten Robotern laufen die Experimente auf einem 7-DoF-Fränka-Research-3-Arm. In „Find Button" erreicht MaP-WAM 88 %, in „Press Buttons" 68 % – die Vergleichsbaseline scheitert an der anspruchsvolleren zweiten Aufgabe vollständig. Entscheidend dabei: Der Ausführungskontext bleibt konstant, die Inferenzlatenz des Executors liegt auch bei wachsender Aufgabenhistorie bei etwa 827 Millisekunden statt in den Speicherfehler zu laufen.

Ein Muster dieser Woche

So unterschiedlich die fünf Arbeiten sind, zwei rote Fäden ziehen sich hindurch. Der erste lautet: Nicht jede bestandene Prüfung ist ein Beweis. NSD zeigt, dass das Nachahmen einer perfekten Lösung schaden kann, weil sie die Selbstkorrektur verdrängt; GenV zeigt, dass ein bestandener Solver-Lauf nichts über die Treue der Übersetzung sagt; und MaP-WAM zeigt, dass ein Modell nicht die gesamte Videohistorie braucht, sondern nur den richtigen Plan daraus. In allen drei Fällen geht es darum, aus dem richtigen Signal zu lernen – nicht aus dem bequemsten.

Der zweite Faden ist der Verzicht auf Nachtraining: World in World erreicht flexible Kontrolle, indem es die native Self-Attention des eingefrorenen Modells als Schnittstelle nutzt, und Tiny Aya L2-Thinker belegt, dass sich eine Fähigkeit wie in-language Reasoning über eine kluge Datenmischung anbahnen lässt statt über sprachspezifisches Nachtrainieren. Die sparsamste Änderung gewinnt diese Woche erstaunlich oft.