Fünf KI-Papers: Selbstverbesserung ohne Daten, Physik als Code und Pretraining für unter 5.000 Dollar

Berlin, 31. August 2026 – Die heutige Ausgabe der kuratierten KI-Forschung auf Hugging Face umfasst 20 neue Arbeiten – und die Bandbreite ist ungewöhnlich groß: von der Frage, ob sich Sprachmodelle buchstäblich aus dem Nichts selbst verbessern können, über Physik als ausführbaren Code bis hin zu der Erkenntnis, dass man ein 2-Milliarden-Parameter-Modell auf einer handelsüblichen Grafikkarte für weniger als die Kosten eines Kleinwagens trainieren kann. Wir haben die Auswahl gesichtet und fünf Arbeiten herausgegriffen, die jeweils ein eigenes Forschungsgebiet an einem entscheidenden Punkt voranbringen: J-Zero von KAIST löst Selbstverbesserung in nicht-verifizierbaren Domänen – ein Feld, das bislang als unzugänglich galt. Code as Worlds von MirroS repräsentiert physische Umgebungen als ausführbaren Code und liefert damit skalierbare Physik-Supervision für visuelle Modelle. Puro-2B von der Tsinghua-Universität senkt die Einstiegshürde für Pretraining auf ein historisches Tief. LMSM der National University of Singapore überträgt das Sicherheitskonzept von Linux Security Modules auf LLM-Serving – und GeoNeXt zeigt, dass man mit einem Video-Generierungsmodell Geometrie schätzen kann, ohne Hunderttausende annotierte Bilder zu benötigen.

J-Zero: Selbstverbesserung ganz ohne Daten

Ein Team von KAIST AI hat mit J-Zero („Judge co-adaptation from Zero data") ein Rahmenwerk vorgelegt, das Selbstverbesserung von Sprachmodellen in beiden Welten ermöglicht: in verifizierbaren Domänen – wo Antworten objektiv prüfbar sind – und in nicht-verifizierbaren Domänen, in denen Qualität durch menschliche Präferenz definiert wird und es keine eindeutige richtige Antwort gibt. Der entscheidende Durchbruch ist die Ko-Evolution des Judges: Bisherige Ansätze nutzten einen eingefrorenen Bewerter, der die Verbesserung des Modells von oben deckelt, sobald der Solver die Unterscheidungen des Judges ausgeschöpft hat. J-Zero lässt Challenger, Solver und Judge gemeinsam lernen.^[J-Zero: Unified Challenger–Solver–Judge Co-Evolution from Zero Data – url: https://huggingface.co/papers/2608.26582]

Das Drei-Rollen-Spiel

Der Challenger erzeugt zunehmend schwierigere Aufgaben, der Solver lernt, sie zu lösen, und der Judge bewertet die Antworten. Die Herausforderung: Trainiert man den Judge im selben Kreislauf mit, droht Zirkularität – woher soll neues Präferenzwissen kommen? KAIST löst das über strukturelle Asymmetrien, die zwei Typen von Präferenzpaaren liefern:

1. Rollenasymmetrie: Die Antwort des Solvers ist per Konstruktion besser als die des Challengers, weil der Solver explizit darauf optimiert wird, die generierten Aufgaben gut zu beantworten – während der Challenger darauf trainiert wird, Aufgaben schwer zu machen, nicht gut zu beantworten.
2. Subtask-Amplifikation: Die zerlegte-und-wieder-zusammengesetzte Antwort des Solvers (Divide-and-Conquer) ist besser als seine Ein-Schuss-Antwort, weil das präzise Lösen von Teilaufgaben einfacher ist als das Lösen des Gesamtproblems.

Beide Paare werden über eine Bradley-Terry-Verlustfunktion trainiert. Formal lässt sich das adversarial spiel schreiben als:

min_θc L_C(θc; θs, ϕ) = −E[ r_C ],   max_θs R_S(θs; θc, ϕ) = E[ σ(J_ϕ(x, y)) ]

Ergebnisse

Über mindestens zehn Iterationen verbessert sich J-Zero kontinuierlich – Baselines degradieren bereits nach zwei. Auf verifizierbaren Domänen gewinnt es durchschnittlich 4,2 Punkte, auf nicht-verifizierbaren 8,0 Punkte. Die Analyse zeigt, dass die Ko-Evolution des Judges die entscheidende Komponente für die Nachhaltigkeit der Verbesserung ist.

Code as Worlds: Physik als ausführbarer Code

Physikalisches Verständnis verlangt mehr, als Ereignisse zu beschreiben – es verlangt die zugrunde liegenden Mechanismen zu rekonstruieren. Moderne Vision-Language-Modelle können Szenen benennen und Bewegungen erzählen, aber ihnen fehlen explizite Repräsentationen von Objektzuständen, physikalischen Parametern und Dynamik. Das Team von MirroS schlägt mit „Code as Worlds" einen grundlegend anderen Weg vor: die physische Welt als ausführbaren Code zu repräsentieren.^[Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning – url: https://huggingface.co/papers/2608.27549]

Vom Phänomen zum Mechanismus

Objekte und ihre Relationen werden kompositional organisiert, Zustände und Dynamik explizit als Code ausgedrückt. Aus multimodalen Beobachtungen – Natursprache oder echte Videos – konstruiert ein agentischer Entdeckungskreislauf diesen Code in einem Vorschlagen–Instanziieren–Ausführen–Rendern–Verifizieren-Loop. Der Ansatz ist von abduktivem Schließen inspiriert: Die Welt darzustellen ist ein inverses Problem, das durch iteratives Testen von Welt-Hypothesen gelöst wird.

propose → instantiate → execute → render → verify → revise

Physik-Supervision für VLMs

Als konkrete Anwendung nutzen die Autoren die verifizierten ausführbaren Welten als skalierbare physikalische Supervision, um Vision-Language-Modelle im quantitativen physikalischen Denken zu trainieren – etwa Geschwindigkeiten, Beschleunigungen und Abmessungen aus monokularen Videos abzuleiten. Das resultierende Modell Code-as-World-VL-9B übertrifft deutlich größere proprietäre Systeme wie Gemini-3.1-Flash auf dem QuantiPhy-Benchmark; die 27B-Variante übertrifft alle evaluierten Baselines.

Puro-2B: Pretraining für unter 5.090 Dollar

Sprachmodell-Pretraining galt lange als Synonym für prohibitive Kosten: Llama-3.2-3B zu reproduzieren kostet über 1,5 Millionen Dollar, SmolLM3-3B über 700.000 Dollar. Das PACMAN-Labor der Tsinghua-Universität hat mit Puro-2B eine vollständig offene Pretraining-Rezeptur vorgelegt, die auf Consumer-GPUs vom Typ RTX 5090 läuft und ein 2-Milliarden-Parameter-Modell für weniger als 6.900 Dollar – im besten Fall sogar unter 5.090 Dollar – trainiert.^[Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090 – url: https://huggingface.co/papers/2608.27370]

Die Zutaten

• FP8-Mixed-Precision-Training auf 8× RTX 5090 (22.514 aktive GPU-Stunden, 17,6 Tage)
• Hyperball-Optimierung – eine Lernraten-Strategie, die den Trainingraum effizienter durchläuft
• Curriculum Model Averaging (CMA) – Checkpoint-Mittelungen über Lernraten-Phasen
• Datenrezeptur mit proxy-basiertem Mixture-Design

Der Produktionslauf umfasst 1,4 Billionen geplante Tokens – deutlich mehr, als viele kleine Modelle sehen – und übertrifft Qwen2-1.5B im Durchschnitt von 15 Benchmarks (Mathematik, Code, Reasoning, Wissen) und nähert sich Qwen2.5-1.5B an.

Kosten-Skalierungsgesetz

Aus der Modellfamilie leiten die Autoren ein Puro Cost Scaling Law ab, das Trainingskosten mit durchschnittlicher Modellleistung verknüpft:

Score ≈ a · log(Cost) + b   →   4.400 $ genügen, um Qwen2-1.5B-Niveau zu erreichen

Damit liegt Puro-2B deutlich außerhalb der Kosten-Performance-Frontier anderer Modelle. Alle Artefakte – Daten, Code und 10 Checkpoints – sind unter Apache 2.0 veröffentlicht.

LMSM: LLM-Sicherheit nach dem Vorbild von Linux Security Modules

Die National University of Singapore hat mit LMSM (Language Model Security Modules) ein Sicherheitsrahmenwerk für LLM-Serving vorgelegt, das das bewährte Trennungsprinzip von Linux Security Modules auf KI-Systeme überträgt. Die Kernidee: Interpretierbarkeits-Methoden wie Sparse Autoencoder (SAE), Transcoder oder dichte Proben liefern nützliche interne Signale – aber jedes Artefakt bringt bislang seine eigene Kalibrierung, Policy-Logik und Interventions-Code mit. Das führt zu einem Flickenteppich aus Einzelwachen statt einer gemeinsamen Verteidigung.^[LMSM: LLM Security Framework Inspired by Linux Security Modules – url: https://huggingface.co/papers/2608.25697]

Drei stabile Schnittstellen

LMSM trennt die Sicherheitslogik in drei Komponenten:

1. Security Backend: liefert kalibrierte Evidenz aus Modell-internen Signalen
2. Versionierte Policy: wertet aktive Regeln über vertrauenswürdigen Request-Kontext aus
3. Enforcement Gate: autorisiert die Freigabe gepufferter Ausgaben

Diese Trennung erlaubt es, Backend, Regeln oder Zeitpläne auszutauschen, ohne die Request-Verarbeitung oder die Durchsetzung neu zu bauen.

Messbare Effekte

Auf Qwen3-4B reduziert LMSM-Checkpoint die HarmBench-Angriffs-Erfolgsrate von 39,20 % auf 3,32 %, während die False-Refusals nur von 2,40 % auf 4,40 % steigen – bei 98,14 % des Durchsatzes eines unüberwachten Serving-Pfads bei 32 aktiven Sequenzen. Mit allen 15 aktiven Regeln bleiben 96,89 % Durchsatz erhalten.

GeoNeXt: Video-Generatoren als Geometrie-Lerner

Tiefenschätzung und Oberflächennormalen-Schätzung aus einem einzelnen Bild sind klassische 3D-Vision-Probleme. Bisherige generative Ansätze nutzten Bild-Diffusionsmodelle, behandelten Geometrie als „spezielles Bild" und trainierten entweder getrennte Modelle pro Zielgröße – oder veränderten die Architektur so stark, dass riesige Datenmengen nötig wurden. Ein Team der University of Surrey und des Imperial College London schlägt mit GeoNeXt eine überraschend elegante Alternative vor: Nutze ein prätrainiertes Video-Generierungsmodell und formuliere Geometrie-Schätzung als Vorhersage des nächsten Frames.^[Video Generative Models as Geometry Learner – url: https://huggingface.co/papers/2608.28549]

Warum Video-Modelle?

Video-Diffusionsmodelle sind auf riesigen Video-Datensätzen trainiert und besitzen dadurch reichere generative Priors sowie temporal-attentive Strukturen, die sich für die gemeinsame Modellierung von Bild und Geometrie (Bild ↔ Geometrie) eignen. In GeoNeXt wird das RGB-Bild in die Geometrie-Slots (Tiefe und Normale) repliziert, und das Modell erzeugt Bild und Geometrie entlang einer gemeinsamen Denoising-Trajektorie – das erhält feine Details und sichert Bild-Geometrie-Konsistenz. Die Anpassung ist leichtgewichtig: Nur der Denoising-U-Net wird feingetunt, trainiert auf moderaten RGB-Tiefe-Normale-Tripeln aus Hypersim und Virtual KITTI.

Konkurrenzfähig zu 100-fach größerem Training

GeoNeXt übertrifft in Zero-Shot-Tiefen- und Normalen-Schätzung sowohl aufgabenspezifische als auch vereinheitlichte generative Konkurrenten – mit deutlich weniger Trainingsdaten. Bemerkenswert: Es erreicht das Niveau diskriminativer State-of-the-Art-Methoden, die mit über 100-fach mehr Daten trainiert wurden, und übertrifft sie auf mehreren Benchmarks sogar.

Was die fünf Arbeiten gemeinsam haben

So unterschiedlich die Domänen sind – Selbstverbesserung, Physik-Repräsentation, effizientes Pretraining, LLM-Sicherheit und Geometrie-Schätzung –, so deutlich ist der gemeinsame Trend: Fähigkeiten wachsen zunehmend außerhalb der Modellgewichte. J-Zero verbessert das Verhalten durch Ko-Evolution des Bewerters, Code as Worlds verlagert physikalisches Denken in ausführbaren Code, Puro-2B senkt die Kosten für Pretraining auf ein Niveau, das kleine Labore wieder mitspielen lässt, LMSM baut Sicherheit als modularen Service um das Modell herum – und GeoNeXt zeigt, dass bereits vorhandene generative Video-Priors für völlig neue Aufgaben nutzbar sind. Die nächsten großen Sprünge kommen damit nicht nur vom nächsten, größeren Checkpoint, sondern von den Strukturen, die wir um die Modelle herum bauen.