Wenn Benchmarks lügen: Was ein KI-Feintuning fürs Griechische über die Grenzen von Genauigkeitswerten verrät

Berlin, 24. August 2026 – Zwei neue Preprints zeigen, wie unterschiedlich die KI-Forschung derzeit arbeitet: Das eine Team aus Athen fragt sich, warum Sprachmodelle nicht in der Sprache ihrer Nutzer denken – und stößt dabei auf ein grundsätzliches Problem mit Benchmark-Zahlen. Das andere Team aus China bringt virtuelle Menschen aus einem einzigen Handy-Video in die vierte Dimension.^[Thinking in a Low-Resource Language: What SFT Builds, What RL Fixes, What Accuracy Cannot See – url: https://huggingface.co/papers/2608.17744 ;; 4DAnyone: Create Anyone in 4D from a Casual Monocular Video – url: https://huggingface.co/papers/2608.20335]

Wenn der Genauigkeitswert zum Rauschen wird

Forschende von Sophea AI und KIEFER in Athen feintunten drei Mixture-of-Experts-Modelle von Alibaba, OpenAI und Nvidia (3,6 bis 4,0 Milliarden aktive Parameter) mit LoRA auf Griechisch – eine sogenannte Low-Resource-Sprache, für die es kaum Trainingsdaten gibt. Das Ergebnis ihrer Studie ist ernüchternd: Auf den Genauigkeits-Benchmarks passierte „fast nichts“, und selbst das war noch zu viel interpretiert. Denn ein bloßer Wechsel des Zufalls-Seeds – also exakt dasselbe Training, nur mit anderem Startwert – verschob den Score um 7,7 Prozentpunkte; ein von drei identisch konfigurierten Läufen brach sogar auf 68,7 Prozent ein. „Jeder Unterschied, den wir interpretiert hatten, war kleiner als das Rauschen“, schreiben die Autoren.^[Thinking in a Low-Resource Language: What SFT Builds, What RL Fixes, What Accuracy Cannot See – url: https://huggingface.co/papers/2608.17744]

Modelle denken nicht in der Sprache des Nutzers

Der eigentliche Befund liegt dort, wo ein einzelner Genauigkeitswert nichts sieht: Die Basismodelle dachten in keiner einzigen von 1.000 Reasoning-Spuren auf Griechisch – selbst wenn die Frage auf Griechisch gestellt wurde. Sie antworteten korrekt, aber ihr Denken lief auf Englisch: für den Nutzer unlesbar, unprüfbar, unkorrigierbar. Nach dem überwachten Feintuning (SFT) dachten rund 98 Prozent der Checkpoints in der Sprache der Frage, teilweise mit einem Drittel weniger Tokens. Was SFT nicht behebt, behebt Reinforcement Learning mit verifizierbaren Belohnungen: Formatfehler sanken von 24 auf 2,5 Prozent, Antwort-Leaks in den Denkkanal von 3,5 auf null. Zudem kostet Griechisch je Wort 2,3- bis 2,5-mal so viele Tokens wie Englisch – ein Kostenfaktor, den kein Benchmark ausweist. Die Autoren fordern deshalb, Modelle an sechs Verhaltensdimensionen zu messen statt an einem Score.^[Thinking in a Low-Resource Language: What SFT Builds, What RL Fixes, What Accuracy Cannot See – url: https://huggingface.co/papers/2608.17744]

4D-Menschen aus einem einzigen Video

Weniger kritisch, dafür spektakulär ist das zweite Paper: 4DAnyone von der Zhejiang-Universität und dem Unternehmen Robbyant rekonstruiert frei bewegliche 4D-Menschen aus einem einzigen, beiläufig aufgenommenen Video – ohne Kalibrierung, ohne bekannte Kameraparameter. Die Kernidee: Ein Diffusionsmodell erzeugt zunächst viele konsistente Ansichten der Person, aus denen dann ein 4D-Gaussian-Splatting-Modell entsteht, das sich aus jedem Blickwinkel betrachten lässt. Zwei Mechanismen lösen das Problem, dass herkömmliche Verfahren bei Dutzenden Zielansichten inkonsistent werden: „Reference Context Packing“ komprimiert die wachsende Zahl von Referenzansichten auf eine feste Kontextlänge, „Target Context Routing“ rotiert die Ansichtsgruppen während des Denoisings, damit globale Struktur ausgetauscht wird. Auf den Benchmarks DNA-Rendering und DyMVHumans übertrifft das System frühere Methoden.^[4DAnyone: Create Anyone in 4D from a Casual Monocular Video – url: https://huggingface.co/papers/2608.20335]

Messen und Verstehen rücken in den Mittelpunkt

Beide Arbeiten stehen für einen Trend in der KI-Forschung: weg von der reinen Score-Jagd, hin zu präziserem Verständnis. Die griechische Studie erinnert daran, dass ein Benchmark-Wert nur so viel wert ist wie das Wissen über das Rauschen dahinter – und dass Modelle in der Sprache der Menschen denken müssen, die sie nutzen. 4DAnyone zeigt zugleich, wie schnell sich die Generierungstechnik dem Alltag nähert: Virtuelle, frei bewegliche Menschen aus einem Handy-Video könnten bald in virtueller Realität, Spieleentwicklung und kreativen Werkzeugen ankommen. Hinweis: Beide Arbeiten sind Preprints und noch nicht abschließend begutachtet.