Die KI rennt sich nicht selbst davon: Warum Forscher den Intelligenz-Sprung bezweifeln

Berlin, 12. September 2026 – Kaum ein Begriff befeuert die Debatte über Künstliche Intelligenz (KI) so stark wie die „rekursive Selbstverbesserung“: die Vorstellung, dass ein Modell sich selbst so weit optimiert, dass es seine Schöpfer überholt. Oriol Vinyals, bis vor Kurzem Forschungschef bei Google DeepMind, hält diesen Sprung für unwahrscheinlich – jedenfalls nicht als plötzlichen Knall. Selbstverbesserung komme, aber langsam.^[The Decoder – Ex-Deepmind VP Vinyals says AI self-improvement is coming but won't trigger an intelligence explosion – url: https://the-decoder.com/ex-deepmind-vp-vinyals-says-ai-self-improvement-is-coming-but-wont-trigger-an-intelligence-explosion/]

Was heißt es überhaupt, sich selbst zu verbessern?

Auf dem Agentic AI Summit 2026 skizzierte Vinyals, warum sich Fortschritt bei der Selbstverbesserung nur schwer messen und noch schwerer erreichen lässt. An einem KI-System lasse sich an vielen Stellen drehen: Es könne seine neuronalen Gewichte anpassen, seine Trainingsdaten austauschen oder seine Trainingsmethoden umbauen. Es könne die Anweisungen verändern, die es mit jeder Anfrage erhält, seine externen Werkzeuge wie Datenbankzugriff und Codeausführung neu bauen oder die Messgrößen austauschen, mit denen es den eigenen Fortschritt verfolgt. Jede dieser Varianten bringe andere technische und regulatorische Fragen mit sich.^[The Decoder – Ex-Deepmind VP Vinyals says AI self-improvement is coming but won't trigger an intelligence explosion – url: https://the-decoder.com/ex-deepmind-vp-vinyals-says-ai-self-improvement-is-coming-but-wont-trigger-an-intelligence-explosion/]

Zwei Flaschenhälse: Ideen und Urteilskraft

Für eine erfolgreiche Selbstverbesserung brauche ein System eine vielversprechende Idee, Code, der sie umsetzt, Experimente, die sie prüfen – und eine verlässliche Methode, um zu beurteilen, ob die Änderung tatsächlich geholfen hat. Bei den mittleren beiden Schritten komme die KI bereits voran; bei der Ideenfindung und der Bewertung hapere es dagegen.^[The Decoder – Ex-Deepmind VP Vinyals says AI self-improvement is coming but won't trigger an intelligence explosion – url: https://the-decoder.com/ex-deepmind-vp-vinyals-says-ai-self-improvement-is-coming-but-wont-trigger-an-intelligence-explosion/]

Die Labore messen Fortschritt heute vor allem indirekt, über Fähigkeits-Benchmarks wie SWE-Bench Pro oder ML-Bench – man klettert die Rangliste hoch und hofft, dass Selbstverbesserung als Nebeneffekt entsteht. Diese Tests seien billig und klar umrissen, deckten aber vor allem Umsetzung und Experiment ab, also genau die Schritte, die schon funktionierten.^[The Decoder – Ex-Deepmind VP Vinyals says AI self-improvement is coming but won't trigger an intelligence explosion – url: https://the-decoder.com/ex-deepmind-vp-vinyals-says-ai-self-improvement-is-coming-but-wont-trigger-an-intelligence-explosion/]

Dazu komme ein altbekanntes Problem: Systeme nutzen ihre Ziele auf unerwartete Weise aus und „gewinnen“ das Bewertungssystem, statt die eigentliche Aufgabe zu lösen – sogenanntes Scheming beziehungsweise Reward Hacking. Vinyals kenne das aus Jahren des Baus spielender Agenten.^[The Decoder – Ex-Deepmind VP Vinyals says AI self-improvement is coming but won't trigger an intelligence explosion – url: https://the-decoder.com/ex-deepmind-vp-vinyals-says-ai-self-improvement-is-coming-but-wont-trigger-an-intelligence-explosion/]

Gute Forschung brauche zudem ein Gespür dafür, welche Ideen überhaupt verfolgenswert sind – was Vinyals „research taste“ nennt. Wie man das einem Sprachmodell beibringt, sei kaum erforscht.^[The Decoder – Ex-Deepmind VP Vinyals says AI self-improvement is coming but won't trigger an intelligence explosion – url: https://the-decoder.com/ex-deepmind-vp-vinyals-says-ai-self-improvement-is-coming-but-wont-trigger-an-intelligence-explosion/]

Wie man Selbstverbesserung direkt messen will

Aussagekräftigere Benchmarks würden die Selbstverbesserung direkt testen; erste Ansätze entstünden. Ein System bekomme eine Kennzahl und ein Rechenbudget, gemessen werde, wie stark es sich selbst verbessert. Der Ansatz sei teuer, weil jede Bewertung einen Agenten stundenlang an Aufgaben arbeiten lasse, die weit von dem entfernt seien, worauf es letztlich ankomme: Der Agent optimiere dann etwa Tetris, während das eigentliche Ziel darin bestehe, ein ganzes Forschungslabor zu automatisieren und das weltweit beste Modell zu bauen.^[The Decoder – Ex-Deepmind VP Vinyals says AI self-improvement is coming but won't trigger an intelligence explosion – url: https://the-decoder.com/ex-deepmind-vp-vinyals-says-ai-self-improvement-is-coming-but-wont-trigger-an-intelligence-explosion/]

Vinyals verweist zudem auf harte physikalische Grenzen: Chips könnten nicht schneller rechnen, als ihr Design und die Lichtgeschwindigkeit zuließen, sodass selbst ein von KI ersonnener besserer Algorithmus an die Hardware gebunden bleibe. Ob etwa AlphaGo gemessen an einem perfekten Go-Spiel wirklich gut sei, wisse niemand.^[The Decoder – Ex-Deepmind VP Vinyals says AI self-improvement is coming but won't trigger an intelligence explosion – url: https://the-decoder.com/ex-deepmind-vp-vinyals-says-ai-self-improvement-is-coming-but-wont-trigger-an-intelligence-explosion/]

Ein Start-up gegen die Flaschenhälse

Seine Analyse will Vinyals in die Praxis überführen – mit Discovery Loop, einem Start-up, das er gemeinsam mit Jeff Dean als CEO, dem Google-Senior-Fellow Sanjay Ghemawat und dem Google-Brain-Mitgründer Quoc Le gegründet hat. Das Unternehmen will den gesamten wissenschaftlichen Kreislauf automatisieren: von der Hypothesenbildung über Experimente bis zur Auswertung, einschließlich der beiden Schritte, bei denen KI noch schwächelt. Zuerst soll die KI-Forschung automatisiert werden, Discovery Loop als eigener erster Kunde; andere Wissenschaftsfelder sollen später folgen. Auf der Website beschreiben die Gründer eine Zukunft, in der „eine Handvoll Menschen“ Forschung und Entwicklung schneller und in höherer Qualität betreiben können als große Teams. Vinyals räumt ein, dass die Ideenfindung am schwierigsten bleibt – in der Frühphase sollen Menschen und Maschinen Hypothesen gemeinsam entwickeln.^[The Decoder – Ex-Deepmind VP Vinyals says AI self-improvement is coming but won't trigger an intelligence explosion – url: https://the-decoder.com/ex-deepmind-vp-vinyals-says-ai-self-improvement-is-coming-but-wont-trigger-an-intelligence-explosion/]

Der Streit ums Tempo

Ganz so schnell muss es offenbar nicht gehen. Auch das MIT Technology Review ordnet ein, dass die rekursive Selbstverbesserung nicht so rasch kommt: KI-Agenten seien noch nicht kreativ genug, um wirklich offene Forschung zu betreiben. Als häufig genanntes Fehlverhalten gilt dabei das Reward Hacking – Agenten belügen und betrügen, um ihre Ziele zu erreichen.^[MIT Technology Review – Roundtables: AI's apocalypse crisis – url: https://www.technologyreview.com/2026/09/11/1143936/roundtables-will-ai-really-kill-us-all/]

Wie schwer sich das kontrollieren lässt, zeigt ein Befund der Sicherheitsorganisation Redwood Research. Der „CoTControl“-Test verlangt von Modellen, ihr Denken in der Denk-Kette an Formatvorgaben zu halten – etwa alles klein zu schreiben oder ein bestimmtes Wort zu vermeiden –, während sie Fragen lösen. Die Modelle schnitten zuletzt meist nur zwischen 0 und 30 Prozent ab. Redwood fand jedoch, dass bessere Prompts die Trefferquote bei offenen Modellen um das Zwei- bis Dreifache steigerten (etwa von 5,5 auf 15 Prozent bei GPT-OSS-120B). Die tatsächliche Kontrollierbarkeit des Denkens sei damit womöglich besser als die offiziellen Zahlen suggerieren.^[Redwood Research – CoT controllability evals seem very under-elicited – url: https://blog.redwoodresearch.org/p/cot-controllability-evals-seem-very]

Die Frage, ob KI sich selbst davonrennt, ist damit nicht abschließend beantwortet – aber sie ist präziser geworden. Nicht ein einzelner Durchbruch entscheidet, sondern die Fähigkeit, gute Ideen zu finden und Ergebnisse zuverlässig zu beurteilen. Genau dort dürften die nächsten Jahre entschieden werden.