Selbstverbessernde KI: Führende Forscher warnen vor der Intelligenz-Explosion

Berlin, 29. September 2026 – Es ist eine Warnung aus dem Inneren der Branche: Mehr als 20 führende KI-Forscher – unter ihnen die Nobelpreisträger Geoffrey Hinton und Yoshua Bengio sowie OpenAIs Forschungsleiter Jakub Pachocki – warnen in einem neuen Papier vor einer möglichen „Intelligenz-Explosion", angetrieben von selbstverbessernder Künstlicher Intelligenz.^[The Decoder – More than 20 leading AI researchers warn that automated AI research poses extreme risks – url: https://the-decoder.com/more-than-20-leading-ai-researchers-warn-that-automated-ai-research-poses-extreme-risks/]

Jahre, die zu Monaten werden

„Obwohl weiterhin viel Unsicherheit besteht, könnte die Automatisierung der KI-Forschung und -Entwicklung schon bald eine auslösen", schreiben die Forschenden.^[The Decoder – More than 20 leading AI researchers warn that automated AI research poses extreme risks – url: https://the-decoder.com/more-than-20-leading-ai-researchers-warn-that-automated-ai-research-poses-extreme-risks/] Nach Darstellung der Untersuchung schreiben KI-Systeme bei den Unternehmen, die sie bauen, bereits den größten Teil des Codes und könnten die gesamte Kette der KI-Forschung innerhalb weniger Jahre selbst übernehmen.^[The Decoder – More than 20 leading AI researchers warn that automated AI research poses extreme risks – url: https://the-decoder.com/more-than-20-leading-ai-researchers-warn-that-automated-ai-research-poses-extreme-risks/] Fortschritt, der normalerweise Jahre dauert, könnte sich dann in Monaten vollziehen.^[The Decoder – More than 20 leading AI researchers warn that automated AI research poses extreme risks – url: https://the-decoder.com/more-than-20-leading-ai-researchers-warn-that-automated-ai-research-poses-extreme-risks/]

Die Autorinnen und Autoren zeichnen ein Dreifach-Risiko: Die Gesellschaft könnte mit dem Tempo nicht Schritt halten, die Kontrolle über superintelligente Systeme könnte entgleiten, und die Machtbalance zwischen Staaten, Konzernen und Regierungen könnte erodieren.^[The Decoder – More than 20 leading AI researchers warn that automated AI research poses extreme risks – url: https://the-decoder.com/more-than-20-leading-ai-researchers-warn-that-automated-ai-research-poses-extreme-risks/] Sie fordern die Politik auf, weit mehr Einblick darin zu gewinnen, wie KI-Forschung automatisiert wird.^[The Decoder – More than 20 leading AI researchers warn that automated AI research poses extreme risks – url: https://the-decoder.com/more-than-20-leading-ai-researchers-warn-that-automated-ai-research-poses-extreme-risks/]

Das Papier reiht sich in eine wachsende Zahl von Warnungen ein: 42 führende Mathematiker hätten zuletzt mehr Aufmerksamkeit für existenzielle KI-Risiken gefordert, mehrere Beschäftigte von KI-Laboren hätten die Sorge geäußert, KI könne die Menschheit zerstören, und Pachocki selbst habe gesagt, kein Labor habe die Alignment-Frage gut genug gelöst, „um viel länger mit maximaler Geschwindigkeit weiter skalieren zu können".^[The Decoder – More than 20 leading AI researchers warn that automated AI research poses extreme risks – url: https://the-decoder.com/more-than-20-leading-ai-researchers-warn-that-automated-ai-research-poses-extreme-risks/]

Der Streitfall aus dem Bio-Labor

Wie umstritten ist, was als „Fortschritt" zählt, zeigt ein zweiter Fall. Das Magazin MIT Technology Review berichtet über die Ankündigung von Anthropic, bereits Anfang des Jahres ein molekularbiologisches Labor gestartet zu haben, in dem Claude-Agenten schwierige Biologie-Probleme lesen und Vermutungen anstellen, während menschliche Forscher die Experimente dazu ausführen.^[MIT Technology Review – When can we say AI made a scientific discovery? – url: https://www.technologyreview.com/2026/09/28/1145230/when-can-we-say-ai-made-a-scientific-discovery/]

Das System aus 950 Agenten habe nach 21 Stunden keine völlig neue Sequenz gefunden, sondern ein wiederkehrendes Muster rund um ein bekanntes Enzym markiert – ein Muster, das laut Anthropic bislang nicht katalogisiert gewesen sei.^[MIT Technology Review – When can we say AI made a scientific discovery? – url: https://www.technologyreview.com/2026/09/28/1145230/when-can-we-say-ai-made-a-scientific-discovery/] In der Ankündigung heißt es, das Muster erinnere an das, was einst zur Gentechnik CRISPR geführt habe.^[MIT Technology Review – When can we say AI made a scientific discovery? – url: https://www.technologyreview.com/2026/09/28/1145230/when-can-we-say-ai-made-a-scientific-discovery/]

Genau das erzürnte Biologen. Ein viel beachteter Beitrag eines Forschers, dem sich laut MIT Technology Review auch der Vorstandschef des Pharmakonzerns Eli Lilly anschloss, hält dagegen: „Einen seltsamen Gencluster und Wiederholungen zu finden, ist oft der leichte Teil. Der schwierige Teil – und die eigentlichen Entdeckungen – besteht darin, herauszufinden, was das System tatsächlich tut."^[MIT Technology Review – When can we say AI made a scientific discovery? – url: https://www.technologyreview.com/2026/09/28/1145230/when-can-we-say-ai-made-a-scientific-discovery/] Der Biologe Mario Rodríguez Mestre von der Universität Kopenhagen erklärte zudem, sein Team habe dieses Muster bereits früher entdeckt; er stelle die Nutzung von Claude deshalb komplett ein, berichtet die New York Times.^[MIT Technology Review – When can we say AI made a scientific discovery? – url: https://www.technologyreview.com/2026/09/28/1145230/when-can-we-say-ai-made-a-scientific-discovery/]

Was für KI-Firmen auf dem Spiel steht

Die Debatte verweist auf ein tieferes Problem: KI-Unternehmen präsentierten ihre Systeme nicht einfach als Werkzeuge wie Mikroskope oder Supercomputer, sondern bestünden darauf, dass die Systeme selbst Entdeckungen machen.^[MIT Technology Review – When can we say AI made a scientific discovery? – url: https://www.technologyreview.com/2026/09/28/1145230/when-can-we-say-ai-made-a-scientific-discovery/] Sobald der Maßstab laute „Hat Claude etwas entdeckt?", gebe es nur noch zwei Antworten – Durchbruch oder Pleite.^[MIT Technology Review – When can we say AI made a scientific discovery? – url: https://www.technologyreview.com/2026/09/28/1145230/when-can-we-say-ai-made-a-scientific-discovery/] Der Biologe Lucas Harrington schlägt vor, die Messlatte hoch zu setzen, damit ein echter Durchbruch „von KI" auch wirklich als solcher erkennbar werde.^[MIT Technology Review – When can we say AI made a scientific discovery? – url: https://www.technologyreview.com/2026/09/28/1145230/when-can-we-say-ai-made-a-scientific-discovery/]

Zwischen Warnung und Werbung zeigt sich damit ein doppeltes Bild: Dieselbe Branche, die vor den Risiken einer sich selbst beschleunigenden Forschung warnt, konkurriert mit immer größeren Behauptungen über ihre Erfolge. Wie viel davon Substanz ist, entscheidet am Ende weniger die Demo als die Prüfung durch unabhängige Fachleute.