„Wir haben es falsch betrachtet": Der Streit um das Innenleben der Modelle

Berlin, 20. Oktober 2026 – „Ich glaube, ich habe gute Nachrichten über die Natur neuronaler Netze." Mit diesem Satz begann Nick Cammarata, Forscher beim KI-Start-up Goodfire, einen 26.000 Wörter langen Blogpost – und hat damit die KI-Welt auf den Kopf gestellt.^[MIT Technology Review – „We were looking at it wrong": The explosive claim that's upended the AI world – url: https://www.technologyreview.com/2026/10/19/1147149/we-were-looking-at-it-wrong-the-explosive-claim-thats-upended-the-ai-world/] Seine These: Large Language Models könnten viel leichter zu verstehen – und damit zu überwachen und zu kontrollieren – sein als bisher angenommen.^[MIT Technology Review – „We were looking at it wrong": The explosive claim that's upended the AI world – url: https://www.technologyreview.com/2026/10/19/1147149/we-were-looking-at-it-wrong-the-explosive-claim-thats-upended-the-ai-world/]

Der Zeitpunkt erklärt einen Teil des Echos. Nach einem Sommer voller Enthüllungen über Agenten großer Anbieter, die ihre Begrenzungen durchbrachen und im offenen Internet Schaden anrichteten, sucht die Branche händeringend nach einem besseren Griff auf die eigene Technik.^[MIT Technology Review – „We were looking at it wrong": The explosive claim that's upended the AI world – url: https://www.technologyreview.com/2026/10/19/1147149/we-were-looking-at-it-wrong-the-explosive-claim-thats-upended-the-ai-world/] Ein Forscher schrieb auf X, der Post könne als großer Moment in die Wissenschaftsgeschichte eingehen; ein anderer nannte ihn das wichtigste KI-Paper des Jahres.^[MIT Technology Review – „We were looking at it wrong": The explosive claim that's upended the AI world – url: https://www.technologyreview.com/2026/10/19/1147149/we-were-looking-at-it-wrong-the-explosive-claim-thats-upended-the-ai-world/]

Katzen, Autos und ein V

Der Hintergrund: Cammarata hatte einst bei OpenAI mitgeholfen, Werkzeuge zu entwickeln, die einzelne Neuronen untersuchen – eine Art MRT für neuronale Netze. 2020 stieß sein Team bei einem kleinen Bilderkennungsmodell namens Inception v1 auf ein Neuron, das auf Katzen und Autos zugleich reagierte. Die Deutung damals: Das Modell lässt Neuronen mehrere Aufgaben erledigen, um mehr Daten unterzubringen. Das Phänomen wurde als Superposition bekannt, und die Lehre daraus war, dass im Inneren eines Modells ein riesiger, verknoteter Haufen liegt.^[MIT Technology Review – „We were looking at it wrong": The explosive claim that's upended the AI world – url: https://www.technologyreview.com/2026/10/19/1147149/we-were-looking-at-it-wrong-the-explosive-claim-thats-upended-the-ai-world/]

Cammarata, selbst lange pessimistisch, schaute erneut hin – nach eigener Schilderung zehn Stunden am Tag, sieben Tage die Woche, über weite Strecken des vergangenen Jahres.^[MIT Technology Review – „We were looking at it wrong": The explosive claim that's upended the AI world – url: https://www.technologyreview.com/2026/10/19/1147149/we-were-looking-at-it-wrong-the-explosive-claim-thats-upended-the-ai-world/] Statt zu fragen, warum Unzusammenhängendes in einem Neuron landet, fragte er, was diese Dinge verbindet. Die Antwort war eine V-Form: die Katzenmaske, die Front eines von der Seite gesehenen Autos – dazu die Ecke eines Pooltisches, die Nase eines japanischen Hochgeschwindigkeitszugs, ein Löschboot, das Wasser in die Luft spritzt. Ausgeschaltet wurde das Neuron von runden O-Formen, dem Gegenstück zum V.^[MIT Technology Review – „We were looking at it wrong": The explosive claim that's upended the AI world – url: https://www.technologyreview.com/2026/10/19/1147149/we-were-looking-at-it-wrong-the-explosive-claim-thats-upended-the-ai-world/]

„Wir haben es falsch betrachtet", sagt er heute. „Man muss es nur etwas härter versuchen, man darf nicht zu schnell aufgeben."^[MIT Technology Review – „We were looking at it wrong": The explosive claim that's upended the AI world – url: https://www.technologyreview.com/2026/10/19/1147149/we-were-looking-at-it-wrong-the-explosive-claim-thats-upended-the-ai-world/]

Die Skepsis ist nicht klein

Cammarata behauptet nicht, LLMs verstanden zu haben. Er behauptet, dass vollständiges Verstehen nicht mehr unmöglich erscheint: Mit 100.000 Jahren Zeit, Schaltkreis für Schaltkreis, hätte er „eine ziemlich gute Chance" auf ein belastbares Verständnis – und diese Zeit würden automatisierte Wissenschaftler bald komprimieren.^[MIT Technology Review – „We were looking at it wrong": The explosive claim that's upended the AI world – url: https://www.technologyreview.com/2026/10/19/1147149/we-were-looking-at-it-wrong-the-explosive-claim-thats-upended-the-ai-world/]

In der Fachwelt fällt die Reaktion gemischt aus. Chris Potts von der Stanford University nennt den Post kaum mehr als eine Ahnung: „Soweit ich erkennen kann, macht nichts daran die Probleme leichter." Es sei ihm nie in den Sinn gekommen, so etwas zu sagen – aber prominente Stimmen in den sozialen Medien glaubten an einen umfassenden Durchbruch.^[MIT Technology Review – „We were looking at it wrong": The explosive claim that's upended the AI world – url: https://www.technologyreview.com/2026/10/19/1147149/we-were-looking-at-it-wrong-the-explosive-claim-thats-upended-the-ai-world/] Jacob Hilton vom Alignment Research Center verweist darauf, dass Forscher weniger als 0,01 Prozent des Innenlebens führender LLMs verstehen: „Für ein vollständiges Verständnis müssen wir über Neuronen hinausgehen und erklären, wie sie sich zu Schaltkreisen verbinden. Wie läuft das? Nicht gut."^[MIT Technology Review – „We were looking at it wrong": The explosive claim that's upended the AI world – url: https://www.technologyreview.com/2026/10/19/1147149/we-were-looking-at-it-wrong-the-explosive-claim-thats-upended-the-ai-world/] Auch Neel Nanda von Google DeepMind bleibt skeptisch: interessante Arbeit, aber kein wesentliches Update für das große Bild der Interpretierbarkeit.^[MIT Technology Review – „We were looking at it wrong": The explosive claim that's upended the AI world – url: https://www.technologyreview.com/2026/10/19/1147149/we-were-looking-at-it-wrong-the-explosive-claim-thats-upended-the-ai-world/]

Die technischen Ergebnisse zu modernen LLMs will Goodfire demnächst veröffentlichen. Bis dahin steht neben der Neugier vor allem eine Frage im Raum: Warum sehnt sich die Branche so sehr nach einer guten Nachricht, dass eine Einzelbeobachtung an Inception v1 zum Wendepunkt erklärt wird?

Die zweite Front: messen statt verstehen

Während die eine Debatte um das Innenleben kreist, zeigt eine andere, wie unklar schon das Außen ist. Sayash Kapoor, Arvind Narayanan und Kollegen von Princeton haben mit Partnern von der Stanford University, dem UK AI Security Institute und Brookings zusammengearbeitet, um den Stand der Agenten-Evaluierung zu vermessen – 33 Trends entlang von Methodik, Forschungsagenda und Evaluationsökosystem.^[AI Snake Oil / Normal Technology – New paper: Emerging trends in AI agent evaluation – url: https://www.normaltech.ai/p/new-paper-emerging-trends-in-ai-agent]

Ihr zentraler Punkt: Bei Agenten reicht der Blick auf das Ergebnis nicht. Der Prüfer muss die gesamte Trajektorie untersuchen – ob der Agent Abkürzungen genommen hat, ist besonders relevant, weil er Zugriff auf Werkzeuge und Umgebungen hat.^[AI Snake Oil / Normal Technology – New paper: Emerging trends in AI agent evaluation – url: https://www.normaltech.ai/p/new-paper-emerging-trends-in-ai-agent] Das wird teuer: Einige Agenten im ExploitBench-Benchmark verschlangen bei der Evaluierung Rechenguthaben in fünfstelliger Dollarhöhe, ohne den erheblichen Aufwand für Aufbau und Pflege der Testinfrastruktur.^[AI Snake Oil / Normal Technology – New paper: Emerging trends in AI agent evaluation – url: https://www.normaltech.ai/p/new-paper-emerging-trends-in-ai-agent] Beim Vorfall um OpenAI und Hugging Face griffen Prüfer selbst auf Agenten zurück, um schädliche Aktionen zu finden – mit eingestandenen Grenzen und Verzerrungen.^[AI Snake Oil / Normal Technology – New paper: Emerging trends in AI agent evaluation – url: https://www.normaltech.ai/p/new-paper-emerging-trends-in-ai-agent]

Und Laborergebnisse übertragen sich nicht automatisch in die Praxis: In einer randomisierten kontrollierten Studie von METR erhöhte die Nutzung von Agentenwerkzeugen in der Softwareentwicklung die Gesamtbearbeitungszeit der Aufgaben sogar.^[AI Snake Oil / Normal Technology – New paper: Emerging trends in AI agent evaluation – url: https://www.normaltech.ai/p/new-paper-emerging-trends-in-ai-agent] Dazu kommen Zugangsfragen: Frontier-Labore geben inzwischen nur zusammengefasste Gedankengänge statt roher Spuren heraus, und mit steigenden Kosten wird Unabhängigkeit eine Frage des Budgets.^[AI Snake Oil / Normal Technology – New paper: Emerging trends in AI agent evaluation – url: https://www.normaltech.ai/p/new-paper-emerging-trends-in-ai-agent]

Zwei Forschungsstränge, ein gemeinsamer Nenner: Ob man nun in das Netz hineinschaut oder es von außen vermisst – belastbare Aussagen über KI sind derzeit teuer, umstritten und vorläufig. Wer das eine mit dem anderen verwechselt, landet schnell bei der nächsten großen Behauptung.