Die Reasoning-Revolution: KI "denkt" vor dem Sprechen

Wichtige Erkenntnisse

• Der Wandel: Die Branche ist in KI-Modellen vom „System 1“-Denken (schneller, intuitiver Mustervergleich) zum „System 2“-Denken (langsames, bewusstes Denken) übergegangen.
• Testzeitberechnung: Beim neuen Skalierungsgesetz geht es nicht mehr nur um die Trainingsdatengröße; Es geht darum, wie viel Rechenleistung das Modell während der Antwortgenerierung aufwendet.
• Die Spieler: OpenAIs o1 und Googles Gemini 1.5 Pro führen diesen Vorstoß an, allerdings mit grundlegend unterschiedlichen Architekturansätzen.

In den letzten fünf Jahren war das Rezept für eine bessere KI einfach: Machen Sie es größer.

Mehr Parameter, mehr Trainingsdaten, mehr GPUs. Dieser Brute-Force-Ansatz brachte GPT-4 und Claude 3 hervor. Doch im Jahr 2025 begannen die „Skalierungsgesetze“ (die mathematischen Kurven, die vorhersagten, wie viel intelligenter die KI mit mehr Daten werden würde) abzuflachen. Das Feld prallte gegen eine Wand. Die Modelle waren Halluzinationsmaschinen, hervorragend darin, selbstsicher zu klingen, aber schrecklich in der Logik.

Dann kam die „Reasoning Revolution“.

Es ging nicht darum, das Modell größer zu machen; Es ging darum, die Art und Weise zu ändern, wie es antwortet. Anstatt mit dem ersten statistisch wahrscheinlichen Token herauszuplatzen, wurden neue Modelle wie o1 von OpenAI und Gemini 1.5 Pro von Google darauf trainiert, innezuhalten, zu „denken“ (verborgene Gedankenketten zu generieren) und sich selbst zu korrigieren, bevor sie eine endgültige Antwort präsentieren.

Die Skalierungsgesetz-Klippe

Um zu verstehen, warum dieser Wandel jetzt stattfand, muss man sich die „Scaling Law Cliff“ von 2024 ansehen.

Ein Jahrzehnt lang galten die Kaplan-Skalierungsgesetze (benannt nach Jared Kaplans Artikel aus dem Jahr 2020): Leistung = (Datensatzgröße)^α * (Berechnen)^β. Wenn man die Daten und die GPUs verdoppelt, erhält man im Grunde einen vorhersehbaren Rückgang der Fehlerraten.

Ende 2024 begann sich diese Kurve abzuflachen.

• Datenknappheit: Bei den Trainingsläufen war kein qualitativ hochwertiges Internet verfügbar. Unternehmen hatten bereits Wikipedia, Reddit, arXiv und jedes existierende digitalisierte Buch gelöscht. Die verbleibenden Daten (synthetische Daten oder minderwertige soziale Medien) führten zu einem „Modellkollaps“, bei dem die auf KI-generiertem Slop trainierte KI dümmer wurde.
• Abnehmende Erträge: Es kostete 1 Milliarde US-Dollar, ein Modell zu trainieren, das nur 2 % besser war als die Vorgängerversion. Die Wirtschaft brach zusammen.

Die Branche befand sich in einer existenziellen Krise: Wenn Modelle nicht durch Vergrößerung intelligenter werden können, wie geht es dann weiter?

Die Antwort bestand darin, mit der Optimierung „vor dem Training“ aufzuhören (Wissen reinzustopfen) und stattdessen mit der Optimierung „nach dem Training“ zu beginnen (Überlegungen zu diesem Wissen). Es stellt sich heraus, dass kleine Modelle, die 10 Sekunden lang „denken“, große Modelle, die sofort antworten, übertreffen können.

Der technische Wandel: Vom Training zur Schlussfolgerung

Um zu verstehen, warum dies ein Durchbruch ist, muss man über Computing sprechen.

Vortraining vs. Inferenz

Traditionell fielen 99,9 % des Rechenaufwands während des Vortrainings (dem Unterrichten des Modells) an. Inferenz (Beantwortung Ihrer Frage) war günstig und schnell.

Die neuen „System 2“-Modelle drehen diese Logik um. Sie führen das Konzept des „Test-Time Compute“ ein.

• Alter Weg: Frage -> [Sofortige statistische Vermutung] -> Antwort
• Neuer Weg: Frage -> [Begründungsschritt 1] -> [Kritik] -> [Begründungsschritt 2] -> [Verifizierung] -> Antwort

o1 von OpenAI generiert beispielsweise Tausende interner „Gedanken“, um ein schwieriges mathematisches Problem zu lösen. Es könnte eine Annäherung versuchen, erkennen, dass es sich um eine Sackgasse handelt, einen Rückzieher machen und es noch einmal versuchen: alles, bevor es Ihnen ein einziges Wort zeigt. Dieser interne Monolog (Gedankenkette) ermöglicht es dem Modell, Probleme zu lösen, die Standard-LLMs überfordern.

In der Black Box: Wie „denkende“ Token funktionieren

Wenn Sie o1 eine Frage stellen, bleibt diese nicht einfach stumm da. Unter der Haube werden „Hidden Chain of Thought“ (CoT)-Token generiert.

1. Generation: Das Modell schlüsselt das Problem auf. „Schritt 1: Variablen definieren, um die Absicht des Benutzers zu verdeutlichen.“
2. Kritik: Es überprüft seinen eigenen Schritt. Das Modell kennzeichnet potenzielle Unklarheiten oder Unstimmigkeiten bei den Benutzerabsichten.
3. Verfeinerung: Der Schritt wird neu generiert. „Überarbeiteter Schritt 1: Verwenden Sie die asyncio-Bibliothek von Python.“

Diese Token sind vor dem Benutzer verborgen (hauptsächlich, um zu verhindern, dass Konkurrenten die Argumentationsdaten stehlen), es handelt sich jedoch um echte Berechnungen.

Entscheidend ist, dass Reinforcement Learning (RL) verwendet wird, um dieses Verhalten zu trainieren. Während des Trainings wird dem Modell eine schwierige mathematische Aufgabe gestellt. Wenn es die richtige Antwort gibt, wird die gesamte Gedankenkette, die dorthin geführt hat, belohnt. Wenn dies fehlschlägt, wird die Kette bestraft. Über Milliarden von Zyklen „lernt“ das Modell, welche Denkmuster (Aufschlüsselung von Problemen, Prüfung auf Randfälle) zu richtigen Antworten führen.

Fallstudien: o1 vs. Gemini 1.5 Pro

Während OpenAI den Hype um „Begründung“ in Gang setzte, spielt Google ein anderes Spiel mit massivem Kontext.

OpenAI o1: Der tiefe Denker

• Strategie: Reinforcement Learning for Reasoning. Das Modell wurde im Training speziell für die Generierung korrekter Gedankenketten belohnt.
• Stärke: Mathematik, Codierung und Logik. Es dominiert Benchmarks wie den AIME (Mathewettbewerb), weil es sich wie ein menschlicher Mathematiker verhält und seine Arbeit Schritt für Schritt überprüft.
• Schwäche: Es ist langsam. Diese „Denkzeit“ führt zu einer Latenz, die für einen Chatbot normalerweise nicht akzeptabel ist, für eine komplexe Codierungsaufgabe jedoch notwendig ist.

Google Gemini 1.5 Pro: Der Kontextkönig

• Strategie: Umfangreiches Kontextfenster (mehr als 2 Millionen Token) + kontextbezogenes Lernen.
• Stärke: Informationssynthese. Gemini 1.5 Pro „denkt“ nicht nur tief; es „liest“ weit. Es kann eine gesamte Codebasis, einen Film oder eine Bücherbibliothek in sein Kurzzeitgedächtnis laden und anhand dieser spezifischen Daten schlussfolgern.
• Die Nuance: Jüngste Untersuchungen zeigen, dass Zwillinge zwar hervorragende Fähigkeiten beim Abrufen und Synthetisieren haben, aber manchmal mit den „reinen Logik“-Rätseln zu kämpfen haben, die o1 löst, es sei denn, sie werden ausdrücklich dazu aufgefordert, Chain of Thought (CoT) zu verwenden.

Die Kosten des Denkens

Diese Revolution hat ihren Preis.

In der GPT-4-Ära war die Preisgestaltung einfach: Eingabe-Token (günstig) + Ausgabe-Token (teuer). Bei Reasoning-Modellen gibt es neue versteckte Kosten: Reasoning Tokens.

• Standard-Eingabeaufforderung: „Was ist die Hauptstadt von Frankreich?“ -> 5 Token-Ausgabe. Kosten: Mikro-Pennys.
• Begründungsaufforderung: „Planen Sie eine Logistikroute für 50 LKWs unter Vermeidung von Mautgebühren.“ -> Das Modell generiert möglicherweise 5.000 „denkende“ Token, um das Rätsel zu lösen, gibt aber nur 100 Token des endgültigen Plans aus.

Du bezahlst für das Denken. Dies verändert die Ökonomie der KI. Es macht einfache Aufgaben (Chatbots, Zusammenfassungen) teurer, wenn Sie das falsche Modell verwenden, aber es macht unmögliche Aufgaben (Codierung komplexer Apps, rechtliche Offenlegung) erstmals möglich.

Es gibt eine Zweiteilung im Markt:

1. Schnelle Modelle (GPT-4o mini, Gemini Flash): Günstige, sofortige „System 1“-Denker für UI-Interaktion.
2. Deep Models (o1, Claude 3.5 Opus): Teure, langsame „System 2“-Denker für hochwertige Arbeit.

Die 5-Minuten-Mauer durchbrechen

Warum ist Ihnen das wichtig?

Denn rein generative KI (Typ „System 1“) hatte eine Obergrenze. Es konnte nie völlig darauf vertraut werden, dass es Code schreibt oder medizinischen Rat gibt, weil es nicht wusste, wann es falsch war. Es war nur eine Vermutung.

Argumentationsmodelle schalten die 5-Minuten-Aufgabe (und schließlich die 5-Stunden-Aufgabe) frei.

• 2023: „Schreiben Sie eine Python-Funktion zur Berechnung von Fibonacci-Zahlen.“ (Erfolg)
• 2025: „Schreiben Sie ein Python-Backend für diese spezielle App-Architektur, prüfen Sie es auf Sicherheitslücken und schreiben Sie die Testsuite.“ (Möglich mit o1/Gemini)

Durch den höheren Rechenaufwand bei der Inferenzzeit geht der Kompromiss zwischen Geschwindigkeit und Zuverlässigkeit einher. Der Wandel vollzieht sich von einer KI, die auf Auswendiglernen beruht, hin zu einer KI, die auf Ableitung beruht.

Die Zukunft: Agenten-Workflows

Dies ist der Vorläufer echter Agenten. Ein Agent, der eine Aktion ausführt (z. B. im Internet surfen oder eine Datei schreiben), muss über die Konsequenz dieser Aktion nachdenken, bevor er sie ausführt.

Standard-LLMs waren dafür zu impulsiv. Sie würden eine Datei löschen, weil die Wahrscheinlichkeitsverteilung dies vorsehe. Argumentationsmodelle mit ihrer Fähigkeit zu „denken“ und sich selbst zu korrigieren, sind die fehlenden Gehirnzellen, die für sichere, autonome Agenten benötigt werden, die stundenlang ohne Aufsicht arbeiten können.

Das Ergebnis sind nicht nur bessere Chatbots. Es sind digitale Mitarbeiter, die tatsächlich denken, bevor sie sprechen.

Quellen (3)

• openai.com OpenAI o1 System Card
• blog.google Google DeepMind: Gemini 1.5 Pro Technical Report
• arxiv.org Chain-of-Thought Prompting Elicits Reasoning in Large Language Models