Das Chip-Bann-Paradoxon: Wie Sanktionen "Lean AI" geschaffen haben

Auf dem Papier schien die Strategie einwandfrei zu sein. Im Oktober 2022 und erneut Ende 2023 hat die US-Regierung China faktisch den Zugang zu hochmodernem Silizium verwehrt. Mit dem Exportverbot für Nvidias H100- und A100-GPUs wollte Washington Pekings Ambitionen im Bereich der künstlichen Intelligenz zunichte machen, indem es ihnen Rechenleistung entzog.

Die Theorie war einfach: Moderne KI ist eine Funktion roher Gewalt. Je mehr FLOPs (Floating Point Operations) eine Nation besitzt, desto intelligenter werden ihre Modelle. Leugne die FLOPs, leugne die Zukunft.

Drei Jahre später ging diese Strategie nach hinten los.

Anstatt die chinesische KI zu lähmen, führten die Sanktionen zu einem evolutionären Druck, dem das Silicon Valley nie ausgesetzt war. Während OpenAI und Google ihre Infrastruktur mit H100-Clustern mit 100.000 Einheiten erweiterten und Gigawatt Strom verbrauchten, um Probleme im reinen Maßstab zu lösen, waren chinesische Labore wie DeepSeek gezwungen, sie mit Mathematik zu lösen.

DeepSeek V4 erschien Anfang 2026. Das System stellt eine neue Art von „Lean AI“ dar, die algorithmische Eleganz nutzt, um die Hardware-Blockade vollständig zu umgehen, und sich damit deutlich von Standard-LLMs unterscheidet. Ironischerweise versprechen seine Effizienzinnovationen, insbesondere die „Engram“-Architektur, Argumentationsaufgaben auf Hardware auszuführen, die so zugänglich ist wie eine High-End-Consumer-Workstation.

Ziel der Blockade war es, die Industrie auszuhungern. Stattdessen brachte es den Ingenieuren das Fasten bei.

Die Optimierungsfalle

Um zu verstehen, warum DeepSeek V4 einen Paradigmenwechsel darstellt, muss man die „Lazy Era“ der westlichen KI (2023–2025) verstehen.

Im Westen war der Zugang zu Computern praktisch unbegrenzt. Wenn es einem Modell an Intelligenz mangelte, bestand die Lösung allgemein darin, es „größer zu machen“. Dies ist das Dogma des Skalierungsgesetzes: Eine erhöhte Parameteranzahl plus mehr Daten bedeuten eine erhöhte Intelligenz. Es funktioniert, ist aber ineffizient. Es ist das technische Äquivalent zum Einbau eines V12-Motors in einen Golfwagen, um die Beschleunigung zu verbessern.

China hatte diesen Luxus nicht. Da H100s auf dem Schwarzmarkt für 50.000 bis 120.000 US-Dollar gehandelt werden, was dem Doppelten oder Dreifachen des UVP entspricht, musste jede Gleitkommaoperation ihre Existenz rechtfertigen. Diese Knappheit zwang die Ingenieure dazu, die Ineffizienzen der Transformer-Architektur selbst zu untersuchen.

• Warum die gleichen Fakten immer wieder neu berechnen?
• Warum muss jeder Token auf jeden anderen Token achten?
• Warum sind neuronale Netze so instabil, dass sie massive Redundanz benötigen?

DeepSeek V4 beantwortet diese Fragen mit drei spezifischen Technologien: Engram, DSA und mHC.

1. Engramm: Die O(1)-Gedächtnisrevolution

Die radikalste Neuerung in V4 ist die Engram-Architektur, die in einem im Januar 2026 veröffentlichten Artikel vorgestellt wurde.

Standard-LLMs leiden unter einer Form der digitalen Amnesie. Auf die Frage nach der Hauptstadt Frankreichs „denkt“ GPT-4 darüber nach, indem es neuronale Gewichte verarbeitet und die Antwort bei jedem Inferenzdurchlauf effektiv neu ableitet. Dieser Prozess ist rechenintensiv.

Engram behandelt Wissen anders. Es trennt Denken (flüssige Intelligenz) von Fakten (kristallisiertes Gedächtnis). Es verlagert statisches Wissen in eine riesige, schreibgeschützte Nachschlagetabelle, die sich im System-RAM (dem Standard-DDR5-Speicher auf einem Motherboard) befindet, nicht im knappen GPU-VRAM.

In der Informatik ausgedrückt verändert dies die Komplexität des Wissensabrufs von einem tiefen neuronalen Durchgang zu einer O(1)-Suche.

$\text{Cost}_{\text{standard}} \propto N_{\text{layers}} \times N_{\text{params}}$

$\text{Cost}_{\text{engram}} \approx C$

Durch die Auslagerung einer Wissenstabelle mit 100 Milliarden Parametern in den CPU-RAM betreibt DeepSeek V4 riesige Kontextfenster mit einem Bruchteil des GPU-Speichers, den westliche Modelle benötigen. Die GPU kann sich auf das Denken konzentrieren, während sich die CPU um das Auswendiglernen kümmert. Diese Architektur umgeht gezielt den VRAM-Engpass sanktionierter Karten.

2. DSA: Sparse Attention Physics

Die zweite Säule ist DeepSeek Sparse Attention (DSA).

In einem Standardtransformator ist der „Aufmerksamkeitsmechanismus“ quadratisch ($O(n^2)$). Wenn sich die Länge des Eingabedokuments verdoppelt, vervierfacht sich der Rechenaufwand für seine Verarbeitung. Jedes Wort analysiert jedes andere Wort.

DSA verändert diese Physik. Dabei wird davon ausgegangen, dass für ein bestimmtes Wort die überwiegende Mehrheit der anderen Wörter im Dokument irrelevant ist. Durch die Implementierung einer dynamischen Sparsity-Maske reduziert DSA die Komplexität auf $O(n \cdot k)$, wobei $k$ eine kleine Konstante relevanter Token ist.

$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$

In DSA wird die $QK^T$-Matrix nie vollständig berechnet. Stattdessen sagen Top-K-Router voraus, welche Textblöcke relevant sind, und berechnen die Aufmerksamkeit nur für diese. Dadurch können DeepSeek-Modelle mehr als 128.000 Kontextfenster auf Hardware verarbeiten, die ein Standard-Llama-3-Modell derselben Größe nicht ausführen könnte.

3. mHC: Stabilisierung des Stapels

Das letzte Puzzleteil, das im Paper Manifold-Constrained Hyper-Connections (mHC) (Dezember 2025) detailliert beschrieben wird, löst das Stabilitätsproblem tiefer Netzwerke.

Je tiefer die Modelle werden (mehr Schichten), desto schlechter wird das durch sie hindurchgehende Signal, das entweder explodiert (unendlich wird) oder verschwindet (null wird). Westliche Labore lösen dieses Problem mit der „Layer-Normalisierung“, einer statistischen Brute-Force-Anpassung bei jedem Schritt.

mHC verfolgt einen geometrischen Ansatz. Es zwingt die Verbindungsmatrizen, auf einem mathematischen Objekt namens Birkhoff-Polytop (doppelt stochastische Matrizen) zu bleiben.

$\sum_{i} M_{ij} = 1, \quad \sum_{j} M_{ij} = 1$

Durch die mathematische Garantie, dass die Signalnorm erhalten bleibt, macht DeepSeek teure Normalisierungsschritte überflüssig. Dies ermöglicht viel tiefere, engere Netzwerke, die schneller trainieren und mit größerer Stabilität laufen.

Das darwinistische Preisschild

Um diese architektonische Divergenz vollständig zu verstehen, muss man sich die wirtschaftlichen Aspekte ansehen, die sie vorangetrieben haben.

Im Silicon Valley sind die Kosten einer „schlechten Idee“ gering. Wenn ein Ingenieur einen Schulungslauf durchführt, der 10 % ineffizient ist, werden die Kosten durch die massiven Risikokapitalzuschüsse, die der Branche zugrunde liegen, aufgefangen. Computing wird wie Wasser behandelt; es fließt frei.

In Shenzhen sind die Kosten einer „schlechten Idee“ existenziell. Da H100 auf dem grauen Markt über 100.000 US-Dollar kosten, ist eine Ineffizienz von 10 % kein Einzelposten; Es ist eine projektvernichtende Ausgabe. Diese überhöhten Rechenkosten fungierten als darwinistischer Filter. Nur der effizienteste Code überlebte.

Aufgeblähte Architekturen, träge Speicherverwaltung und redundante Berechnungen wurden mit brutaler Effizienz bekämpft. Das Ergebnis ist ein Software-Stack, der schlanker, leistungsfähiger und weitaus optimierter ist als seine westlichen Gegenstücke. Während US-Entwickler das Prompt-Engineering lernten, lernten chinesische Entwickler, die grundlegende Mathematik des Aufmerksamkeitsmechanismus neu zu schreiben, um ein einziges Gigabyte VRAM einzusparen.

Dieser wirtschaftliche Druck hat zu einer dauerhaften Divergenz geführt. Selbst wenn die Sanktionen morgen aufgehoben würden, würden chinesische Labore nicht zur „westlichen“ Art des Modellbaus zurückkehren. Sie haben einen besseren Weg gefunden.

Das Consumer-Hardware-Trugbild?

Auf GitHub und HuggingFace kursiert das Gerücht, dass DeepSeek V4 „auf zwei RTX 4090 läuft“. Ist diese Behauptung zutreffend?

Teilweise.

Die volle 671-Milliarden-Parameterdichte der V3-Architektur (die V4 voraussichtlich widerspiegeln oder übertreffen wird) würde fast 400 GB VRAM erfordern, um mit einer kommerziell realisierbaren Geschwindigkeit zu laufen, was für Consumer-Karten unmöglich ist (ein Paar 4090 hat 48 GB).

Die Engram-Architektur versucht jedoch, die Gleichung zu ändern. Da der Großteil des „Wissens“ in den System-RAM verlagert wird (wo ein Benutzer problemlos 256 GB DDR5 für weniger als 1.000 US-Dollar installieren kann), muss die GPU theoretisch nur den „Vernunftkern“ enthalten.

Das bedeutet, dass ein Forscher in Shenzen oder ein Bastler in Ohio mit einer High-End-Workstation ein Modell ausführen kann, das sich wie ein Riese mit Billionen Parametern verhält, allerdings mit höherer Latenz für die Suche nach Fakten. Es droht das Monopol des Rechenzentrums zu brechen. Benutzer benötigen keinen H100-Cluster mehr, um SOTA AI auszuführen; Sie benötigen lediglich erhebliche Mengen an billigem RAM und eine intelligente Architektur.

Die Parallele zur Autoindustrie

Die Geschichte wiederholt sich. In den 1970er Jahren war die US-Automobilindustrie süchtig nach Verdrängung. Große V8-Motoren erzeugten PS durch schiere Lautstärke. Als die Ölkrise ausbrach, wurde Detroit auf dem falschen Fuß erwischt.

Das ressourcenbeschränkte und besteuerte Japan hatte Jahrzehnte damit verbracht, den kleinen, effizienten Vierzylinder-Reihenmotor zu perfektionieren. Als Benzin teuer wurde, konkurrierte der Honda Civic nicht nur mit dem Ford Mustang; es dominierte den Markt.

US-KI ist der V8 der 1970er Jahre. Er ist kraftvoll, laut und unglaublich verschwenderisch. Chinesische KI ist der Civic der 1980er Jahre. Sie ist schlank, effizient und zunehmend in der Lage, die gleiche Aufgabe zu einem Bruchteil der Kosten zu erledigen.

Die US-Sanktionen sollten als Blockade wirken. Stattdessen fungierten sie als CO2-Steuer. Indem die US-Politik die Rechenleistung verteuerte, zwang sie einen Rivalen, die hybride Intelligenzmaschine zu erfinden. Jetzt, wo das Stromnetz unter dem Strombedarf westlicher Rechenzentren zu knicken beginnt, könnte sich die aus der Not geborene „Lean AI“ als die einzige Architektur erweisen, die wirklich skalierbar ist.

Quellen (5)

• dataconomy.com DeepSeek Reveals MODEL1 Architecture in GitHub Update
• arxiv.org Manifold-Constrained Hyper-Connections (mHC)
• rewire.it Engram - How DeepSeek Added a Second Brain to LLMs
• infoq.com DeepSeek V3.2 and Sparse Attention
• subhadipmitra.com DeepSeek mHC and Stability