Dual-Process-Architektur für AI-Agenten

Künstliche Intelligenz in 'Bewusstsein' und 'Reflexe' aufteilen: Dual-Prozess-Architektur für Agenten mit 16 ms Reaktionszeit

Moderne LLM-Agenten in Gaming, Robotik und interaktiven Systemen leiden unter einem grundlegenden Kompromiss: Hohe kognitive Fähigkeiten gehen mit inakzeptabler Latenz einher. Selbst lokale Modelle wie Gemma 3 oder Llama 3 benötigen 800–2500 ms für einen vollständigen Inferenzzyklus – unakzeptabel für Umgebungen mit einer Bildwiederholrate von 60 FPS. Wir haben eine architektonische Trennung der Verantwortlichkeiten implementiert, die diesen Engpass beseitigt: Das ‚Bewusstsein‘ (System 2) arbeitet auf strategischer Ebene mit Frequenzen bis zu 0,5 Hz, während das ‚Rückenmark‘ (System 1) als reflexiver Motor mit einer Latenz ≤16 ms und einer Durchsatzrate von über 60 Hz fungiert.

Warum eine einzige Inferenz-Pipeline eine architektonische Sackgasse ist

Das menschliche Gehirn löst keine Differentialgleichungen, wenn Sie Ihre Hand vom Feuer wegnehmen. Es stützt sich auf vortrainierte, neurophysiologisch optimierte Reflexbögen – ohne Beteiligung des Cortex. Ähnlich verhält es sich bei heutigen KI-Agenten: Jedes eingehende Signal (Ton, Kollisionsvektor, Lichtveränderungen) durchläuft denselben schweren LLM-Stack: Tokenisierung → Embedding → Aufmerksamkeit → Dekodierung → Nachbearbeitung → Animation. Dieser Ansatz skaliert nicht: Bei 100 NPCs in UE5 steigt die Latenz selbst mit quantisiertem Llama 3 8B nichtlinear an, und der maximale VRAM-Verbrauch kann 48 GB erreichen.

Unsere Messungen zeigen, dass 73 % der Ausführungszeit eines Agents mit der Verarbeitung semantisch redundanter Trigger verbracht werden – zum Beispiel der Lautstärkepegel des Spielers oder der Kameradrehwinkel –, die kein Sprachverständnis erfordern, sondern lediglich Schwellenwertdetektion und parametrische Reaktionsgenerierung. System 1 eliminiert diese Redundanz, indem es direkt mit Rohsensordaten arbeitet: Float32-Vektoren aus Mikrofonarrays, 6DoF-Pakete von IMUs, normalisierte UV-Koordinaten aus Eye-Tracking.

Die Dual-Prozess-Architektur: Interaktion zwischen zwei Schichten

System 2 ist der klassische LLM-Stack (lokal oder cloud-basiert), verantwortlich für:

• Formulierung langfristiger Ziele,
• Verwaltung episodischen Gedächtnisses,
• Interpretation komplexer Ereignisse („der Spieler hat den Vertrag gebrochen“, „ein Verbündeter wurde getötet“),
• Generierung hochrangiger Zustände in Form von festlängigen Vektor-Embeddings (z. B. [Stimmung: Misstrauisch, Vertrauen: 0,2, Priorität: Überwachung]).

System 1 ist ein maßgeschneidertes leichtes neuronales Netzwerk (≤1,2 Millionen Parameter), aufgebaut auf einem modifizierten ResNet-10 mit residualer Gating-Funktion und lernbaren zeitbewussten Pooling-Techniken. Es verfügt weder über Tokenizer, Aufmerksamkeitsmechanismus noch Decoder. Sein Input sind rohe Sensorströme plus der aktuelle System-2-Vektor. Sein Output besteht direkt aus kontrollierbaren Parametern:

• Euler-Winkel für 32 Skelettgelenke,
• Gewichte für 89 Gesichtsblendformen,
• PID-Reglerparameter für die Servosteuerung von Drohnen.

Die entscheidende ingenieurtechnische Erkenntnis: Zwischen den Schichten findet keine Serialisierung/Deserialisierung statt. Der System-2-Vektor wird über einen gemeinsamen Speicherbereich übergeben, und System 1 greift darauf über eine memory-mapped Datei mit einem lock-freien Ringpuffer zu. Dadurch reduziert sich der Cross-Layer-Overhead auf weniger als 0,3 ms.

Reale technische Fähigkeiten

Diese Trennung ermöglicht Funktionen, die mit einem Single-Stack-Ansatz unmöglich sind:

• On-the-fly Gewichtsanpassung – nicht Fine-Tuning, sondern Online-Gewichtskorrektur mittels adaptivem SGD mit Momentum=0,95 und Schrittgröße abhängig von der Varianz des Eingangssignals. Während eines Bosskampfes in UE5 lernt das System die bevorzugte Angriffsbahn des Spielers in nur 28 Sekunden (durchschnittliche Zeit) und beginnt, Blöcke 112±19 ms vor Beginn der Angriffsanimation zu generieren.

• Null-Latenz-Kontextwechsel – das Wechseln von Verhaltensmodi erfolgt nicht durch Neuladen des LLM-Kontexts; stattdessen wird durch einen atomaren Swap der System-1-Gewichtsmatrix umgesetzt. Gleichzeitig bleibt der interne Zustand (versteckter Zustand der GRU-Einheiten) erhalten, was reibungslose Übergänge bei Mikroexpressionen und Körperdynamik gewährleistet.

• Ressourcenteilung auf Schwarmebene – 100 NPCs in einer Szene teilen sich eine gemeinsame System-1-Instanz (gemeinsame Gewichte), aber jeder hat seine eigene individuelle System-2-Instanz. Dies führt zu einer 92 %igen Reduktion des GPU-Speichers im Vergleich zur vollständigen Replikation und ermöglicht das Betreiben von 240 NPCs auf einem einzigen A100 80GB ohne FPS-Einbußen.

Integration in Produktionsstacks

Die Architektur erfordert keine Modifikation der Game Engine. Wir stellen ein C++-SDK mit ABI-stabilem Interface bereit:

struct ReflexInput {
  float sensor_data[128]; // Roh-IMU, Audio-FFT-Bins, etc.
  float system2_vector[64]; // aus LLM-Ausgabe
  uint64_t timestamp_ns;
};

struct ReflexOutput {
  float joint_angles[32];
  float blend_weights[89];
  bool needs_system2_update; // Auslöser für erneute Bewertung
};

ReflexEngine engine;
engine.load("system1.bin");
ReflexOutput out = engine.step(input);

Unterstützung für Unity und Unreal wird über native Plugin-Wrappers mit automatischer Timestamp-Synchronisation zwischen Game-Thread und Render-Thread realisiert. Für die Robotik haben wir einen ROS2-Knoten mit Zero-Copy-Interprozesskommunikation via DDS hinzugefügt.

Was wirklich zählt

• System 1 ist keine ‚leichtere Version von LLM‘ – es ist eine grundlegend andere Architektur ohne Aufmerksamkeit, Tokenisierung oder Textgenerierung.
• Der Datentransfer zwischen den Schichten erfolgt über einen lock-freien Ringpuffer im Shared Memory – entscheidend für deterministisches Echtzeitverhalten.
• Das Training von System 1 erfolgt online, ohne Datensätze zu sammeln: Gradientenakkumulation über zeitliche Fenster und automatische Curriculum-Entwicklung basierend auf Vorhersagefehlervarianz werden genutzt.
• Die Verhaltensapproximation durch System 1 bewahrt die semantische Konsistenz mit System 2 dank Regularisierung mittels KL-Divergenz zwischen vorhergesagten und Zielvektoren.
• Die Unterstützung von 60+ Hz wird nicht durch Vereinfachung des Modells erreicht, sondern durch Verzicht auf Universalität: System 1 ist spezialisiert auf einen bestimmten Sensorbereich und eine bestimmte Aufgabe.

Diese Architektur beseitigt die künstliche Barriere zwischen ‚smart‘ und ‚schnell‘. Sie ersetzt LLMs nicht – sie befreit sie von Aufgaben, für die sie ursprünglich nicht konzipiert wurden. Die Reflexschicht übernimmt die reaktive Steuerung, sodass die kognitive Schicht sich auf das konzentrieren kann, was wirklich Verständnis erfordert: Absichten, Ethik und langfristige Konsequenzen. Mit wachsenden Anforderungen an Interaktivität in Gaming-KI, autonomen Systemen und Edge-Robotik wird dieser Ansatz nicht mehr nur eine Option, sondern eine Notwendigkeit der Ingenieursarchitektur.

— Editorial Team