NVIDIA CUDA-Kerne durch KI um 38 % beschleunigt ohne menschliche Beteiligung

Cursors Multi-Agenten-System beschleunigt NVIDIA CUDA-Kernels um 38 % ohne menschliches Zutun

Cursors Multi-Agenten-KI-System hat autonom 235 CUDA-Kernels für die NVIDIA Blackwell B200-Architektur optimiert und einen durchschnittlichen Speedup von 38 % gegenüber der Baseline-Implementierung erzielt. Das Experiment lief drei Wochen und erforderte keine Entwicklerintervention – eine Aufgabe, die Kernel-Engineers typischerweise monatelang in Anspruch nimmt – wurde vollständig automatisch gelöst.

Multi-Agenten-Optimierungsarchitektur

Das Cursor-System nutzte zwei Agententypen: einen Planer und Executors. Der Planer verteilte Aufgaben unter den autonomen Executors, überwachte Performance-Metriken und balancierte die Workload in Echtzeit neu. Alle Koordination erfolgte über eine einzige Markdown-Datei mit Ausführungsregeln, Test-Szenarien und Interaktionsprotokollen.

Jeder Executor arbeitete unabhängig an seinem Teilbereich der Kernels und wendete Low-Level-Optimierungstechniken an:

• Manuelles Pipelining von Operationen
• Feinabstimmung des Datenladens über Speicherebenen (Register, Shared Memory, Global Memory)
• Auswahl optimaler Block- und Grid-Parameter
• Generierung von PTX (Parallel Thread Execution)-Code – NVIDIA's assembly-ähnlicher Zwischendarstellung

Dieser Ansatz umging die Einschränkungen traditioneller Compiler und wandte Heuristiken an, die nur GPU-Programmier-Experten vorbehalten sind.

Test- und Validierungsmethodik

Die optimierten Kernels wurden auf einem Cluster aus 27 NVIDIA B200 GPUs mit dem SOL-ExecBench-Benchmark validiert. Dieses Tool prüft nicht nur die rechnerische Korrektheit, sondern auch die physikalische Realisierbarkeit der Ergebnisse:

• Vergleich mit Referenzimplementierungen aus cuBLAS und anderen NVIDIA-Bibliotheken
• Bewertung der Nähe zur theoretischen Throughput-Grenze der B200
• Erkennung von „Cheating“-Versuchen – etwa falsche Caching-Nutzung oder Substitution von Eingabedaten

Wenn ein Ergebnis die physikalischen Kapazitäten der Architektur überschritt, wurde der Lauf als ungültig verworfen. Trotz der strengen Kriterien meisterte das System alle 235 Aufgaben in einem Durchgang ohne Wiederholungen.

Zwei Generierungsmodi: CUDA C++ und CuTe DSL

Das Experiment wurde in zwei Programmiermodi durchgeführt:

• CUDA C++ mit inline PTX: direkter Zugriff auf die ISA (Instruction Set Architecture) der GPU, ermöglicht Kontrolle über Register und Instruktionen auf Near-Assembly-Niveau.
• CuTe DSL: NVIDIA's neue domain-spezifische API für Tensor-Operationen und Optimierung auf Blackwell-Architekturen. Da CuTe kaum in KI-Modell-Trainingsdaten vorkommt, testete dieser Modus die Fähigkeit des Agents, aus offizieller Dokumentation „von Grund auf“ zu lernen.

Beide Modi bewährten sich hervorragend und bestätigten die Universalität von Cursors Ansatz zur Low-Level-Codegenerierung.

Durchbruch bei der GEMM-Optimierung

Besondere Aufmerksamkeit erregte der vollständig autonom generierte GEMM-Kernel (General Matrix Multiply). Diese fundamentale Lineare-Algebra-Operation bildet die Basis für fast alle Phasen des neuronalen Netzwerk-Trainings und der Inferenz.

Vergleichsergebnisse:

• Erreichte 86 % der Performance des Referenz-cuBLAS-Kernels
• Bei manchen kleinen Matrizen – 9 % Überlegenheit gegenüber cuBLAS
• cuBLAS ist, zur Referenz, jahrelang hand-optimiert vom NVIDIA-Team

Da GEMM ein „Flaschenhals“ in den meisten KI-Workloads darstellt, führen selbst moderate Speedups hier zu erheblichen Systemgewinnen.

Statistik und praktische Bedeutung

Die 38 %-Zahl ist der geometrische Mittelwert des Speedups über alle 235 Aufgaben im Vergleich zur Baseline mit einem einzelnen KI-Agent. Wichtige Details:

• In 149 von 235 Fällen (63 %) übertraf es diese Baseline
• Speedups variierten je Kernel-Typ: von 5 % bis über das 2-Fache
• Die größten Gewinne zeigten Kernels mit regulären Memory-Access-Mustern

Das ist bereits Cursors zweites erfolgreiches Projekt zur Kernel-Optimierung für Blackwell. Im Sommer 2025 schrieb das System seine eigene Training-MoE-Schicht (Mixture of Experts) von Grund auf neu und erreichte 1,5× End-to-End-Speedup.

Was zählt

• Multi-Agenten-Systeme können Monate manueller Arbeit von Kernel-Engineers ersetzen
• Automatische Optimierung erreicht 86 % des cuBLAS-Niveaus – den NVIDIA-Goldstandard
• Der Ansatz funktioniert mit traditionellem CUDA C++ und neuen DSLs wie CuTe
• 63 % der Kernels zeigten Verbesserungen gegenüber einem einzelnen KI-Agent
• Das Experiment belegt die Machbarkeit autonomer KI-Systeme im High-Performance-Computing

— Editorial Team