Cœurs NVIDIA CUDA accélérés par l'IA de 38 % sans intervention humaine

Le système multi-agents de Cursor accélère les noyaux NVIDIA CUDA de 38 % sans intervention humaine

Le système d'IA multi-agents de Cursor a optimisé de manière autonome 235 noyaux CUDA pour l'architecture NVIDIA Blackwell B200, obtenant un gain de performance moyen de 38 % par rapport à l'implémentation de base. L'expérience a duré trois semaines et n'a requis aucune intervention de développeur — une tâche qui prend généralement des mois aux ingénieurs de noyaux — a été résolue entièrement automatiquement.

Architecture d'optimisation multi-agents

Le système Cursor utilisait deux types d'agents : un planificateur et des exécuteurs. Le planificateur répartissait les tâches entre les exécuteurs autonomes, surveillait les métriques de performance et rééquilibrait la charge de travail en temps réel. Toute la coordination se faisait par l'intermédiaire d'un seul fichier markdown contenant les règles d'exécution, les scénarios de test et les protocoles d'interaction.

Chaque exécuteur travaillait indépendamment sur son sous-ensemble de noyaux, en appliquant des techniques d'optimisation de bas niveau :

• Pipelining manuel des opérations
• Affinage du chargement des données à travers les niveaux de mémoire (registres, mémoire partagée, mémoire globale)
• Sélection des paramètres optimaux de bloc et de grille
• Génération de code PTX (Parallel Thread Execution) — représentation intermédiaire de type assembleur de NVIDIA

Cette approche contournait les limitations des compilateurs traditionnels et appliquait des heuristiques accessibles uniquement aux experts en programmation GPU.

Méthodologie de test et de validation

Les noyaux optimisés ont subi une validation sur un cluster de 27 GPU NVIDIA B200 en utilisant le benchmark SOL-ExecBench. Cet outil vérifie non seulement la correction computationnelle mais aussi la réalisabilité physique des résultats :

• Comparaison avec les implémentations de référence de cuBLAS et d'autres bibliothèques NVIDIA
• Évaluation de la proximité de la limite théorique de débit du B200
• Détection des tentatives de « tricherie » — par exemple, utilisation incorrecte du cache ou substitution des données d'entrée

Si un résultat dépassait les capacités physiques de l'architecture, l'exécution était rejetée comme invalide. Malgré les critères stricts, le système a complété avec succès les 235 tâches en un seul cycle sans reprises.

Deux modes de génération : CUDA C++ et CuTe DSL

L'expérience a été menée en deux modes de programmation :

• CUDA C++ avec PTX inline : accès direct à l'ISA (Instruction Set Architecture) du GPU, permettant un contrôle des registres et instructions au niveau quasi-assembleur.
• CuTe DSL : nouvelle API spécifique au domaine de NVIDIA, axée sur les opérations tensorielles et l'optimisation pour les architectures Blackwell. Comme CuTe est à peine présent dans les données d'entraînement des modèles d'IA, ce mode testait la capacité de l'agent à apprendre à partir de la documentation officielle « de zéro ».

Les deux modes ont démontré une grande efficacité, confirmant l'universalité de l'approche de Cursor pour la génération de code de bas niveau.

Avancée majeure dans l'optimisation GEMM

Le noyau GEMM (General Matrix Multiply) généré entièrement de manière autonome par le système a attiré une attention particulière. Il s'agit d'une opération fondamentale d'algèbre linéaire sous-jacente à presque toutes les étapes de l'entraînement et de l'inférence des réseaux de neurones.

Résultats de comparaison :

• Atteint 86 % de la performance du noyau de référence cuBLAS
• Sur certaines petites matrices — 9 % de supériorité sur cuBLAS
• cuBLAS, pour référence, est optimisé manuellement par l'équipe NVIDIA sur des années

Étant donné que GEMM est un « goulot d'étranglement » dans la plupart des charges de travail IA, même des accélérations modestes ici procurent des gains significatifs au niveau système.

Statistiques et signification pratique

Le chiffre de 38 % représente la moyenne géométrique d'accélération sur l'ensemble des 235 tâches par rapport à la base obtenue avec un seul agent IA. Cependant, des détails clés importent :

• Dans 149 cas sur 235 (63 %), il a surpassé cette base
• Les accélérations variaient selon le type de noyau : de 5 % à plus de 2×
• Les plus grands gains ont été observés dans les noyaux avec des motifs d'accès à la mémoire réguliers

Ceci est déjà le deuxième projet réussi de Cursor en optimisation de noyaux pour Blackwell. À l'été 2025, le système a réécrit sa propre couche d'entraînement MoE (Mixture of Experts) de zéro, atteignant une accélération bout-en-bout de 1,5×.

Ce qui compte

• Les systèmes multi-agents peuvent remplacer des mois de travail manuel des ingénieurs de noyaux
• L'optimisation automatique atteint 86 % des niveaux cuBLAS — la référence d'or de NVIDIA
• L'approche fonctionne avec le CUDA C++ traditionnel et les nouveaux DSL comme CuTe
• 63 % des noyaux ont montré une amélioration par rapport à un seul agent IA
• L'expérience valide la viabilité des systèmes IA autonomes en calcul haute performance

— Editorial Team