CUDA jádra NVIDIA zrychlena AI o 38 % bez lidského zásahu

Mnohoagentní systém Cursor zrychlil CUDA jádra NVIDIA o 38 % bez lidského zásahu

Mnohoagentní AI systém Cursor autonomně optimalizoval 235 CUDA jader pro architekturu NVIDIA Blackwell B200 a dosáhl průměrného zrychlení o 38 % oproti základní implementaci. Experiment trval tři týdny a nevyžadoval zásah vývojářů – úloha, na kterou kernelovým inženýrům obvykle stačí měsíce, byla vyřešena plně automaticky.

Architektura mnohoagentní optimalizace

Systém Cursor využil dva typy agentů: plánovač a vykonavatelé. Plánovač rozděloval úlohy mezi autonomními vykonavateli, sledoval metriky výkonu a v reálném čase přebalancoval zátěž. Celá koordinace probíhala prostřednictvím jediného markdown souboru obsahujícího pravidla provádění, testovací scénáře a protokol interakce.

Každý vykonavatel pracoval nezávisle na svém podmnoženině jader a aplikoval metody nízkourovňové optimalizace:

• Ruční vektorizace operací
• Jemné ladění načítání dat přes úrovně paměti (registry, shared memory, global memory)
• Výběr optimálních parametrů bloků a mřížek
• Generování kódu v PTX (Parallel Thread Execution) – assemblerově podobném intermediálním reprezentu NVIDIA

Tento přístup umožnil obejít omezení tradičních kompilátorů a aplikovat cliffordovy heuristiky dostupné pouze expertům v oblasti GPU programování.

Metodologie testování a validace

Optimalizovaná jádra procházela validací na clusteru z 27 GPU NVIDIA B200 s použitím benchmarku SOL-ExecBench. Tento nástroj kontroluje nejen správnost výpočtů, ale i fyzickou realizovatelnost výsledků:

• Porovnání s referenčními implementacemi z cuBLAS a dalších knihoven NVIDIA
• Hodnocení blízkosti k teoretickému limitu propustnosti B200
• Detekce pokusů o „podvod“ – například nesprávné použití cachování nebo podměny vstupních dat

Pokud výsledek překročil fyzické možnosti architektury, běh byl odmítnut jako neplatný. Navzdory přísným kritériím systém úspěšně dokončil všech 235 úloh v jednom cyklu bez opakovaných pokusů.

Dva režimy generování: CUDA C++ a CuTe DSL

Experiment probíhal ve dvou režimech programování:

• CUDA C++ s vestavěným PTX: přímý přístup k ISA (Instruction Set Architecture) GPU, což umožňuje řídit registry a instrukce na úrovni blízké assembleru.
• CuTe DSL: nové doménově orientované API od NVIDIA zaměřené na tenzorové operace a optimalizaci pro architektury Blackwell. Protože CuTe je v tréninkových datech AI modelů téměř absentní, tento režim testoval schopnost agenta učit se z oficiální dokumentace „od nuly“.

Oba režimy prokázaly vysokou efektivitu, což potvrzuje univerzálnost přístupu Cursor k nízkourovňové generaci kódu.

Průlom v GEMM optimalizaci

Zvláštní pozornost přitáhlo GEMM jádro (General Matrix Multiply), které systém vygeneroval plně autonomně. Jedná se o fundamentální operaci lineární algebry, která tvoří základ téměř všech fází tréninku a inferenční neuronových sítí.

Výsledky porovnání:

• Dosaženo 86 % výkonu referenčního jádra z cuBLAS
• U některých malých matic – převaha o 9 % nad cuBLAS
• cuBLAS, připomeňme, optimalizuje tým NVIDIA ručně roky

Vzhledem k tomu, že GEMM je „úzkým hrdlem“ ve většině AI workloadů, i skromné zrychlení zde přináší významný nárůst na úrovni celého systému.

Statistiky a praktický význam

Číslo 38 % představuje geometrický průměr zrychlení napříč všemi 235 úlohami oproti baseline získané pomocí jednoho AI agenta. Nicméně je důležité chápat detaily:

• V 149 z 235 případů (63 %) se podařilo překonat tuto základnu
• Zrychlení se lišilo podle typu jádra: od 5 % do více než 2×
• Největší efekt byl pozorován u jader s pravidelnou strukturou přístupu k paměti

Jedná se už o druhý úspěšný projekt Cursor v oblasti kernelové optimalizace pro Blackwell. V létě 2025 systém přepsal MoE vrstvu (Mixture of Experts) vlastního tréninku od nuly a dosáhl 1,5× end-to-end zrychlení.

Co je důležité

• Mnohoagentní systém může nahradit měsíce ruční práce kernelových inženýrů
• Automatická optimalizace dosahuje 86 % úrovně cuBLAS – referenčního standardu od NVIDIA
• Přístup funguje jak s tradičním CUDA C++, tak s novými DSL jako CuTe
• 63 % jader ukázalo zlepšení oproti jednomu AI agentovi
• Experiment potvrzuje životaschopnost autonomních AI systémů ve výpočetní technice s vysokým výkonem

— Editorial Team