# Andrey Karpathy : Comment les agents IA révolutionnent le développement — et pourquoi ce n’est que le début
Depuis décembre 2023, Andrey Karpathy — ancien directeur IA de Tesla et cofondateur d’OpenAI — n’écrit presque plus de code à la main. À la place, il délègue les tâches à des agents autonomes, remodelant en profondeur le développement logiciel. Ce changement passe souvent inaperçu, mais il définit déjà l’avenir du secteur informatique.
Changement de paradigme : Des lignes de code aux fonctionnalités complètes
Le vrai tournant n’est pas tant les agents eux-mêmes, mais la nouvelle unité de travail. Les développeurs pensaient autrefois en lignes de code et en fonctions. Désormais, ce sont des fonctionnalités entières : « Voici un bloc de fonctionnalité — confiez-le au premier agent ; voici un autre indépendant — donnez-le au second. » Au lieu de peaufiner des lignes individuelles, les développeurs passent les tâches à plusieurs agents qui tournent en parallèle.
Karpathy partage une anecdote personnelle : à l’époque de son doctorat, il stressait quand les GPU restaient inactifs. Aujourd’hui, il s’inquiète s’il n’épuise pas son quota quotidien de tokens pour les requêtes IA.
« Ce n’est plus une question de puissance de calcul contrôlée. C’est le nombre de prompts IA que vous pouvez lancer dans une journée. »
Les « Claws » et la fin de l’ère des applications
Dans le jargon de Karpathy, un « Claw » représente le niveau supérieur : pas une session de chat interactive que vous surveillez, mais une entité persistante avec son propre environnement isolé et sa mémoire, qui agit en votre nom — même quand vous n’êtes pas à votre bureau. En janvier, il a traversé une phase de « Claw psychosis » et a créé Dobby, un agent pour sa maison connectée.
« Je lui ai juste dit : ‘Je crois que j’ai une enceinte Sonos à la maison — essaie de la trouver.’ L’agent a scanné mon réseau local, repéré l’enceinte, fouillé les docs de l’API, et demandé : ‘Tu veux que je joue quelque chose au bureau ?’ J’ai dit oui. La musique a jailli de l’enceinte. Je n’en revenais pas que trois prompts aient suffi. »
Google AdInline article slot
Aujourd’hui, Dobby gère les lumières, la clim, les volets, la piscine et la sécurité via WhatsApp. Six applications distinctes ? Obsolètes. De son expérience, Karpathy tire une leçon plus large :
« Toutes ces apps pour objets connectés dans l’App Store n’ont pas lieu d’être. Remplacez-les par des API, et laissez les agents faire le lien entre tout. L’industrie doit se repenser : le client n’est plus humain, c’est un agent qui agit pour un humain. »
Sa prédiction :
« Tout ce que j’ai décrit sera gratuit d’ici un ou deux ans. Pas une astuce avancée — juste du basique accessible à tous. Même les modèles open source y arriveront. »
Auto-recherche : Sortez-vous de la boucle
Le principe de base de Karpathy :
« Ne soyez pas le goulot d’étranglement du système. Ne restez pas là à attendre un résultat pour formuler le prompt suivant. Le processus doit tourner en autonome. Je donne parfois des directives rapides aux agents, mais ils gèrent le gros du travail sans moi. »
L’auto-recherche met cela en pratique : choisissez une métrique de qualité mesurable (comme la perte de validation sur des données de test), fixez des bornes d’acceptabilité, et laissez un agent optimiser toute la nuit.
Les résultats ont stupéfié Karpathy, avec ses 20 ans d’expérience :
« Je pensais avoir bien peaufiné NanoChat à la main. Mais en une nuit, l’agent a trouvé des ajustements que j’avais manqués : décaissement des poids sur les embeddings de valeur, paramètres beta d’Adam. Tout est interconnecté — vous touchez à un truc, les autres doivent suivre. J’étais abasourdi qu’un repo bien poli ait encore de la marge. »
L’auto-recherche excelle là où les résultats sont quantifiables : optimisation de code GPU, réglage d’hyperparamètres, comparaison d’architectures. Pas de métrique objective ? Rien à optimiser.
De là, Karpathy tire une conclusion audacieuse pour les équipes de recherche :
« Les chercheurs ne devraient pas tester leurs propres idées. Chacun a une ‘confiance méritée en soi’ — en gros, un biais vers ses hypothèses. Il faut une file d’idées partagée : n’importe qui soumet une hypothèse, mais ce sont les agents qui la testent et l’implémentent, pas l’auteur. »
Il va plus loin : si le workflow d’un labo de recherche est entièrement documenté en fichiers texte (program.md avec objectifs, contraintes, ordre des expériences), différentes versions produisent des progrès variés. On peut donc optimiser non seulement les modèles, mais des organisations entières.
Essaim d’agents vs. labs de pointe
Si les expériences sont coûteuses à lancer mais faciles à vérifier (comme SETI@home ou Folding@home en calcul distribué), on peut répartir le travail sur des milliers d’ordinateurs grand public — même peu fiables :
« Un essaim mondial d’agents sur des appareils consommateurs pourrait faire progresser les modèles de langage collectivement et surpasser les gros labs. Les labs de pointe ont une puissance de calcul fiable massive, mais la planète a bien plus de ressources — chacune juste peu fiable seule. »
Le profil en dents de scie des compétences IA
Karpathy appelle « jaggedness » — le profil de compétences inégal des LLM, experts dans un domaine et ignares dans un autre — une bizarrerie fondamentale :
« C’est comme discuter avec un doctorant brillant, programmeur système de longue date… et un gamin de 10 ans. Les humains n’ont pas ce mélange. »
Un signe révélateur : le test de l’humour.
« Demandez une blague à GPT-4. Vous obtenez : ‘Pourquoi les scientifiques ne font-ils pas confiance aux atomes ? Parce qu’ils composent tout.’ Il y a trois ou quatre ans, même blague. Aujourd’hui, pareil. Les tâches de code ont explosé car le code est facile à vérifier et à entraîner par RL. Mais humour, créativité, style — pas de boucle de feedback, donc stagnation. »
La leçon de Karpathy : une meilleure génération de code ne veut pas dire que le modèle est globalement plus intelligent. Les compétences IA ne se généralisent pas comme on l’espère.
Cette dentelure implique que la stratégie des gros labs — un modèle universel massif bon partout — est sous-optimale :
« La nature est follement diverse : chaque espèce a un cerveau adapté à sa niche. On pourrait créer des modèles spécialisés plus petits avec un cœur cognitif fort, puis les adapter. Mais la science de l’apprentissage continu et du fine-tuning sans oubli n’est pas mature. »
Enseignements clés
- Changement de paradigme en développement : Les développeurs passent de l’écriture de lignes de code à l’orchestration d’agents autonomes qui livrent des fonctionnalités complètes.
- Fin de l’ère des apps : Oubliez les apps autonomes pour objets connectés au profit d’API, avec les agents comme liant unificateur.
- Auto-recherche : Des agents autonomes optimisent modèles et workflows via des métriques dures, avec un minimum d’intervention humaine.
- Compétences IA en dents de scie : Les modèles progressent inégalement — excellant dans certains domaines, stagnaillant dans d’autres —, ce qui invite à repenser les modèles universels.
- Essaims d’agents : Des réseaux distribués sur appareils grand public pourraient dépasser les labs d’élite pour faire avancer les modèles de langage.
Marché du travail : Paradoxe de Jevons et avenir des développeurs
Karpathy a analysé les données du Bureau of Labor Statistics et conclut à un optimisme prudent :
« Le logiciel a toujours été rare et cher. Baissez la barrière d’entrée, et le paradoxe de Jevons entre en jeu — la demande explose. Cas classique : les distributeurs automatiques et les guichetiers bancaires. On craignait que les DAB éliminent les guichetiers. Au contraire, les coûts ont baissé, les banques ont ouvert plus d’agences, et les postes de guichetiers ont augmenté. »
Pourquoi le code suivra :
« Le code est désormais éphémère — facile à réécrire de zéro. Fini les chaînes legacy. Préparez-vous à une vague massive de réécritures : des outils entreprise aux apps grand public. »
Il est franc sur le long terme :
« J’ai dit aux gens d’OpenAI : si on réussit, on sera tous au chômage. On ne fait qu’automatiser pour les conseils d’administration. »
Les métiers numériques se transforment en premier. Les IA d’aujourd’hui sont des « esprits numériques » : elles excellent dans le logiciel, le texte et le code sans corps physique. Manipuler des bits est bon marché et instantané ; les tâches physiques sont des ordres de grandeur plus dures. Programmeurs, analystes et designers le sentiront vite — maçons et chirurgiens, beaucoup plus tard.
Open source et avenir de l’IA
L’écart open vs. fermé est passé de 18 mois à 6-8. Karpathy accueille cet équilibre :
« Le monde OS a Windows, macOS, Linux. Linux domine la plupart des ordis. Les industries ont besoin d’une plateforme open commune. Idem pour les LLM. »
Sur la centralisation — direct :
« La centralisation a un historique désastreux. »
L’animateur a répliqué : « On dirait quelqu’un d’Europe de l’Est. » Karpathy : « Exactement. »
« Je veux plus de labs. En ML, les ensembles battent les modèles uniques. Idem pour les décideurs. Deux personnes derrière une porte fermée ? Mauvais avenir. »
Éducation : Expliquez aux agents, pas aux humains
Karpathy a sorti MicroGPT — 200 lignes de Python implémentant la pipeline complète d’entraînement de modèle de langage, du dataset à l’optimiseur. Il a commencé une vidéo explicative — et s’est arrêté :
« À quoi bon ? 200 lignes — n’importe qui peut avoir un agent l’expliquer à sa sauce, dans sa langue, avec une patience infinie. J’explique aux agents ; les agents expliquent aux humains. »
Conseil aux auteurs de bibliothèques :
« Oubliez les docs HTML pour humains. Écrivez des docs Markdown pour agents. Si l’agent pige, il peut expliquer le reste. »
Sur son expertise :
« MicroGPT distille des années d’expérience en 200 lignes. Un agent ne pourrait pas inventer cette architecture de zéro. Mais il la maîtrise pleinement et peut l’enseigner à n’importe qui. Ma valeur, c’est compresser la complexité à l’essentiel. Ce que les agents font seuls ? Ils me dépasseront bientôt. »
— Editorial Team
Aucun commentaire pour le moment.