Andrey Karpathy: Wie KI-Agenten die Softwareentwicklung revolutionieren – und warum das erst der Anfang ist
Seit Dezember 2023 hat Andrey Karpathy – ehemaliger Tesla-AI-Direktor und OpenAI-Mitgründer – kaum noch Code von Hand geschrieben. Stattdessen delegiert er Aufgaben an autonome Agenten, was die Softwareentwicklung grundlegend verändert. Dieser Wandel bleibt vielen unter dem Radar, definiert aber bereits die Zukunft der IT-Branche.
Paradigmenwechsel: Von Codezeilen zu vollständigen Features
Der eigentliche Gamechanger sind nicht die Agenten selbst – sondern die neue Arbeitsgröße. Entwickler dachten früher in Codezeilen und Funktionen. Heute geht es um komplette Features: „Hier ein Funktionsblock – ans erste Agent; da ein unabhängiger – ans zweite.“ Statt einzelner Zeilen zu justieren, übergeben Entwickler Aufgaben an mehrere Agenten, die parallel arbeiten.
Karpathy teilt eine persönliche Anekdote: Im Studium geriet er in Panik, wenn GPUs untätig blieben. Heute flippt er aus, wenn er sein tägliches Token-Limit für KI-Anfragen nicht aufbraucht.
„Es geht nicht mehr um Rechenleistung, die du kontrollierst. Sondern darum, wie viele KI-Prompts du pro Tag abfeuern kannst."
Klauen und das Ende der App-Ära
In Karpathys Jargon ist eine „Klau“ next level: Kein interaktiver Chat, den du babysittest, sondern eine persistente Entität mit eigenem Sandbox und Gedächtnis, die für dich handelt – sogar, wenn du nicht am Schreibtisch sitzt. Im Januar hatte er „Klauen-Psychose“ und baute Dobby, einen Agenten für sein Smart Home.
„Ich sagte nur: ‚Ich glaub, ich hab einen Sonos-Lautsprecher zu Hause – such mal danach.‘ Der Agent scannte mein lokales Netzwerk, fand den Speaker, grub die API-Docs aus und fragte: ‚Soll ich was im Büro abspielen?‘ Ich sagte: Klar. Musik dröhnte los. Unglaublich, dass das mit drei Prompts klappte."
Google AdInline article slot
Heute steuert Dobby via WhatsApp Lichter, Klimaanlage, Rollos, Pool und Sicherheit. Sechs separate Apps? Überflüssig. Aus seiner Erfahrung zieht Karpathy eine größere Lehre:
„All die Smart-Device-Apps im App Store sollten nicht existieren. Ersetzt sie durch APIs, und lasst Agenten die Kleber sein, der alles verbindet. Die Branche muss sich neu erfinden: Der Kunde ist kein Mensch mehr – sondern ein Agent, der im Auftrag eines Menschen handelt."
Seine Prognose:
„Alles, was ich beschrieben habe, wird in ein, zwei Jahren kostenlos sein. Kein fortgeschrittener Trick – sondern Basiszeug, das jeder nutzen kann. Sogar Open-Source-Modelle packen das."
Auto-Forschung: Mach dich selbst zum Engpass
Karpathys Grundprinzip:
„Sei nicht der Engpass des Systems. Warte nicht auf ein Ergebnis, um den nächsten Prompt zu basteln. Der Prozess muss autonom laufen. Ich gebe Agenten gelegentlich kurze Anweisungen, aber sie erledigen die Hauptarbeit ohne mich."
Auto-Forschung setzt das um: Nimm eine messbare Qualitätsmetrik (z. B. Validierungsverlust auf Testdaten), definiere akzeptable Grenzen und lass einen Agenten über Nacht optimieren.
Die Ergebnisse schockierten selbst Karpathy mit seinen 20 Jahren Erfahrung:
„Ich dachte, ich hätte NanoChat handoptimiert. Aber über Nacht fand der Agent Anpassungen, die ich übersehen hatte: Weight Decay bei Value-Embeddings, Adam-Beta-Parameter. Alles hängt zusammen – du änderst eins, andere müssen nachjustiert werden. Ich war baff, dass ein poliertes Repo noch Luft nach oben hatte."
Auto-Forschung glänzt bei quantifizierbaren Ergebnissen: GPU-Code-Optimierung, Hyperparameter-Tuning, Architekturvergleiche. Keine objektive Metrik? Nichts zu optimieren.
Daraus zieht Karpathy einen kühnen Schluss für Forschungsteams:
„Forscher sollten keine Experimente zu ihren eigenen Ideen laufen. Jeder hat ‚Vertrauen in sich selbst‘ – also Bias zu seinen Hypothesen. Es bräuchte eine gemeinsame Ideenwarteschlange: Jeder kann eine Hypothese einreichen, aber Agenten testen und umsetzen sie, nicht der Autor."
Er geht weiter: Wenn ein Forschungslab-Prozess vollständig in Textdateien dokumentiert ist (program.md mit Zielen, Einschränkungen, Experimentenreihenfolge), erzeugen verschiedene Versionen unterschiedlichen Fortschritt. Also kannst du nicht nur Modelle, sondern ganze Organisationen optimieren.
Agentenschwärme gegen Frontier-Labs
Wenn Experimente teuer zu laufen, aber billig zu verifizieren sind (wie SETI@home oder Folding@home bei verteilter Rechenleistung), kannst du die Arbeit auf Tausende Alltags-PCs verteilen – sogar unzuverlässige:
„Ein globaler Schwarm von Agenten auf Consumer-Geräten könnte Sprachmodelle kollektiv vorantreiben und große Labs überholen. Frontier-Labs haben massives vertrauenswürdiges Compute, aber der Planet hat weit mehr Ressourcen – jede für sich nur unzuverlässig."
Das gezackte Fähigkeitsprofil von KI
Karpathy nennt „Gezacktheit“ – das ungleichmäßige Können von LLMs, meisterhaft in einem Bereich, ahnungslos im nächsten – ein Kernmerkmal:
„Es fühlt sich an wie ein Gespräch mit einem brillanten Doktoranden, der ein Leben lang Systems-Programmierer war – und einem 10-jährigen Kind. Menschen haben diese Kombi nicht."
Ein Indikator: Der Witz-Test.
„Frag GPT-4 nach einem Witz. Du kriegst: ‚Warum vertrauen Wissenschaftler keinem Atom? Weil sie alles erfinden.‘ Vor drei, vier Jahren derselbe Witz. Heute wieder. Coding explodierte, weil Code leicht zu prüfen und mit RL-Feedback zu trainieren ist. Humor, Kreativität, Stil – kein Feedback-Loop, daher Stillstand."
Karpathys Lehre: Bessere Code-Generierung heißt nicht, das Modell ist insgesamt schlauer. KI-Fähigkeiten generalisieren nicht, wie wir hoffen.
Diese Gezacktheit macht die Strategie großer Labs – ein gigantisches Universalmodell, das alles kann – suboptimal:
„Die Natur ist wild vielfältig: Jede Spezies hat ein Gehirn auf ihre Nische zugeschnitten. Wir könnten kleinere Spezialmodelle mit starkem kognitiven Kern bauen und anpassen. Aber die Wissenschaft von kontinuierlichem Lernen und Fine-Tuning ohne Vergessen ist noch nicht reif."
Wichtige Erkenntnisse
- Paradigmenwechsel in der Entwicklung: Entwickler wechseln von Codezeilen-Schreiben zu Orchestrierung autonomer Agenten, die volle Features liefern.
- Ende der App-Ära: Weg mit isolierten Smart-Device-Apps, hin zu APIs mit Agenten als verbindendem Kleber.
- Auto-Forschung: Autonome Agenten optimieren Modelle und Workflows mit harten Metriken, minimaler menschlicher Eingabe.
- Gezackte KI-Fähigkeiten: Modelle machen ungleichmäßigen Fortschritt – stark in manchen Bereichen, stagniert in anderen – Zeit für Neudenken universeller Modelle.
- Agentenschwärme: Verteilte Netzwerke auf Alltagsgeräten könnten Elite-Labs bei Sprachmodellen überholen.
Arbeitsmarkt: Jevons-Paradoxon und die Zukunft der Entwickler
Karpathy wühlte in Daten des Bureau of Labor Statistics und landete bei vorsichtigem Optimismus:
„Software war immer knapp und teuer. Senkt die Einstiegsschwelle, tritt das Jevons-Paradoxon ein – Nachfrage explodiert. Klassiker: Geldautomaten und Bankangestellte. Alle dachten, ATMs machen Kassierer überflüssig. Stattdessen sanken Kosten, Banken eröffneten Filialen, und Kassierer-Jobs wuchsen."
Warum Coding folgt:
„Code ist jetzt flüchtig – leicht von Grund auf neu zu schreiben. Keine Legacy-Ketten mehr. Bereitet euch auf eine massive Umschreibewelle vor: Von Enterprise-Tools zu Consumer-Apps."
Er ist ehrlich zur Langfrist:
„Ich sagte den OpenAI-Leuten: Wenn wir erfolgreich sind, sind wir alle arbeitslos. Wir bauen nur Automatisierung für den Vorstand."
Digitale Jobs wandeln sich zuerst. Heutige KIs sind „digitale Geister“: Sie glänzen in Software-, Text- und Code-Welten ohne physischen Körper. Bit-Manipulation ist billig und instant; physische Aufgaben um Größenordnungen schwerer. Programmierer, Analysten und Designer spüren es zuerst – Bauleute und Chirurgen viel später.
Open Source und die Zukunft der KI
Der Abstand zwischen Open- und Closed-Modellen schrumpfte von 18 auf 6–8 Monate. Karpathy begrüßt das Gleichgewicht:
„Die OS-Welt hat Windows, macOS, Linux. Linux dominiert die meisten Rechner. Branchen brauchen eine gemeinsame Open-Plattform. Gilt auch für LLMs."
Zur Zentralisierung – direkt:
„Zentralisierung hat historisch eine miserable Bilanz."
Der Host witzelte: „Klingt nach jemandem aus Osteuropa.“ Karpathy: „Genau."
„Ich will mehr Labs. In ML schlagen Ensembles Einzelmodelle. Gilt für Entscheidungsträger. Zwei Leute hinter verschlossenen Türen? Schlechte Zukunft."
Bildung: Erkläre es Agenten, nicht Menschen
Karpathy veröffentlichte MicroGPT – 200 Zeilen Python für den vollen Sprachmodell-Trainings-Pipeline von Dataset bis Optimizer. Er startete ein Video-Tutorial – und brach ab:
„Wozu? 200 Zeilen – jeder kann einen Agenten bitten, es in seiner Sprache, mit unendlicher Geduld zu erklären. Ich erkläre Agenten; Agenten erklären Menschen."
Rat für Bibliotheksautoren:
„Lasst HTML-Docs für Menschen. Schreibt Markdown-Docs für Agenten. Wenn der Agent es kapiert, kann er den Rest erklären."
Zu seinem Know-how:
„MicroGPT destilliert Jahre Erfahrung in 200 Zeilen. Ein Agent könnte diese Architektur nicht von Grund auf erfinden. Aber er versteht den Code voll und kann jeden lehren. Mein Wert ist, Komplexität auf das Wesentliche zu komprimieren. Was Agenten solo können? Die überholen mich bald."
— Editorial Team
Noch keine Kommentare.