Agenti AI ve vývoji: jak Andrej Karpathy přestal psát kód

Andrej Karpathy: Jak agenti umělé inteligence převrátili vývoj a proč je to jen začátek

Od prosince 2023 Andrej Karpathy, bývalý ředitel AI v Tesle a spoluzakladatel OpenAI, prakticky přestal psát kód ručně. Místo toho deleguje úkoly autonomním agentům, což radikálně mění přístup k vývoji softwaru. Tento posun, podle něj, zůstává nepovšimnutý většinou, ale již určuje budoucnost IT průmyslu.

Změna paradigmatu: od řádků kódu k funkcím

Hlavní změna není v samotném vzniku agentů, ale v nové jednotce práce. Dříve vývojář myslel v řádcích kódu a funkcích. Nyní – celými funkcemi: „zde je funkcionalita – předávám prvnímu agentovi; zde další, nezávislá – předávám druhému“. Místo úprav jednotlivých řádků vývojář rozdává úkoly několika agentům paralelně.

Karpathy uvádí metaforu z vlastního života: v postgraduálním studiu byl nervózní, když stály nevyužité GPU. Nyní je nervózní, když nestihne utratit denní limit tokenů na dotazy k AI.

„Nejde už o to, kolik výpočetních výkonů ovládáš. Jde o to, kolik dotazů k AI stíháš zpracovat za den.“

Claws a konec éry aplikací

„Claw“ v terminologii Karpathyho – agent nové úrovně. Ne interaktivní sezení pod tvou kontrolou, ale trvale existující entita se svým pískovištěm a pamětí, která jedná tvým jménem, i když nejsi u obrazovky. V lednu Karpathy zažil „claw psychózu“ a sestavil Dobbyho – agenta pro správu chytré domácnosti.

„Prostě jsem napsal: ‚Vypadá to, že mám doma Sonos, zkus to najít.‘ Agent proskenoval lokální síť, objevil reproduktor, našel dokumentaci k API a zeptal se: Chceš, zkusíme něco pustit v pracovně? Říkám – jdeme na to. A z reproduktoru začala hrát hudba. Nemohl jsem uvěřit, že na to stačily tři prompty.“

Google AdInline article slot

Nyní Dobby přes WhatsApp ovládá světlo, klimatizaci, žaluzie, bazén a bezpečnostní systém. Šest samostatných aplikací se stalo zbytečným. Z osobní zkušenosti Karpathy dělá systematický závěr:

„Všechny tyto aplikace pro chytrá zařízení z App Store by vůbec neměly existovat. Místo aplikací by měla být API, a agenti – lepidlo, které vše spojuje. Průmysl by se měl přehodnotit: klient už není člověk. Klient je agent, který jedná jménem člověka.“

A předpověď:

„Vše, co jsem popsal, za rok-dva bude zdarma. Ne pokročilá technika – prostě základní úroveň, dostupná každému. I open-source modely si s tím poradí.“

Auto-research: odstraň se ze smyčky

Hlavní princip, ke kterému Karpathy směřuje:

„Nemůžeš být úzkým hrdlem systému. Nemůžeš sedět a čekat na další výsledek, abys napsal další dotaz. Proces musí fungovat autonomně. Občas dávám agentům krátké pokyny, a hlavní objem práce se provádí bez mé účasti.“

Auto-research – konkrétní ztělesnění principu „odstraň se ze smyčky“. Vezmeš měřitelný ukazatel kvality (řekněme validation loss – chybu modelu na ověřovacích datech), nastavíš rámec povolených změn a spustíš agenta optimalizovat přes noc.

Výsledek překvapil i Karpathyho s jeho dvacetiletou zkušeností:

„Myslel jsem, že jsem NanoChat celkem dobře nastavil ručně. Ale agent přes noc našel to, co jsem přehlédl: weight decay na value embeddings, beta-parametry Adamu. Vše je propojeno – změníš jedno, a druhé je třeba přehodnotit. Překvapilo mě, že v již dobře vyleštěném repozitáři se vůbec našlo co zlepšovat.“

Auto-research funguje pouze tam, kde lze výsledek měřit číslem: optimalizace GPU-kódu, výběr hyperparametrů, srovnání architektur. Pokud není objektivní metriky – není co optimalizovat.

Ze stejné logiky Karpathy dělá radikální závěr o výzkumných organizacích:

„Výzkumníci by neměli sami spouštět experimenty podle svých nápadů. Každý výzkumník má příliš mnoho ‚zasloužené důvěry k sobě‘ – v podstatě zaujatost ve prospěch vlastních hypotéz. Měla by existovat společná fronta nápadů: kdokoli může přidat hypotézu, ale ověřují a implementují hypotézy agenti, ne autor.“

Karpathy jde ještě dál: pokud je pracovní postup výzkumné laboratoře plně popsán v textových souborech (program.md – cíle, omezení, pořadí experimentů), pak různé verze souboru přinesou různý pokrok. A tedy optimalizovat lze nejen modely, ale i samotné organizace.

Roj agentů proti frontier labs

Pokud je experiment drahý, a ověření výsledku levné (jako v projektech distribuovaných výpočtů SETI@home nebo Folding@home), práci lze rozdělit mezi tisíce běžných počítačů, i když je každý z uzlů nespolehlivý:

„Roj agentů na běžných zařízeních po celém světě by mohl kolektivně zlepšovat jazykové modely – a potenciálně předstihnout velké laboratoře. Velké laboratoře mají obrovské důvěryhodné výpočetní výkony, ale zdrojů na planetě je mnohem více – prostě každý z nich je samostatně nespolehlivý.“

Roztrhaný profil schopností AI

Karpathy popisuje „jaggedness“ – roztrhaný profil schopností LLM, kdy model je brilantní v jednom a bezmocný v druhém – jako fundamentální zvláštnost:

„Mám současně pocit, že mluvím s brilantním PhD studentem, který celý život byl systémovým programátorem, a s desetiletým dítětem. U lidí se taková kombinace nevyskytuje.“

Konkrétní symptom – test s vtipem:

„Požádejte GPT-4, aby řeklo vtip. Víte, co dostanete? ‚Proč vědci nedůvěřují atomům? Protože si všechno vymýšlejí.‘ Před třemi čtyřmi lety jste dostali stejný vtip – a dnes dostanete. V úlohách s kódem modely enormně vzrostly, protože kód lze snadno ověřit a dát modelu zpětnou vazbu (RL-signál). Ale tam, kde taková zpětná vazba není – v humoru, kreativitě, stylu – vše ztuhlo.“

Závěr Karpathyho: to, že model se stal lepším v psaní kódu, neznamená, že model se stal chytřejší ve všem. Schopnosti AI se nezobecňují tak, jak bychom chtěli věřit.

Z roztrhaného profilu schopností vyplývá, že současný přístup velkých laboratoří – stavět jeden obrovský univerzální model, který má být chytrý „ve všem“ – není optimální:

„Živočišný svět je extrémně rozmanitý: každý druh má svůj mozek, uzpůsobený pro svou niku. Lze stavět mnohem menší specializované modely se silným kognitivním jádrem, které se pak přizpůsobí konkrétním úlohám. Ale věda o hlubokém ladění vah bez ztráty schopností – continual learning, fine-tuning – zatím nedozrála.“

Co je důležité

• Změna paradigmatu vývoje: vývojáři přecházejí od psaní řádků kódu k řízení autonomních agentů, kteří realizují celé funkce.
• Konec éry aplikací: místo samostatných aplikací pro chytrá zařízení budou použita API, a agenti se stanou „lepidlem“, spojujícím vše v jednotný systém.
• Auto-research: autonomní agenti mohou optimalizovat modely a procesy bez stálého zásahu člověka, využívajíce měřitelné metriky kvality.
• Roztrhaný profil schopností AI: modely vykazují nerovnoměrný vývoj – brilantní výsledky v některých oblastech a stagnaci v jiných, což vyžaduje přehodnocení přístupu k vytváření univerzálních modelů.
• Roj agentů: distribuované sítě běžných zařízení s agenty mohou potenciálně předstihnout velké laboratoře v zlepšování jazykových modelů.

Trh práce: paradox Jevonse a budoucnost vývojářů

Karpathy prostudoval data Bureau of Labor Statistics a došel k opatrně optimistickému závěru:

„Software byl vždy nedostatkový a drahý. Pokud se sníží vstupní bariéra, spustí se paradox Jevonse – poptávka roste. Klasický příklad: bankomaty a pokladní. Všichni se báli, že bankomaty vytlačí pokladní. Ale cena operací klesla, banky začaly otevírat více poboček, a nakonec pokladních přibylo.“

Proč s kódem bude podobně:

„Kód je nyní efemérní – lze jej rychle měnit a přepisovat od nuly. Nikdo už není vázán na dědický software. Před námi – vlna masivního přepisování všeho: od interních nástrojů firem po spotřebitelské aplikace.“

Přitom Karpathy je upřímný ohledně dlouhodobé perspektivy:

„Říkal jsem lidem v OpenAI: chápete, že v případě našeho úspěchu všichni přijdeme o práci? Prostě stavíme automatizaci pro správní radu.“

První transformace zasáhne digitální profese. Současné AI – „digitální duchové“: žijí ve světě softwaru, textu a kódu a nemají fyzické tělo. Manipulovat s bity je levné a okamžité; manipulovat s fyzickými objekty – o řád složitější a dražší. Proto programátoři, analytici a designéři pocítí změny první, a stavební dělníci a chirurgové – mnohem později.

Open source a budoucnost AI

Rozdíl mezi otevřenými a uzavřenými modely se zmenšil z 18 měsíců na přibližně 6–8. Karpathy je s takovou rovnováhou spokojen:

„Ve světě OS jsou Windows, macOS a Linux. Linux je neuvěřitelně úspěšný – běží na většině počítačů. Průmysl vždy potřebuje společnou otevřenou platformu. S LLM se děje totéž.“

O centralizaci – tvrdě:

„Centralizace má velmi špatný historický záznam.“

Moderátor poznamenal: „Zní to jako člověk z východní Evropy.“ Karpathy: „Přesně“.

„Chci, aby bylo více labs. V strojovém učení jsou ansámbly vždy silnější než jednotlivé modely. S lidmi, kteří přijímají důležitá rozhodnutí, by to mělo být stejné. Dva za zavřenými dveřmi – špatná budoucnost.“

Vzdělávání: vysvětluj agentům, ne lidem

Karpathy vydal MicroGPT – 200 řádků Pythonu, ve kterých je implementován celý cyklus učení jazykového modelu od datasetu po optimalizátor. Začal natáčet video s vysvětlením – a zastavil se:

„Proč? 200 řádků – kdokoli může požádat agenta, aby je vysvětlil po svém, svým jazykem, s nekonečnou trpělivostí. Já vysvětluji agentům – agenti vysvětlují lidem.“

Praktická rada pro autory knihoven:

„Nepotřebujete HTML-dokumentaci pro lidi. Potřebujete Markdown-dokumentaci pro agenty. Pokud se agent vyzná – vysvětlit zbytek dokáže sám.“

O vlastní hodnotě jako experta:

„MicroGPT – kvintesence mého mnohaletého zkušenosti, stlačená do 200 řádků. Agent by takovou architekturu sám nevymyslel. Ale agent plně rozumí hotovému kódu a může jej vysvětlit komukoli. V umění stlačit složité k podstatě – má hodnota. A vše, co agent dokáže sám – pravděpodobně brzy bude dělat lépe než já.“

— Editorial Team