nanocode: pipeline kodovacího agenta na JAX

# nanocode: otevřená implementace pipeline pro kódovacího agenta na bázi Constitutional AI

Vývojář Salman Mohammadi z týmu torchtune zveřejnil knihovnu nanocode — otevřený framework na JAX pro celý cyklus trénování kódovacího agenta. Pipeline pokrývá tokenizátor, pretrénink, generování syntetických dat, agentic SFT a vyrovnání přes DPO s konstituční kritikou. Hlavní model s 1,3 miliardou parametrů se natrénuje za 9 hodin na TPU za 200 $. Menší varianty: 477 milionů parametrů — 1,5 hodiny (34 $), 4 miliony — pro ladění na CPU.

Knihovna je optimalizována pro bezplatné TPU přes Google TRC, podporuje NVIDIA GPU. Spuštění všech konfigurací — jediným bash skriptem. Projekt navazuje na nano-sérii Andreje Karpathiho a zaměřuje se na agentní chování: čtení souborů, psaní kódu, spouštění terminálových příkazů.

Kompletní pipeline podle principů Constitutional AI

nanocode reprodukuje přístup Claude: pět fází trénování od nuly.

• Tokenizátor: trénování na korpusu pro kódování.
• Pretrénink: FineWeb-edu + The Stack v2.
• Syntetická data: 120 tisíc krátkých a 2 tisíce dlouhých víceturnových příkladů agentního chování.
• Agentic SFT: dotrénování s nástroji.
• DPO-vyrovnání: konstituční kritika pro efekt podobný RLHF.

Jedná se o první otevřený recept na kompletní pipeline Constitutional AI pro kódovací agenty. Kód je minimalistický, reprodukovatelný, bez externích závislostí kromě JAX a TPU ekosystému.

Modely nekonkurují komerčním (stovky miliard parametrů), ale demonstrují end-to-end mechaniku. Pro senior vývojáře — základ pro experimenty s vlastními agenty.

Konfigurace a zdroje

| Model | Parametry | Čas | Cena | Hardware |

|-----------|-----------|--------|-------|-------------------|

| Hlavní | 1,3 mld | 9 h | 200 $ | TPU (Google TRC) |

| Střední | 477 mil | 1,5 h | 34 $ | TPU/GPU |

| Ladící | 4 mil | minuty | 0 $ | CPU |

• Výhody TPU: bezplatný přístup, vysoká efektivita JAX na multičipech.
• Podpora GPU: jediné karty, multičip — v plánech.
• Spuštění: bash run.sh --model_size=1.3B — všechny fáze automatizovány.

Knihovna umožňuje rozložit každou fázi: od tokenizace po generování kritiky v DPO.

Praktické využití pro vývojáře

Pro middle/senior specialisty je nanocode nástrojem pro pochopení vnitřností kódovacích agentů. Možnosti:

• Testování hypotéz na syntetických datech (120k+ příkladů).
• Přizpůsobení tokenizátoru doméně (např. Rust/Python).
• Experimenty s DPO: ladění konstituce pro etické kódování.
• Škálování na lokální klastry.

Kód je zdokumentovaný, modulární. Žádná blackbox — plná kontrola nad pipelinem. Vhodné pro R&D v firmách budujících interní nástroje.

Co je důležité

• Kompletní otevřený pipeline Constitutional AI pro kódovací agenty: od tokenizátoru po DPO.
• Model 1,3B za 200 $/9 h na bezplatných TPU — minimální vstupní bariéry.
• Generování 122k syntetických příkladů agentního chování.
• Optimalizace pro JAX, TPU/GPU, bash automatizace.
• Není náhradou za Claude, ale vzdělávacím nástrojem pro rozbor mechanik.

— Editorial Team