Zurück zur Startseite

nanocode: Coding-Agent-Pipeline auf JAX

Die nanocode-Bibliothek ermöglicht das Training eines Coding Agents von Grund auf mit JAX und TPU. Die Pipeline umfasst Pretraining, synthetische Generierung, SFT und DPO. Modelle von 4 Millionen bis 1.3 Milliarden Parametern für Experimente.

Trainieren Sie einen Coding Agent für $200: nanocode auf JAX
Advertisement 728x90

# nanocode: Offene Implementierung einer Pipeline für einen Coding-Agenten basierend auf Constitutional AI

Der Entwickler Salman Mohammadi aus dem torchtune-Team hat die nanocode-Bibliothek veröffentlicht – ein offenes Framework in JAX für den vollständigen Trainingszyklus eines Coding-Agenten. Die Pipeline umfasst den Tokenizer, Pretraining, synthetische Datengenerierung, agentic SFT und Alignment via DPO mit constitutional criticism. Das Hauptmodell mit 1,3 Milliarden Parametern trainiert in 9 Stunden auf TPU für 200 $. Kleinere Varianten: 477 Millionen Parameter – 1,5 Stunden (34 $), 4 Millionen – für CPU-Debugging.

Die Bibliothek ist für kostenlose TPUs über Google TRC optimiert und unterstützt NVIDIA GPUs. Alle Konfigurationen laufen mit einem einzigen bash-Skript. Das Projekt setzt die nano-Serie von Andrej Karpathy fort und konzentriert sich auf agentisches Verhalten: Dateien lesen, Code schreiben und Terminal-Befehle ausführen.

Vollständige Pipeline basierend auf Constitutional-AI-Prinzipien

nanocode repliziert den Claude-Ansatz: fünf Trainingsphasen von Grund auf.

Google AdInline article slot
  • Tokenizer: Trainiert auf einem Coding-Korpus.
  • Pretraining: FineWeb-edu + The Stack v2.
  • Synthetische Daten: 120k kurze und 2k lange Multi-Turn-Beispiele für agentisches Verhalten.
  • Agentic SFT: Fortgesetztes Training mit Tools.
  • DPO-Alignment: Constitutional criticism für einen RLHF-ähnlichen Effekt.

Dies ist das erste offene Rezept für eine vollständige Constitutional-AI-Pipeline für Coding-Agenten. Der Code ist minimalistisch, reproduzierbar und frei von externen Abhängigkeiten außer JAX und dem TPU-Ökosystem.

Die Modelle konkurrieren nicht mit kommerziellen (Hunderte Milliarden Parameter), demonstrieren aber die End-to-End-Mechanik. Für Senior-Entwickler ist es eine Basis für Experimente mit eigenen Agenten.

Konfigurationen und Ressourcen

| Modell | Parameter | Zeit | Kosten | Hardware |

Google AdInline article slot

|-----------|-----------|--------|--------|-------------------|

| Haupt | 1.3B | 9h | 200 $ | TPU (Google TRC) |

| Mittel | 477M | 1.5h | 34 $ | TPU/GPU |

Google AdInline article slot

| Debug | 4M | Minuten| 0 $ | CPU |

  • TPU-Vorteile: Kostenloser Zugriff, hohe JAX-Effizienz in Multi-Chip-Setups.
  • GPU-Unterstützung: Einzelne Karten; Multi-Chip in Arbeit.
  • Ausführen: bash run.sh --model_size=1.3B – alle Phasen automatisiert.

Die Bibliothek erlaubt es, jede Phase zu analysieren: von der Tokenisierung bis zur Kritikgenerierung im DPO.

Praktischer Nutzen für Entwickler

Für Mid-Level- und Senior-Spezialisten ist nanocode ein Tool, um die Interna von Coding-Agenten zu verstehen. Fähigkeiten:

  • Hypothesen auf synthetischen Daten testen (120k+ Beispiele).
  • Tokenizer für ein Fachgebiet anpassen (z. B. Rust/Python).
  • Experimente mit DPO: Die Konstitution für ethisches Coding abstimmen.
  • Skalierung auf lokale Cluster.

Der Code ist gut dokumentiert und modular. Kein Black Box – volle Kontrolle über die Pipeline. Ideal für F&E in Unternehmen, die interne Tools entwickeln.

Wichtige Erkenntnisse

  • Vollständige offene Constitutional-AI-Pipeline für Coding-Agenten: vom Tokenizer bis DPO.
  • 1,3B-Modell für 200 $/9 h auf kostenlosen TPUs – minimale Einstiegshürden.
  • Generierung von 122k synthetischen Beispielen für agentisches Verhalten.
  • JAX-Optimierung, TPU/GPU, bash-Automatisierung.
  • Kein Claude-Ersatz, sondern ein Bildungstool zur Analyse der Mechanik.

— Editorial Team

Advertisement 728x90

Weiterlesen