# nanocode: Offene Implementierung einer Pipeline für einen Coding-Agenten basierend auf Constitutional AI
Der Entwickler Salman Mohammadi aus dem torchtune-Team hat die nanocode-Bibliothek veröffentlicht – ein offenes Framework in JAX für den vollständigen Trainingszyklus eines Coding-Agenten. Die Pipeline umfasst den Tokenizer, Pretraining, synthetische Datengenerierung, agentic SFT und Alignment via DPO mit constitutional criticism. Das Hauptmodell mit 1,3 Milliarden Parametern trainiert in 9 Stunden auf TPU für 200 $. Kleinere Varianten: 477 Millionen Parameter – 1,5 Stunden (34 $), 4 Millionen – für CPU-Debugging.
Die Bibliothek ist für kostenlose TPUs über Google TRC optimiert und unterstützt NVIDIA GPUs. Alle Konfigurationen laufen mit einem einzigen bash-Skript. Das Projekt setzt die nano-Serie von Andrej Karpathy fort und konzentriert sich auf agentisches Verhalten: Dateien lesen, Code schreiben und Terminal-Befehle ausführen.
Vollständige Pipeline basierend auf Constitutional-AI-Prinzipien
nanocode repliziert den Claude-Ansatz: fünf Trainingsphasen von Grund auf.
- Tokenizer: Trainiert auf einem Coding-Korpus.
- Pretraining: FineWeb-edu + The Stack v2.
- Synthetische Daten: 120k kurze und 2k lange Multi-Turn-Beispiele für agentisches Verhalten.
- Agentic SFT: Fortgesetztes Training mit Tools.
- DPO-Alignment: Constitutional criticism für einen RLHF-ähnlichen Effekt.
Dies ist das erste offene Rezept für eine vollständige Constitutional-AI-Pipeline für Coding-Agenten. Der Code ist minimalistisch, reproduzierbar und frei von externen Abhängigkeiten außer JAX und dem TPU-Ökosystem.
Die Modelle konkurrieren nicht mit kommerziellen (Hunderte Milliarden Parameter), demonstrieren aber die End-to-End-Mechanik. Für Senior-Entwickler ist es eine Basis für Experimente mit eigenen Agenten.
Konfigurationen und Ressourcen
| Modell | Parameter | Zeit | Kosten | Hardware |
|-----------|-----------|--------|--------|-------------------|
| Haupt | 1.3B | 9h | 200 $ | TPU (Google TRC) |
| Mittel | 477M | 1.5h | 34 $ | TPU/GPU |
| Debug | 4M | Minuten| 0 $ | CPU |
- TPU-Vorteile: Kostenloser Zugriff, hohe JAX-Effizienz in Multi-Chip-Setups.
- GPU-Unterstützung: Einzelne Karten; Multi-Chip in Arbeit.
- Ausführen:
bash run.sh --model_size=1.3B– alle Phasen automatisiert.
Die Bibliothek erlaubt es, jede Phase zu analysieren: von der Tokenisierung bis zur Kritikgenerierung im DPO.
Praktischer Nutzen für Entwickler
Für Mid-Level- und Senior-Spezialisten ist nanocode ein Tool, um die Interna von Coding-Agenten zu verstehen. Fähigkeiten:
- Hypothesen auf synthetischen Daten testen (120k+ Beispiele).
- Tokenizer für ein Fachgebiet anpassen (z. B. Rust/Python).
- Experimente mit DPO: Die Konstitution für ethisches Coding abstimmen.
- Skalierung auf lokale Cluster.
Der Code ist gut dokumentiert und modular. Kein Black Box – volle Kontrolle über die Pipeline. Ideal für F&E in Unternehmen, die interne Tools entwickeln.
Wichtige Erkenntnisse
- Vollständige offene Constitutional-AI-Pipeline für Coding-Agenten: vom Tokenizer bis DPO.
- 1,3B-Modell für 200 $/9 h auf kostenlosen TPUs – minimale Einstiegshürden.
- Generierung von 122k synthetischen Beispielen für agentisches Verhalten.
- JAX-Optimierung, TPU/GPU, bash-Automatisierung.
- Kein Claude-Ersatz, sondern ein Bildungstool zur Analyse der Mechanik.
— Editorial Team
Noch keine Kommentare.