Ralph loop vzory: ověřovač a evoluce

Rozbor vzorů Ralph loop: od ověřovačů k evoluci artefaktů

Ralph loop — iterativní mechanismus pro autonomní agenty, kde se cyklus zlepšování kombinuje s ověřováním pokroku. Klíčová otázka: jak odlišit execution loop (provádění úloh) od evolution loop (vývoj stavu). Analýza ukazuje pět vzorů s různými přístupy k ověřovači, orákulu a artefaktům.

V základním schématu je přítomen cyklus, boj s context rot (rozkladem kontextu) a externí poháněč — ověřovač. Rozdíly v implementaci: interní/externí cyklus, způsoby čištění paměti, typy kritérií úspěchu.

Základní terminologie Ralph-agentů

Ověřovač — dává signál kvality po iteraci: pass/fail, seznam chyb nebo skórování. Analogie reward function v RL, určuje pokrok bez sebeklamu.

Orákul — zdroj konečné pravdy o dokončení. Může to být testy, člověk, platforma nebo benchmark; ověřovač — mechanismus přístupu k němu.

Systémový prompt nastavuje roli, akce, formát dokončení. Může být generován dynamicky.

Artefakty — persistentní objekty mezi iteracemi: sumáře logů, pravidla, znalosti z analýzy neúspěchů.

Vzor 1: Same-prompt Ralph

Agent restartuje jeden prompt, dokud nevydá token dokončení (např. 'DONE'). Externí háček kontroluje token. Příklad: plugin Anthropic.

Interní cyklus zahrnuje TDD-přístup: agent píše kód, testy, ladí do green tests. Validace prostředím (lintery, sestavení), ale popsána v promptu, ne jako samostatný modul.

Problémy:

• Žádné čištění kontextu: single session s hromaděním logů.
• Orákul uvnitř promptu, náchylný k halucinacím.
• Závislost na kvalitě promptu pro testy.

Vzor 2: External verifier Ralph

Externí ověřovač rozhoduje o dokončení po každé iteraci. Příklad: Vercel Ralph s AI SDK Tool Loop.

Interní cyklus: LLM ↔ nástroje (readFile, writeFile, execute). Poté — verifyCompletion vstřikuje zpětnou vazbu.

Logika výstupu z interního cyklu: model rozhoduje podle promptu, bez sémantického tokenu. Externí obvod přidává determinismus.

Výhody: oddělení generování a ověřování, ladění pro doménu (kód, testy, skórování).

Vzor 3: Artifact-evolving Ralph

Artefakty se vyvíjejí: analýza neúspěchů generuje nová pravidla/znalosti. Orákul v artefaktech, agent se "učí".

Ralph umisťuje "tabulky" — strukturované sumáře chyb pro následující iterace. Paměť se čistí, ale znalosti se zachovávají.

Vzor 4: Artifact-evolving s external verifier

Kombinace: evoluce artefaktů + externí ověření. Příklad: Codex-podobné systémy.

Vzor 5: Self-evolving agent

Úplná autonomie: agent sám mutuje prompt/artefakty na základě sebeanalýzy. Nejvyšší forma, vyžaduje silný orákul.

| Vzor | Cyklus | Ověřovač | Orákul | Artefakty |

|---------|------|-------------|--------|-----------|

| Same-prompt | Interní | Nominální | V promptu | Ne |

| External verifier | Externí | Samostatný modul | Prostředí/API | Sumáře |

| Artifact-evolving | Iterativní | V artefaktech | Evoluce | Pravidla/znalosti |

| +External | Hybridní | Externí | Prostředí | Vyvíjející se |

| Self-evolving | Autonomní | Sebeanalýza | Interní | Mutace |

Evoluce artefaktů: proč to funguje

Context rot se řeší ne úplným resetem, ale kompresí: identifikace vzorů neúspěchů → generace heuristik. Agent "chytřeje", zaměřuje se na kořenové příčiny.

• Analýza logu iterace.
• Extrakce chyb/vzorů.
• Vytvoření artefaktu (JSON s pravidly).
• Vstřik do dalšího promptu.
• Čištění raw logů.

Design-checklist pro architekta

• Kde je orákul: uvnitř modelu nebo externě?
• Jsou odděleny execution a evolution loops?
• Jak bojujeme s context rot: sumarizace nebo artefakty?
• Binární signál nebo rich feedback?
• Škáluje se na long-running úlohy?
• Testuje se ověřovač samostatně?

Co je důležité

• Oddělení cyklů zabraňuje sebeklamu: execution generuje, evolution ověřuje.
• Artefakty — klíč k měřítku: persistentní znalosti bez context bloat.
• Externí ověřovač přidává spolehlivost: determinismus proti halucinacím.
• TDD v promptu — základní úroveň, ale vyžaduje evoluci pro složité úlohy.
• Taxonomie pomáhá v designu: vyberte vzor podle domény (kódování, analýza dat).

— Editorial Team