Self-training: proč funguje a jak se vyhnout collapse

Self-training na syntetických datech: mechanismy úspěchu a hranice modelového kolapsu

Syntetická data generují samotné modely pro další trénink, čímž řeší problém nedostatku reálných příkladů. Self-training funguje díky formátování dat do optimální podoby, zvýšení hustoty užitečného signálu a destilaci dovedností z učitel-modelu na student-model. Rekurzivní používání však vede k modelovému kolapsu – zúžení distribuce a ztrátě vzácných událostí.

Syntetická data vytvářejí algoritmy: self-instruct pro instrukce, teacher-student destilace, generování úloh s řešeními, rozšiřování datasetů podobnými příklady. Na rozdíl od simulací se zaměřuje na generativní modely.

Výhody syntetických dat:

• Strukturovaný formát: jasné chain-of-thought, jednotné šablony Q&A.
• Vysoká hustota: minimum šumu, maximum různorodosti formulací jedné koncepce.
• Přenos vzorů: silný model předává logiku řešení, nekopíruje text.

Rizika rekurze: jak vzniká modelový kolaps

V uzavřeném cyklu generace → trénink se opakuje, což napodobuje kopírování degradovaných kopií. Vzácné detaily se stírají, chyby se hromadí, distribuce se zužuje k modelu.

Modelový kolaps se projevuje postupně:

• Ztenčování ocasů: vzácné případy mizí.
• Šablonovitost: odpovědi jsou uniformní, ztrácejí nuance.
• Falešná jistota: metriky na syntetických datech rostou, na reálných klesají.

Bod zvratu: kdy self-training vymkne kontrole

Nebezpečí vzniká ve třech scénářích:

Scénář 1: dominance syntetických dat. Reálná data musí zůstat kotvou – minimálně 20–30 % objemu. Pokud syntetická data >70 %, spojení s realitou se přetrhává.

Scénář 2: absence ověřování. Bez gold sets a testů na hold-out datech se model optimalizuje pro iluzi kvality.

Scénář 3: neověřitelné úlohy. Syntetická data jsou spolehlivá pro kód (unit testy), matematiku (exact match), logiku (rules-based kontrola). V hodnotících doménách – riziko sebepotvrzování.

| Úloha | Ověřitelnost | Riziko kolapsu |

|--------|------------------|---------------|

| Kód | Vysoká (testy) | Nízké |

| Matematika | Vysoká | Nízké |

| Fakta/soudy | Nízká | Vysoké |

Diagnostika degradace v produkci

Sledujte příznaky na validačních sadách:

• Pokles perplexity na ocasech long-tail distribuce.
• Růst šablonovitosti: cosine similarity odpovědí >0,8.
• Divergence metrik: internal loss klesá, external benchmark roste.

Používejte A/B testy: porovnávejte modely s/bez čerstvých syntetických dat proti baseline na reálných úlohách.

Praktické strategie bezpečného self-trainingu

Syntetická data jsou efektivní jako doplněk. Klíčová pravidla:

• Pevná reálná kotva: 30–50 % reálných dat v každé dávce, s rotací.
• Přísná filtrace:

- Perplexity filter < práh.

- Deduplikace (MinHash, Jaccard >0,9).

- Diversity sampling podle embedding clusterů.

• Cílená generace: zaměření na mezery – rare classes, edge cases, counterfactuals.
• Automatické ověřování:

- Kód: lint + testy.

- Matematika: sympy/eval.

- Fakta: interní RAG-check.

Efektivitu ověřujte podle triády:

• Utility: Δaccuracy na hold-out.
• Robustness: tail loss < baseline.
• Cost: quality gain per GPU-hour.

Co je důležité

• Syntetická data urychlují učení, ale vyžadují reálnou kotvu pro stabilitu.
• Modelový kolaps začíná při >70 % syntetických dat bez ověřování.
• Filtrace a targeted generation snižují rizika o 40–60 % podle benchmarků.
• Ověřitelné úlohy (kód, matematika) tolerují až 90 % syntetických dat.

— Editorial Team