Self-training: dlaczego działa i jak uniknąć collapse

Samodoskonalenie na danych syntetycznych: mechanizmy sukcesu i próg załamania modelu

Dane syntetyczne są generowane przez same modele w celu dalszego uczenia, rozwiązując problem niedoboru rzeczywistych przykładów. Samodoskonalenie działa poprzez formatowanie danych w optymalnej postaci, zwiększanie gęstości użytecznego sygnału i destylację umiejętności z modelu nauczyciela do modelu ucznia. Jednak rekurencyjne wykorzystanie prowadzi do załamania modelu — zawężenia rozkładu i utraty rzadkich zdarzeń.

Syntetyka jest tworzona przez algorytmy: self-instruct dla instrukcji, destylacja nauczyciel-uczeń, generowanie zadań z rozwiązaniami, rozszerzanie zbiorów danych podobnymi przykładami. W przeciwieństwie do symulacji, skupienie na modelach generatywnych.

Zalety danych syntetycznych:

• Ustrukturyzowany format: jasne chain-of-thought, jednolite szablony Q&A.
• Wysoka gęstość: minimum szumu, maksimum różnorodności sformułowań jednej koncepcji.
• Przenoszenie wzorców: silny model przekazuje logikę rozwiązania, a nie kopiuje tekst.

Ryzyko rekurencji: jak powstaje załamanie modelu

W zamkniętej pętli generacja → uczenie się powtarza, imitując kopiowanie degradujących kopii. Rzadkie szczegóły są zacierane, błędy kumulują się, rozkład zawęża się do modelu.

Załamanie modelu objawia się stopniowo:

• Zanikanie ogonów: rzadkie przypadki znikają.
• Szablonizacja: odpowiedzi są jednorodne, tracą niuanse.
• Fałszywa pewność: metryki na danych syntetycznych rosną, na rzeczywistych — spadają.

Punkty przegięcia: kiedy samodoskonalenie wymyka się spod kontroli

Niebezpieczeństwo pojawia się w trzech scenariuszach:

Scenariusz 1: dominacja syntetyki. Rzeczywiste dane muszą pozostać kotwicą — nie mniej niż 20–30% objętości. Jeśli syntetyka >70%, więź z rzeczywistością się zrywa.

Scenariusz 2: brak weryfikacji. Bez zestawów gold i testów na danych hold-out model optymalizuje się pod iluzję jakości.

Scenariusz 3: nieweryfikowalne zadania. Syntetyka jest niezawodna dla kodu (testy jednostkowe), matematyki (dokładne dopasowanie), logiki (sprawdzanie oparte na regułach). W domenach oceniających — ryzyko samopotwierdzenia.

| Zadanie | Weryfikowalność | Ryzyko załamania |

|--------|------------------|---------------|

| Kod | Wysoka (testy) | Niskie |

| Matematyka | Wysoka | Niskie |

| Fakty/osądy | Niska | Wysokie |

Diagnozowanie degradacji w produkcji

Monitoruj objawy na zbiorach walidacyjnych:

• Spadek perplexity na ogonach rozkładu long-tail.
• Wzrost szablonowości: cosine similarity odpowiedzi >0.8.
• Rozbieżność metryk: internal loss spada, external benchmark — rośnie.

Używaj testów A/B: porównuj modele z/bez świeżej syntetyki z baseline na rzeczywistych zadaniach.

Praktyczne strategie bezpiecznego samodoskonalenia

Syntetyka jest skuteczna jako uzupełnienie. Kluczowe zasady:

• Stała kotwica rzeczywista: 30–50% rzeczywistych danych w każdej partii, z rotacją.
• Sztywna filtracja:

- Filtr perplexity < próg.

- Deduplikacja (MinHash, Jaccard >0.9).

- Próbkowanie różnorodności według klastrów embeddingów.

• Generowanie celowane: skupienie na lukach — rzadkie klasy, przypadki brzegowe, kontrfakty.
• Automatyczna weryfikacja:

- Kod: lint + testy.

- Matematyka: sympy/eval.

- Fakty: wewnętrzny RAG-check.

Skuteczność sprawdzaj według triady:

• Użyteczność: Δaccuracy na hold-out.
• Odporność: tail loss < baseline.
• Koszt: przyrost jakości na godzinę GPU.

Co jest ważne

• Syntetyka przyspiesza uczenie, ale wymaga rzeczywistej kotwicy dla stabilności.
• Załamanie modelu zaczyna się przy >70% syntetyki bez weryfikacji.
• Filtracja i generowanie celowane redukują ryzyko o 40–60% według benchmarków.
• Weryfikowalne zadania (kod, matematyka) tolerują do 90% syntetyki.

— Editorial Team