NLP-metryki różnorodności w fantasy Gra o tron Polari

# Ilościowa analiza NLP różnorodności leksykalnej w powieściach fantasy

Porównanie debiutanckich powieści Gra o tron (IP, George R.R. Martin, 1996) i Strzała, moneta, iskra (SMI, R. Surżykow, 2016) za pomocą narzędzi NLP ujawnia różnice w różnorodności leksykalnej. IP zawiera 240 796 słów, SMI — 277 389. Średnia długość zdań: 9,6 słowa w IP wobec 8,5 w SMI. Rozważane są metryki MATTR, MTLD, HD-D oraz autorska KUL w celu obiektywnej oceny stylu.

Główne parametry tekstów

| Parametr | IP | SMI | Uwaga |

|-------------------|--------|---------|------------------------|

| Stron | ~933 | ~1089 | formalnie |

| Zdań | 24 998 | 32 448 (+30%) | - |

| Słowa | 240 796| 277 389 (+15%) | - |

| DET (ton emocjonalny) | 3,5% | 10,5% (+200%) | kombinacje !/? |

| KUL | 13,50% | 16,72% (+24%) | na 50 tys. słów |

| MATTR | 70,58% | 72,16% | lokalne różnorodie |

| HD-D | 91,93% | 92,97% | globalne różnorodie |

| IUFO | 63,6 | 63,5 | Flesz-Obornewa |

| Dialogi | 37,6% | 35,6% | - |

KUL mierzy kumulatywność unikalnych lemm: stosunek unikalnych form do 50 tys. słów przy wielokrotnej losowej próbie. Dokładność ~99,5%, niezależnie od objętości tekstu. MATTR skupia się na lokalnym różnorodiu w oknach, HD-D — na globalnej gęstości typów.

• Zalety KUL: wygładza nieliniowość, nadaje się do tekstów od 50 tys. słów.
• MATTR: wrażliwy na krótkie sekwencje powtórzeń.
• HD-D: uwzględnia wszystkie typy, ale przeszacowuje w dużych korpusach.
• Indeks hapaksów: spadek w środku u IP, na końcu u SMI.

Algorytm obliczania KUL

KUL = (średnia unikalnych lemm za N próbek po 50 tys. słów) / 50 000 × 100%.

• Lematatyzować tekst (używamy pymorphy2 lub analogu).
• Losowo wybrać 50 tys. form słów M razy (M=1000 dla dokładności).
• Dla każdej próby policzyć unikalne lem.
• Wejąć średnią, znormalizować.

To odzwierciedla „aktywny zasób słownictwa” — zdolność autora do wprowadzania nowych lemm bez wyczerpania.

Porównanie tonu emocjonalnego i stylu

Dudział tonu emocjonalnego (DET): procent zdań z !, !!, ?! i tp. (wykluczając czyste ?). SMI prowadzi z 10,5% wobec 3,5% w IP. Porównanie z klasyką:

• Tołstoj Wojna i pokój: ~5,2%.
• Dostojewski Zbrodnia i kara: ~18,2%.

Długie zdania pokrywają się pod względem znaków: 456 w obu. Przykład z IP: opis awangardy wojska. Z SMI: instrukcje etykiety.

Rozkład liter alfabetu stabilny: „o” ~10-11%, „e”/„a” ~8%. „Yo” minimalna. Prawo Zipfa nie jest spełnione (a=-1,358 dla IP, -1,296 dla SMI).

Głębokość i tematyka

Głębokość narracji: 3,87 (IP) vs 3,72 (SMI). Tematyka wg n-gramów: szlachta w obu. Top-imiona: Jon/Ned/Tyriion vs Erwin/Mira/Harman. Palindromy: 63 vs 83 (+31%). SMI ma 155 wydarzeń historycznych, IP — zerową chronologię.

Narracja cielesna silniejsza w IP (+37%). Refreny: „siódme piekło” vs „ciemność (pożryj)”.

Co ważne

• KUL pokazuje większy zasób lemm u Surżykowa (16,72% vs 13,50%), mimo różnicy w doświadczeniu autorów.
• MATTR/HD-D zbliżone (72% vs 70%, 93% vs 92%), metryki się uzupełniają.
• Emocjonalność 3 razy wyższa w SMI, wpływa na postrzeganie dynamiki.
• IUFO identyczne (~63,5), czytelność na poziomie middle-grade.
• Hapaksy wskazują na zmęczenie: środek u IP, koniec u SMI.

Praktyczne zastosowanie w NLP

Do analizy prozy łącz metryki: KUL dla globalnego zasobu, MATTR dla lokalnej świeżości. Skrypty w Pythonie z NLTK/spaCy do lematyzacji. Testuj na 50 tys.+ słowach dla stabilności. Różnice w fantasy podkreślają: debiut Surżykowa (29 lat, 2 nagrody) konkurował z Martinem (48 lat, 5 nagród) pod względem różnorodia.

— Editorial Team