Zpět na domů

NLP metriky rozmanitosti ve fantasy Hra o trůny Polari

Článek porovnává lexikální rozmanitost debutních fantasy románů „Hra o trůny“ a „Šíp, mince, jiskra“ pomocí metrik KUL, MATTR, HD-D. Byly odhaleny rozdíly v emocionálním tónu, zásobě lemm a struktuře vět. Materiál je užitečný pro vývojáře NLP.

KUL a MATTR: rozbor fantasy prózy na příkladech Martina a Suržikova
Advertisement 728x90

# Kvantitativní NLP analýza lexikální rozmanitosti ve fantasy románech

Srovnání debutových románů Hra o trůny (IP, G. R. R. Martin, 1996) a Šíp, mince, jiskra (SMI, R. Suržikov, 2016) prostřednictvím NLP nástrojů odhaluje rozdíly v lexikální rozmanitosti. IP obsahuje 240 796 slov, SMI — 277 389. Průměrná délka vět: 9,6 slova v IP oproti 8,5 v SMI. Zkoumají se metriky MATTR, MTLD, HD-D a autorské KUL pro objektivní hodnocení stylu.

Hlavní parametry textů

| Parametr | IP | SMI | Poznámka |

|----------|----|-----|------------|

Google AdInline article slot

| Stran | ~933 | ~1089 | form. |

| Vět | 24 998 | 32 448 (+30%) | - |

| Slov | 240 796 | 277 389 (+15%) | - |

Google AdInline article slot

| DET (emocionální tón) | 3,5% | 10,5% (+200%) | !/? kombinace |

| KUL | 13,50% | 16,72% (+24%) | na 50K slov |

| MATTR | 70,58% | 72,16% | lokální rozmanitost |

Google AdInline article slot

| HD-D | 91,93% | 92,97% | globální rozmanitost |

| IUFO | 63,6 | 63,5 | Fleš-Oborněva |

| Dialogy | 37,6% | 35,6% | - |

KUL měří kumulativitu unikátních lemm: poměr unikátních forem k 50K slovům při opakované náhodné výběrce. Přesnost ~99,5 %, nezávisle na objemu textu. MATTR se zaměřuje na lokální rozmanitost v oknech, HD-D na globální hustotu typů.

  • Výhody KUL: vyhlazuje nelinearitu, vhodné pro texty od 50K slov.
  • MATTR: citlivé na krátké sekvence opakování.
  • HD-D: zohledňuje všechny typy, ale přeceňuje v velkých korpusech.
  • Index hapaxů: pokles uprostřed u IP, na konci u SMI.

Algoritmus výpočtu KUL

KUL = (průměr unikátních lemm za N výběrů po 50K slov) / 50 000 × 100 %.

  • Lemmatizovat text (používáme pymorphy2 nebo analog).
  • Náhodně vybrat 50K slovebních forem Mkrát (M=1000 pro přesnost).
  • Pro každou výběr spočítat unikátní lemata.
  • Vzít průměr, normalizovat.

To odráží „aktivní slovní zásobu“ — schopnost autora zavádět nové lemata bez vyčerpání.

Srovnání emocionálního tónu a stylu

Podíl emocionálního tónu (DET): procento vět s !, !!, ?! apod. (vyloučeny čisté ?). SMI vede s 10,5 % oproti 3,5 % v IP. Srovnání s klasikou:

  • Tolstoj Válka a mír: ~5,2 %.
  • Dostojevskij Zločin a trest: ~18,2 %.

Dlouhé věty se shodují v znaménkách: 456 v obou. Příklad z IP: popis předvoje vojska. Ze SMI: instrukce k etiketě.

Rozložení písmen abecedy je stabilní: „o“ ~10–11 %, „e“/„a“ ~8 %. „Yo“ minimální. Zipfův zákon není splněn (a=-1,358 pro IP, -1,296 pro SMI).

Hloubka a tematika

Hloubka vyprávění: 3,87 (IP) vs 3,72 (SMI). Tematika podle n-gramů: šlechta v obou. Top jména: John/Ned/Tyrion vs Erwin/Mira/Harman. Palindromy: 63 vs 83 (+31 %). SMI má 155 historických událostí, IP — nulovou chronologii.

Tělesné vyprávění je silnější v IP (+37 %). Refrény: „sedmé peklo“ vs „tma (požri)“.

Co je důležité

  • KUL ukazuje větší zásobu lemm u Suržikova (16,72 % vs 13,50 %), navzdory rozdílu v zkušenostech autorů.
  • MATTR/HD-D jsou blízko (72 % vs 70 %, 93 % vs 92 %), metriky se navzájem doplňují.
  • Emocionálnost je 3× vyšší v SMI, ovlivňuje vnímání dynamiky.
  • IUFO je shodné (~63,5), čitelnost na úrovni middle-grade.
  • Hapaxy ukazují únavu: uprostřed u IP, na konci u SMI.

Praktické použití v NLP

Pro analýzu prózy kombinujte metriky: KUL pro globální zásobu, MATTR pro lokální svěžest. Skripty v Pythonu s NLTK/spaCy pro lemmatizaci. Testujte na 50K+ slovech pro stabilitu. Rozdíly ve fantasy zdůrazňují: debut Suržikova (29 let, 2 ceny) konkuruje Martinovi (48 let, 5 cen) v rozmanitosti.

— Editorial Team

Advertisement 728x90

Číst dál