Ověřování hypotéz ve statistice: základy a chyby

Testování statistických hypotéz: od filozofie k praxi

Testování hypotéz ve statistice vychází z přísného oddělení objektivní reality od náhodnosti dat. Hypotéza je tvrzení o skutečnosti: buď pravdivé, nebo nepravdivé. Pravděpodobnost vzniká až při sběru dat, který předpokládáme náhodný.

Příklad: otázka „Je teď léto?“ z uzavřené místnosti. Pravidla testu se stanoví předem. Kritérium: sněžení zamítne hypotézu H0 „Je teď léto“. To vytváří riziko chyby prvního druhu (α) – zamítnout správnou H0. Pravděpodobnost α se pevně stanoví předem jako hladina významnosti.

Kritická událost je nepravděpodobná při platné H0. Kritérium však musí rozlišovat H0 od alternativy H1, minimalizovat chybu druhého druhu (β) a maximalizovat sílu testu (1-β).

Chyby a volba kritéria

Kompletní mantra: zamítáme H0 při události nepravděpodobné pod H0 a pravděpodobné pod H1. H0 má prezumpci nevinnosti – zamítáme ji jen při silných důkazech (malé α).

Špatná kritéria:

• Vzácný pták jen v létě: nikdy neodmítne chybnou H0 (β=1).
• Kometu: stejně pravděpodobná kdykoli, nerozlišuje hypotézy.
• Úzký rozsah +26,0–26,1 °C: nepravděpodobný v létě, ale pro něj typický.

Dobré kritérium (sněžení) je nepravděpodobné pod H0 a pravděpodobné pod H1.

H1 může být jednoduché popírání (není léto) nebo konkrétní (podzim/jaro). Volba ovlivňuje sílu testu. Ve výzkumech je H0 často „absence efektu“ z konzervatismu vědy.

Plánování experimentu

Testování hypotéz je nástroj pro rozhodování v nejistotě. Předem se plánuje velikost vzorku, aby se kontrolovaly α a β.

Klíčové kroky algoritmu:

• Formulovat H0 a H1.
• Vybrat α (hladinu významnosti).
• Definovat kritickou událost minimalizující β.
• Spočítat sílu testu.
• Určit velikost vzorku.
• Shromáždit data a aplikovat kritérium.

To umožňuje zvážit rizika chyb vůči ceně rozhodnutí.

Co je důležité

• H0 je chráněná: zamítáme ji jen při nepravděpodobné události (α stanoveno předem).
• Síla kritéria: pravděpodobnost odhalit chybnou H0 (1-β).
• Náhodnost v datech: hypotéza je deterministická, náhoda ve výběru.
• Plánování předem: velikost vzorku a kritérium se fixují před experimentem.
• Kontext rozhoduje: α a H1 se volí podle úlohy.

Filozofické aspekty a kritika

Přístup Neyman-Pearson předpokládá náhodnost při sběru dat (hází mincí pro test poctivosti). Kritici poukazují: vlastnosti mince jsou fixní, pravděpodobnost je v proceduře.

Alternativy (bayesovský přístup) odhadují pravděpodobnost hypotéz přímo, ale klasika se soustředí na chyby. V IT a data science se používají oba: klasika pro A/B testy, bayes pro modely s předchozími znalostmi.

Pro vývojáře: v ML se testování hypotéz používá pro validaci modelů (H0: model není lepší než baseline). Plánujte power analysis před experimenty, abyste se vyhnuli podcenění vzorku.

— Editorial Team