Funkcja generująca momenty: formuły i właściwości

Funkcja generująca momentów w teorii prawdopodobieństwa: obliczenia i właściwości

Funkcja generująca momentów (MGF) definiuje rozkład zmiennej losowej poprzez oczekiwanie eksponenty: $M_W(t) = E[e^{tW}]$. To podejście pozwala na wyciągnięcie wszystkich momentów rozkładu poprzez różniczkowanie w punkcie $t=0$. MGF istnieje, jeśli całka zbiega się w otoczeniu zera, co wyklucza rozkłady z ciężkimi ogonami, takie jak Cauchy.

Momenty $E[W^r]$ opisują kształt rozkładu. Pierwszy moment to oczekiwanie matematyczne $E[W]$, drugi związany jest z wariancją $Var(W) = E[W^2] - (E[W])^2$. Bezpośrednie obliczanie wyższych momentów jest trudne ze względu na wzmocnienie ogonów, ale MGF rozwiązuje ten problem poprzez rozwinięcie w szereg Taylora.

Rozwinięcie matematyczne i ekstrakcja momentów

Rozwińmy $e^{tW}$ w szereg Taylora:

$$e^{tW} = 1 + tW + \frac{(tW)^2}{2!} + \frac{(tW)^3}{3!} + \dots$$

Oczekiwanie daje:

$$M_W(t) = 1 + t E[W] + \frac{t^2 E[W^2]}{2!} + \frac{t^3 E[W^3]}{3!} + \dots$$

Różniczkowanie po $t$ i podstawienie $t=0$ wydziela momenty:

• $M_W'(0) = E[W]$
• $M_W''(0) = E[W^2]$
• W ogólnym przypadku: $M_W^{(r)}(0) = E[W^r]$

Wynika to z faktu, że współczynnik przy $t^r / r!$ jest równy $E[W^r]$. Dla istnienia MGF wymagane jest $E[e^{tW}] < \infty$ w pewnym otoczeniu $t=0$.

Właściwość addytywności dla niezależnych zmiennych

Kluczową zaletą MGF jest multiplikatywność dla sumy niezależnych zmiennych losowych $V$ i $W$:

$$M_{V+W}(t) = M_V(t) \cdot M_W(t)$$

Dowód:

$$M_{V+W}(t) = E[e^{t(V+W)}] = E[e^{tV} e^{tW}] = E[e^{tV}] E[e^{tW}] = M_V(t) M_W(t)$$

To upraszcza analizę konwolucji rozkładów, gdzie bezpośrednie obliczenia są skomplikowane.

Przykład: rozkład wykładniczy

Rozważmy $W \sim Exp(\lambda)$ z gęstością $f(x) = \lambda e^{-\lambda x}$, $x \geq 0$. MGF oblicza się jako:

$$M_W(t) = E[e^{tW}] = \int_0^\infty e^{tx} \lambda e^{-\lambda x} dx = \lambda \int_0^\infty e^{-(\lambda - t)x} dx$$

Całka zbiega się dla $t < \lambda$ i jest równa $\frac{\lambda}{\lambda - t}$:

$$M_W(t) = \frac{\lambda}{\lambda - t}, \quad t < \lambda$$

Pochodne:

$$M_W'(t) = \frac{\lambda}{(\lambda - t)^2} \implies M_W'(0) = \frac{1}{\lambda}$$

$$M_W''(t) = \frac{2\lambda}{(\lambda - t)^3} \implies M_W''(0) = \frac{2}{\lambda^2}$$

Wariancja: $Var(W) = \frac{2}{\lambda^2} - \left( \frac{1}{\lambda} \right)^2 = \frac{1}{\lambda^2}$.

Praktyczne zastosowania w analizie

MGF są używane do identyfikacji rozkładów, testowania hipotez i symulacji. W data science i ML pomaga w analizie sum błędów modeli lub generowaniu syntetycznych danych. Porównanie MGF różnych rozkładów upraszcza dowody zbieżności.

Na przykład, dla rozkładu normalnego $N(\mu, \sigma^2)$:

$$M(t) = \exp\left( \mu t + \frac{\sigma^2 t^2}{2} \right)$$

To pozwala szybko sprawdzać właściwości sum zmiennych normalnych.

Co ważne:

• MGF koduje wszystkie momenty poprzez pochodne w $t=0$.
• Multiplikatywna dla niezależnych sum, upraszczając konwolucje.
• Nie istnieje dla rozkładów z ciężkimi ogonami (Cauchy).
• Obszar zbieżności określa dziedzinę $t$.
• Przydatna do analitycznych obliczeń momentów wyższych rzędów.

— Editorial Team