모멘트 생성 함수: 공식 및 속성

확률론에서 모멘트 생성 함수: 계산과 성질

모멘트 생성 함수(MGF)는 지수 함수의 기대값을 통해 확률변수의 분포를 정의합니다: $M_W(t) = E[e^{tW}]$. 이 방법으로 $t=0$에서 미분하여 분포의 모든 모멘트를 추출할 수 있습니다. MGF가 존재하려면 0 주변의 이웃에서 적분이 수렴해야 하며, 코시 분포처럼 무거운 꼬리를 가진 분포는 제외됩니다.

모멘트 $E[W^r]$은 분포의 모양을 설명합니다. 1차 모멘트는 평균 $E[W]$이고, 2차는 분산 $Var(W) = E[W^2] - (E[W])^2$과 관련됩니다. 고차 모멘트의 직접 계산은 꼬리 효과로 어렵지만, MGF는 테일러 급수 전개를 통해 이를 해결합니다.

수학적 전개와 모멘트 추출

$e^{tW}$를 테일러 급수로 전개합니다:

$$e^{tW} = 1 + tW + \frac{(tW)^2}{2!} + \frac{(tW)^3}{3!} + \dots$$

기대값을 취하면:

$$M_W(t) = 1 + t E[W] + \frac{t^2 E[W^2]}{2!} + \frac{t^3 E[W^3]}{3!} + \dots$$

$t$에 대해 미분한 후 $t=0$으로 놓으면 모멘트를 분리할 수 있습니다:

• $M_W'(0) = E[W]$
• $M_W''(0) = E[W^2]$
• 일반적으로: $M_W^{(r)}(0) = E[W^r]$

이는 $t^r / r!$의 계수가 $E[W^r]$이기 때문입니다. MGF가 존재하려면 $t=0$ 주변의 어떤 이웃에서 $E[e^{tW}] < \infty$이어야 합니다.

독립 변수의 합에 대한 가산성 성질

MGF의 핵심 장점은 독립 확률변수 $V$와 $W$의 합에 대해 곱셈이 성립한다는 점입니다:

$$M_{V+W}(t) = M_V(t) \cdot M_W(t)$$

증명:

$$M_{V+W}(t) = E[e^{t(V+W)}] = E[e^{tV} e^{tW}] = E[e^{tV}] E[e^{tW}] = M_V(t) M_W(t)$$

이는 직접 계산이 번거로운 컨볼루션 분석을 간단하게 합니다.

예시: 지수 분포

$W \sim Exp(\lambda)$로, 밀도 함수 $f(x) = \lambda e^{-\lambda x}$, $x \geq 0$이라 하자. MGF는:

$$M_W(t) = E[e^{tW}] = \int_0^\infty e^{tx} \lambda e^{-\lambda x} dx = \lambda \int_0^\infty e^{-(\lambda - t)x} dx$$

$t < \lambda$에서 적분이 수렴하며 $\frac{\lambda}{\lambda - t}$입니다:

$$M_W(t) = \frac{\lambda}{\lambda - t}, \quad t < \lambda$$

미분:

$$M_W'(t) = \frac{\lambda}{(\lambda - t)^2} \implies M_W'(0) = \frac{1}{\lambda}$$

$$M_W''(t) = \frac{2\lambda}{(\lambda - t)^3} \implies M_W''(0) = \frac{2}{\lambda^2}$$

분산: $Var(W) = \frac{2}{\lambda^2} - \left( \frac{1}{\lambda} \right)^2 = \frac{1}{\lambda^2}$.

분석에서의 실용적 응용

MGF는 분포 식별, 가설 검정, 시뮬레이션에 사용됩니다. 데이터 과학과 머신러닝에서 모델 오차의 합 분석이나 합성 데이터 생성에 유용합니다. 분포 간 MGF 비교는 수렴 증명을 간소화합니다.

예를 들어, 정규분포 $N(\mu, \sigma^2)$의 MGF는:

$$M(t) = \exp\left( \mu t + \frac{\sigma^2 t^2}{2} \right)$$

이는 정규분포 합의 성질 검증을 쉽게 합니다.

핵심 요약:

• $t=0$에서의 미분으로 모든 모멘트를 인코딩.
• 독립 합에 대해 곱셈 성질로 컨볼루션 간소화.
• 무거운 꼬리 분포(코시)에서는 존재하지 않음.
• 수렴 영역이 $t$ 범위를 정의.
• 고차 모멘트의 분석적 계산에 이상적.

— Editorial Team