다운로드
작성자: admin 작성일시: 2018-02-22 17:01:37 조회수: 1328 다운로드: 68
카테고리: 기초 수학 태그목록:

조건부 기댓값

확률 변수 $Y$의 기댓값을 구할 때 주변 확률밀도함수 $f_Y(y)$를 사용하여 가중치를 계산하지 않고 조건부 확률밀도함수 $f_{Y\vert X}(y|x)$를 이용하여 가중치를 계산하면 조건부 기댓값(conditional expectation) 혹은 조건부 평균(conditional mean)이 된다.

$$ \text{E}_Y[Y \vert X] = \int_{y=-\infty}^{y=\infty} y \, f_{Y \vert X}(y|x) dy $$

또는 간단히 다음처럼 쓴다.

$$ \text{E}[Y \vert X] = \int y \, f(y|x) dy $$

일반적인 기댓값은 상수이지만 조건부 기댓값은 조건이 되는 확률 변수의 값에 따라서 분포가 달라지는 확률변수이다. 즉 $\text{E}[Y \vert X]$는 확률변수이면서 $x$ 값에 따라 확률 밀도 함수가 달라진다.

조건부 기댓값을 구할 때 만약 조건이 되는 확률 변수의 값은 기대값을 계산하는 확률 변수가 아니다. 즉 기대값을 계산하는 확률 변수 입장에서는 상수이므로 기댓값 계산 연산자 밖으로 나올 수 있다.

$$ \text{E}[g(X) \vert X] = g(X) $$$$ \text{E}[g(X) Y \vert X] = g(X) \text{E}[Y \vert X] $$

전체 기댓값의 법칙

조건부 기댓값은 여전히 확률 변수이므로 조건이 되는 확률 변수에 대해 다시 기댓값을 구할 수 있다. 이렇게 반복하여 구한 조건부 기댓값의 기댓값은 원래 확률 변수의 보통 기댓값과 같다.

$$ \text{E}_X[\text{E}_Y[Y \vert X]] = \text{E}_Y[Y] $$

또는 간단히 다음처럼 쓴다.

$$ \text{E}[\text{E}[Y \vert X]] = \text{E}[Y] $$

이를 전체 기댓값의 법칙(law of total expectaion) 또는 반복 기댓값의 법칙(law iterated expectation)이라고 하며 전체 확률의 법칙에서 증명할 수 있다.

연습 문제 1

전체 기댓값의 법칙을 사용하여 다음을 증명하라.

$$ \text{E}[(Y - \text{E}[Y \vert X])g(X)] = 0 $$

조건부 분산

조건부 기댓값을 정의한 것처럼 조건부 분산(conditional variance)도 다음처럼 정의할 수 있다.

$$ \text{Var}_Y[Y \vert X] = \text{E}_Y[(Y - \text{E}_Y[Y \vert X])^2 \vert X] = \int (Y - \text{E}_Y[Y \vert X])^2 f_{Y \vert X}(y \vert x) dy $$

전체 분산의 법칙

확률 변수의 분산은 조건부 분산의 기댓값과 조건부 기댓값의 분산의 합과 같다. 이를 전체 분산의 법칙(law of total variance)라고 한다.

$$ \text{Var}[Y] = \text{E}[\text{Var}[Y\vert X]] + \text{Var}[\text{E}[Y\vert X]] $$

조건부 공분산

조건부 분산을 정의한 것처럼 조건부 공분산(conditional covariance)도 다음처럼 정의할 수 있다.

$$ \text{Cov}[X, Y \vert Z] = \text{E}[(X - \text{E}[X \vert Z])(Y - \text{E}[Y \vert Z]) \vert Z] = \int (x - \text{E}[X \vert Z])(y - \text{E}[Y \vert Z]) f(x, y \vert z) dxdy $$

전체 공분산의 법칙

확률 변수의 공분산은 조건부 공분산의 기댓값과 조건부 기댓값의 공분산의 합과 같다. 이를 전체 공분산의 법칙(law of total covariance)라고 한다.

$$ \text{Cov}[X,Y] = \text{E}[\text{Cov}[X,Y\vert Z]] + \text{Cov}[\text{E}[X\vert Z],\text{E}[Y\vert Z]] $$

질문/덧글

마지막 부분 전체 공분산의 법칙 쪽에 오타가 있는 것 같습니다. thsw*** 2018년 3월 1일 2:15 오후

variance -> covariance
그리고 수식에서도 공분산 부분에 콤마가 빠진 것 같습니다.

답변: 마지막 부분 전체 공분산의 법칙 쪽에 오타가 있는 것 같습니다. 관리자 2018년 3월 1일 5:41 오후

수정하였습니다. 지적 감사드립니다.