다운로드
작성자: admin 작성일시: 2018-02-22 17:01:37 조회수: 2758 다운로드: 134
카테고리: 기초 수학 태그목록:

조건부 기댓값

확률변수 $Y$의 기댓값을 구할 때 주변 확률밀도함수 $f_Y(y)$를 사용하여 가중치를 계산하지 않고 조건부 확률밀도함수 $f_{Y\vert X}(y|x)$를 이용하여 가중치를 계산하면 조건부 기댓값(conditional expectation) 혹은 조건부 평균(conditional mean)이 된다.

$$ \text{E}_Y[Y \vert X] = \int_{y=-\infty}^{y=\infty} y \, f_{Y \vert X}(y|x) dy $$

또는 간단히 다음처럼 쓴다.

$$ \text{E}[Y \vert X] = \int y \, f(y|x) dy $$

조건부 기댓값에서 조건이 되는 확률변수 $X$의 값 $x$는 조건부 기댓값을 사용하는 사용자가 지정해야 하는 독립변수이다. 그리고 조건부 기댓값은 조건이 되는 확률변수의 값에 따라서 분포가 달라지는 확률변수이다. $\text{E}[Y \vert X]$는 조건이 되는 확률변수의 값을 독립변수(입력변수)로 가지는 함수이다.

$$ \text{E}[Y \vert X=x] = h(x) $$

또는 간단히 다음처럼 쓴다.

$$ \text{E}[Y \vert X] = h(X) $$

$h(x)$는 조건이 되는 확률변수 $X$의 값을 입력받아서 결과가 되는 확률변수 $Y$의 기댓값을 출력하는 함수이다.

조건부 기댓값 $\text{E}[Y \vert X]$가 $X$의 함수, 즉 변환(transform)이므로 조건부 기댓값 $\text{E}[Y \vert X]$도 확률변수이다.

만약 확률변수 $Y$가 확률변수 $X$의 값을 독립변수로 하는 결정론적 함수값이라면

$$ Y = g(X) $$

사용자가 $X$의 값을 어떤 값 $x$로 정하는 순간 $Y$의 값도 결정되어 버리기 때문에 $Y=g(X)$는 더이상 확률적인 값이 아니라 상수가 되어 버린다.

$$ \text{E}[Y \vert X] = \text{E}[g(X) \vert X] = g(X) $$

같은 방식으로 확률변수 $X$와 $Y$가 결정론적 함수 관계가 아닐 때도 다음 등식이 성립한다.

$$ \text{E}[g(X) Y \vert X] = g(X) \text{E}[Y \vert X] $$

전체 기댓값의 법칙

조건부 기댓값은 여전히 확률변수이므로 조건이 되는 확률변수에 대해 다시 기댓값을 구할 수 있다. 이렇게 반복하여 구한 조건부 기댓값의 기댓값은 원래 확률변수의 보통 기댓값과 같다.

$$ \text{E}_X[\text{E}_Y[Y \vert X]] = \text{E}_Y[Y] $$

또는 간단히 다음처럼 쓴다.

$$ \text{E}[\text{E}[Y \vert X]] = \text{E}[Y] $$

이를 전체 기댓값의 법칙(law of total expectation) 또는 반복 기댓값의 법칙(law of iterated expectation)이라고 하며 전체 확률의 법칙에서 증명할 수 있다.

연습 문제 9.2.3

전체 기댓값의 법칙을 사용하여 다음을 증명하라.

$$ \text{E}[(Y - \text{E}[Y \vert X])g(X)] = 0 $$

조건부 분산

조건부 기댓값을 정의한 것처럼 조건부 분산(conditional variance)도 다음처럼 정의할 수 있다.

$$ \text{Var}_Y[Y \vert X] = \text{E}_Y[(Y - \text{E}_Y[Y \vert X])^2 \vert X] = \int (Y - \text{E}_Y[Y \vert X])^2 f_{Y \vert X}(y \vert x) dy $$

전체 분산의 법칙

확률변수의 분산은 조건부 분산의 기댓값과 조건부 기댓값의 분산의 합과 같다. 이를 전체 분산의 법칙(law of total variance)라고 한다.

$$ \text{Var}[Y] = \text{E}[\text{Var}[Y\vert X]] + \text{Var}[\text{E}[Y\vert X]] $$

질문/덧글

마지막 부분 전체 공분산의 법칙 쪽에 오타가 있는 것 같습니다. thsw*** 2018년 3월 1일 2:15 오후

variance -> covariance
그리고 수식에서도 공분산 부분에 콤마가 빠진 것 같습니다.

답변: 마지막 부분 전체 공분산의 법칙 쪽에 오타가 있는 것 같습니다. 관리자 2018년 3월 1일 5:41 오후

수정하였습니다. 지적 감사드립니다.

비문이 좀 있네요. mbt0*** 2018년 10월 4일 12:09 오후

"조건부 기댓값을 구할 때 만약 조건이 되는 확률 변수의 값은 기대값을 계산하는 확률 변수가 아니다. 즉 기대값을 계산하는 확률 변수 입장에서는 상수이므로 기댓값 계산 연산자 밖으로 나올 수 있다."

글 쓰시는 과정에서 비문이 좀 생긴거 같습니다. 궁금한 부분인데 수정해 주시면 좋겠네요^^

답변: 비문이 좀 있네요. 관리자 2018년 10월 4일 6:21 오후

지적 감사드립니다. 본문을 수정하였습니다. 읽어보시고 의문이 있으면 다시 답글 부탁드립니다.