다운로드
작성자: admin 작성일시: 2016-04-15 14:23:34 조회수: 5578 다운로드: 373
카테고리: 기초 수학 태그목록:

기댓값

확률분포의 기댓값

확률변수의 확률밀도함수를 알고 있다면 확률변수의 표본평균의 이론적인 값을 구할 수 있다. 이러한 이론적 평균을 확률변수의 기댓값(expectation)이라고 한다. 경우에 따라 단순히 평균(mean)이라고 말하기도 한다.

확률변수의 기댓값을 구하는 연산자(operator)는 영어 Expectation의 첫글자를 사용하여 $\operatorname{E}[\cdot]$로 표기한다. 기댓값은 그리스 문자 $\mu_X$ 로 표기한다. 확률변수를 혼동할 염려가 없으면 확률변수 이름은 생략하고 그냥 $\mu$라고 써도 된다.

이산확률변수의 기댓값은 표본공간의 원소 $x_i$의 가중평균이다. 이때 가중치는 $x_i$가 나올 수 있는 확률 즉 확률질량함수 $P(x_i)$이다.

$$ \mu_X = \operatorname{E}[X] = \sum_{x_i \in \Omega} x_iP(x_i) $$

예를 들어 공정한 주사위에서 나올 수 있는 숫자를 대표하는 확률변수 $X$는 나올 수 있는 값이 1, 2, 3, 4, 5, 6 이므로,

$$ \mu_X = 1 \cdot \dfrac{1}{6} + 2 \cdot \dfrac{1}{6} + 3 \cdot \dfrac{1}{6} + 4 \cdot \dfrac{1}{6} + 5 \cdot \dfrac{1}{6} + 6 \cdot \dfrac{1}{6} = 3.5$$

기댓값은 3.5이다.

참고로 표본평균을 구하는 공식은 다음과 같았다. 두 식에서 $x_i$의 의미가 다르다는 점에 유의하라.

$$ m = \bar x = \dfrac{1}{N} \sum_{i=1}^N x_i $$

연습 문제 8.1.1

기댓값을 구하는 공식에서는 확률을 가중치로 곱한다. 그런데 왜 표본평균을 구하는 공식에서는 확률 가중치가 없는가?

연습 문제 8.1.2

공정한 동전이 있고 이 동전의 앞면이 나오면 1, 뒷면이 나오면 0인 확률변수 $X$가 있다. 이 확률변수의 기댓값 $\text{E}[X]$을 구하라.

연속확률변수의 기댓값은 $x$를 가중치 확률밀도함수 $f(x)$로 적분한 값이다.

$$ \mu_X = \operatorname{E}[X] = \int_{-\infty}^{\infty} x f(x) dx $$

그림 8.1.1 : 기댓값

예를 들어 회전하는 원반을 이용하여 복권 번호를 결정하는 문제에서 확률밀도함수 $f(x)$와 여기에서 $x$가 곱해진 함수 $xf(x)$의 모양은 다음과 같다. 기댓값은 이 함수 $xf(x)$를 적분하여 구한 면적이다.

In [1]:
x = np.linspace(-100, 500, 1000)
f = np.zeros_like(x)
f[(0 < x) & (x <= 360)] = 1 / 360
xf = x * f

plt.subplot(121)
plt.plot(x, f)
plt.xticks([0, 180, 360])
plt.title("$f(x)$")
plt.xlabel("$x$ (deg.)")

plt.subplot(122)
plt.plot(x, xf)
plt.xticks([0, 180, 360])
plt.title("$xf(x)$")
plt.xlabel("$x$ (deg.)")\

plt.show()

만약 원반이 0도에서 180도 사이에 더 화살이 2배 더 잘 박히도록 조작되었다면 확률밀도함수 $f(x)$와 여기에서 $x$가 곱해진 함수 $xf(x)$의 모양은 다음과 같다. 기댓값은 이 함수 $xf(x)$를 적분하여 구한 면적이다.

In [2]:
x = np.linspace(-100, 500, 1000)
f = np.zeros_like(x)
f[(0 < x) & (x <= 180)] = 2 / (3 * 360) 
f[(180 < x) & (x <= 360)] = 1 / (3 * 360) 
xf = x * f

plt.subplot(121)
plt.plot(x, f)
plt.xticks([0, 180, 360])
plt.title("$f(x)$")
plt.xlabel("$x$ (deg.)")

plt.subplot(122)
plt.plot(x, xf)
plt.xticks([0, 180, 360])
plt.title("$xf(x)$")
plt.xlabel("$x$ (deg.)")\

plt.show()

연습 문제 8.1.3

확률변수 $Y$는 0도에서 180도 사이에 더 화살이 2배 더 잘 박히도록 조작된 원반을 이용하여 복권 번호를 결정하는 문제에서 나오는 각도이다. 확률변수 $Y$의 기댓값 $\text{E}[Y]$을 구하라.

확률밀도함수의 모양과 기댓값

기댓값은 여러가지 가능한 $x$의 값들을 확률질량(확률밀도) 값에 따라 가중합을 한 것이므로 가장 확률(확률밀도)가 높은 $x$값 근처의 값이 된다. 즉, 확률(확률밀도)가 모여 있는 곳의 위치를 나타낸다.

확률변수의 변환

어떤 확률변수 $X$가 있다고 하자. 확률변수 $Y = 2X$는 확률변수 $X$에서 나온 값을 2배한 값이 나오도록 하는 새로운 확률변수를 뜻한다. 마찬가지로 확률변수 $X$와 $Y$가 있다고 가정하였을 때, 새로운 확률변수 $Z = X + Y$는 확률변수 $X$에서 나온 값과 확률변수 $Y$에서 나온 값을 더한 값이 나오도록 하는 확률변수를 뜻한다.

이렇게 기존의 확률변수를 연산하여 새로운 확률변수를 만드는 것을 확률변수의 변환(transform)이라고 한다. 확률변수를 변환할 때는, 함수 $f$를 사용하면, 다음처럼 표기한다.

$$ Y = f(X) $$

그림 8.1.2 : 확률변수의 변환

연습 문제 8.1.4

확률변수 $X$는 주사위를 던져 나오는 수를 나타내는 확률변수이다. 그리고 $Y$는 주사위를 던져나오는 수에 2배를 한 수를 나타내는 확률변수이다. $X$, $Y$의 의 확률질량함수의 그래프를 각각 그려라.

다만 확률변수 $X$에서 표본을 $N$번 뽑아서 그 값에 대해 연산을 하는 경우에는 다음처럼 원래 확률변수의 복사본 $X_1, X_2, \ldots, X_N$을 만든 다음 이 확률변수의 표본값을 더한 형태로 변환식을 써야 한다.

$$ Y = X_1 + X_2 + \cdots X_N $$

이렇게 쓰는 이유는 $X_1$과 $X_2$가 같은 확률변수이지만 표본값이 다르기 때문이다. 만약 다음과 같이 쓰게 된다면,

$$ Y = X + X + \cdots X $$

이 식은 다음처럼 전혀 다른 확률변수를 가리킨다.

$$ Y = N \cdot X $$

연습 문제 8.1.5

확률변수 $X_1$과 $X_2$는 각각 주사위를 던져 나오는 수를 나타내는 확률변수이다. 그리고 $Y$는 두 주사위를 동시에 던져 나오는 수의 합을 나타내는 확률변수이다. 확률변수 $X_1$, $X_2$, $Y$의 확률질량함수의 그래프를 각각 그려라.

기댓값의 성질

기댓값은 다음과 같은 성질을 가진다는 것을 수학적으로 증명할 수 있다. 변환된 확률변수의 기댓값을 계산할 때는 기댓값의 성질을 이용한다.

  • 확률변수가 아닌 상수 $c$에 대해
$$ \operatorname{E}[c] = c$$
  • 선형성
$$ \begin{align} \operatorname{E}[cX] &= c \operatorname{E}[X] \\ \operatorname{E}[X + Y] &= \operatorname{E}[X] + \operatorname{E}[Y] \\ \operatorname{E}[c_1X + c_2Y] &= c_1\operatorname{E}[X] + c_2\operatorname{E}[Y] \end{align} $$

표본평균의 확률분포

확률변수로부터 $N$개의 표본을 만들어 이 표본집합의 표본평균을 구하면 이렇게 구한 표본평균 값도 확률변수이다. 표본평균의 확률변수는 원래의 확률변수 이름에 bar를 추가하여 $\bar{X}$와 같이 표기한다. 예를 들어 확률변수 $X$에서 나온 표본으로 만들어진 표본평균의 확률변수는 $\bar{X}$로 표기한다.

$$ \bar{X} = \dfrac{1}{N}\sum_{i=1}^{N} X_i $$

위 식에서 $X_i$는 $i$번째로 실현된 표본값을 생성하는 확률변수를 의미한다. 이 확률변수 $X_i$는 원래의 확률변수 $X$의 복사본이다.

그림 8.1.3 : 표본평균

연습 문제 8.1.6

표본평균 $\bar{x}$의 값은 확률적인 데이터이고 이를 생성하는 확률변수 $\bar{X}$는 위와 같이 정의할 수 있었다. 그렇다면 (편향)샘플분산 $s^2$의 값은 확률적인 데이터인가? 만약 그렇다면 이를 생성하는 확률변수 $S^2$은 어떻게 정의해야 하는가?

기댓값과 표본평균의 관계

표본평균도 확률변수이므로 기댓값이 존재한다. 표본평균의 기댓값은 원래의 확률변수의 기댓값과 같다는 것을 다음처럼 증명할 수 있다.

$$ \operatorname{E}[ \bar{X} ] = \operatorname{E}[X] $$

(증명)

$$ \begin{eqnarray} \operatorname{E}[\bar{X}] &=& \operatorname{E}\left[\dfrac{1}{N}\sum_{i=1}^{N}X_i \right] \\ &=& \dfrac{1}{N}\sum_{i=1}^{N}\operatorname{E}[X_i] \;\; (\text{선형성}) \\ &=& \dfrac{1}{N}\sum_{i=1}^{N}\operatorname{E}[X] \;\; (\text{$X_i$는 $X$의 복사본이므로 기댓값이 같다.})\\ &=& \dfrac{1}{N} N \operatorname{E}[X] \;\; (\text{동일한 값의 합})\\ &=& \operatorname{E}[X] \\ \end{eqnarray} $$

이 식이 뜻하는 바는 다음과 같다.

표본평균은 확률변수의 기댓값 근처의 값이 된다.

예를 들어 공정한 주사위의 기댓값은 3.5이다. 이 주사위를 던져 나온 값의 평균 즉 표본평균은 3.62346 또는 3.40987처럼 항상 3.5 근처의 값이 나오게 된다.

중앙값

확률변수의 중앙값(median)은 중앙값보다 큰 값이 나올 확률과 작은 값이 나올 확률이 0.5로 같은 값을 뜻한다. 따라서 다음과 같이 누적확률분포 $F(x)$에서 중앙값을 계산할 수 있다.

$$ 0.5 = F(\text{median}) $$$$ \text{median} = F^{-1}(0.5) $$

그림 8.1.4 : 중앙값

최빈값

이산확률분포에서는 가장 확률 값이 큰 수를 최빈값(most grequency value)이라고 한다. 하지만 연속확률분포인 경우에는 어느 값에 대해서나 특정한 값이 나올 확률은 0(zero)이므로 연속확률분포의 최빈값(mode)은 확률밀도함수 $f(x)$의 값이 가장 큰 확률변수의 값으로 정의한다. 즉 확률밀도함수의 최댓값의 위치이다.

$$ \text{mode} = \arg \max_x f(x) $$

질문/덧글

확률분포의 기댓값 moon*** 2016년 10월 13일 2:12 오후

만일 확률 변수가 따르고 있는 확률 모형, 정확히는 확률 밀도 함수를 알고 있을 경우에는 다음과 같은 수식을 사용하여 이론적인 평균을 구할 수 있다.

라고 설명이 되어있는데

확률 밀도 함수를 모르는 경우에는 이론적인 평균을 구할 수 없으니까 기댓값이 없다 라고 할 수 있나요?

답변: 확률분포의 기댓값 관리자 2016년 10월 14일 10:06 오전

우리가 모른다고 기댓값이 없는 것은 아닙니다. 단지 모르는 것 뿐이고 추정(estimation)을 통해 짐작하는 것이 우리가 해야 할 일입니다.