다운로드
작성자: admin 작성일시: 2018-06-23 11:01:47 조회수: 1023 다운로드: 70
카테고리: 기타 태그목록:

회귀분석의 기하학

회귀 벡터 공간

선형 회귀분석으로 예측한 값 $\hat{y}$는 $X$의 각 열 $c_1, \cdots, c_M$의 선형 조합으로 표현된다. 모든 열이 선형 독립이면 예측값 $\hat{y}$는 $X$의 각 열 $c_1, \cdots, c_M$을 기저 벡터(basis vector)로 하는 벡터 공간(vector space)위에 존재한다는 것을 알 수 있다.

$$ \begin{eqnarray} \hat{y} &=& Xw \\ &=& \begin{bmatrix} c_1 & \cdots & c_M \end{bmatrix} \begin{bmatrix} w_1 \\ \vdots \\ w_M \end{bmatrix} \\ &=& w_1 c_1 + \cdots + w_M c_M \end{eqnarray} $$

실제 종속 변수 데이터 $y$와 예측값 $\hat{y}$의 차이가 잔차 벡터 $e$이다. 따라서 잔자 벡터 $e$의 크기를 가장 작게 만드는 최적의 예측값 $\hat{y}$는 벡터 공간내에 존재하면서 $y$와 가장 가까운 벡터이다. 이 때 잔차 벡터 $e$는 벡터 공간에 직교한다. 따라서 예측값 벡터 $\hat{y}$는 $y$를 $X$의 각 열 $c_1, \cdots, c_M$을 기저 벡터로 하는 벡터 공간에 투영(projection)한 벡터이고 잔차 벡터 $e$는 투영하고 남은 직교 벡터이다.

잔차 행렬과 투영 행렬

선형 벡터 공간에서 벡터 $a$에서 다른 벡터 $b$를 변형하는 과정은 변형 행렬(transforma matrix) $T$를 곱하는 연산으로 나타낼 수 있다.

$$ b = Ta $$

타겟 벡터 $y$ 벡터를 잔차 벡터 $e$로 변형하는 변환 행렬 $M$과 타겟 벡터 $y$ 벡터를 예측값 벡터 $\hat{y}$로 변형하는 변환 행렬 $H$를 각각 구하면 다음과 같다.

$$ e = My $$$$ \hat{y} = Hy $$
$$ \begin{eqnarray} e &=& y - \hat{y} \\ &=& y - Xw \\ &=& y - X(X^TX)^{-1}X^Ty \\ &=& (I - X(X^TX)^{-1}X^T)y \\ &=& My \\ \end{eqnarray} $$$$ \begin{eqnarray} \hat{y} &=& y - e \\ &=& y - My \\ &=& (I - M)y \\ &=& X(X^TX)^{-1}X^T y \\ &=& Hy \\ \end{eqnarray} $$

따라서 $M$, $H$는 각각 다음과 같다.

$$ H = X(X^TX)^{-1}X^T $$$$ M = I - X(X^TX)^{-1}X^T $$

이 행렬 $M$, $H$을 각각 잔차 행렬(residual matrix), 투영 행렬(projection matrix)이라고 한다. 투영 행렬은 y로부터 $\hat{}$기호가 붙은 $\hat{y}$를 계산한다고 해서 hat 행렬이라고도 하며 영향도 행렬(influence matrix)이라고 부르기도 한다. 영향도 행렬이라는 명칭의 의미는 아웃라이어 분석에서 다시 다룬다.

잔차 행렬과 투영 행렬은 다음과 같은 성질이 있다.

(1) 대칭 행렬이다.

$$ M^T = M $$$$ H^T = H $$

(2) 곱해도 자기 자신이 되는 행렬이다. 이러한 행렬을 멱등(idempotent) 행렬이라고 한다. 멱등 행렬은 몇번을 곱해도 자기 자신이 된다.

$$ M^2 = M $$$$ H^2 = H $$

(3) $M$과 $H$는 서로 직교한다.

$$ MH = HM = 0 $$

(4) $M$은 $X$와 직교한다.

$$ MX = 0 $$

(5) $X$에 $H$를 곱해도 변하지 않는다.

$$ HX = X $$

아래에 위 성질의 일부를 증명하였다. 나머지도 같은 방법으로 증명할 수 있다.

$$ \begin{eqnarray} M^T &=& (I - X(X^TX)^{-1}X^T)^T \\ &=& I - X(X^TX)^{-T}X^T \\ &=& I - X((X^TX)^T)^{-1}X^T \\ &=& I - X(X^TX)^{-1}X^T \\ &=& M \end{eqnarray} $$
$$ \begin{eqnarray} M^2 &=& (I - X(X^TX)^{-1}X^T)(I - X(X^TX)^{-1}X^T) \\ &=& I - 2X(X^TX)^{-T}X^T + X(X^TX)^{-1}X^TX(X^TX)^{-1}X^T\\ &=& I - X((X^TX)^T)^{-1}X^T \\ &=& M \end{eqnarray} $$
$$ \begin{eqnarray} MX &=& (I - X(X^TX)^{-1}X^T)X \\ &=& X - X(X^TX)^{-1}X^TX \\ &=& X - X\\ &=& 0 \end{eqnarray} $$
$$ \begin{eqnarray} MH &=& (I - X(X^TX)^{-1}X^T)X(X^TX)^{-1}X^T \\ &=& X(X^TX)^{-T}X^T - X(X^TX)^{-1}X^TX(X^TX)^{-1}X^T\\ &=& X(X^TX)^{-T}X^T - X(X^TX)^{-1}X^T\\ &=& 0 \end{eqnarray} $$

위 성질을 이용하면 $y$ 벡터의 제곱합은 잔차 벡터 $e$의 제곱합과 추정치 벡터 $\hat{y}$의 제곱합의 합이라는 것을 알 수 있다.

$$ y = \hat{y} + e = Hy + My = (H + M)y $$$$ \begin{eqnarray} y^Ty &=& ((H + M)y)^T((H + M)y) \\ &=& y^T (H + M)^T (H + M)y \\ &=& y^T (H + M) (H + M)y \\ &=& y^T (H^2 + MH + HM + M^2)y \\ &=& y^T (H + M) y \\ &=& y^T H y + y^T M y \\ &=& y^T H^2 y + y^T M^2 y \\ &=& y^T H^T H y + y^T M^T M y \\ &=& (Hy)^T (Hy) + (My)^T (My) \\ &=& \hat{y}^T \hat{y} + e^T e \\ \end{eqnarray} $$

이 관계식은 추후 분산 분석(ANOVA)에 사용된다.

질문/덧글

아직 질문이나 덧글이 없습니다. 첫번째 글을 남겨주세요!