스케일링과 변수 변환¶
회귀분석에 사용되는 데이터는 그 자체로 사용하기 보다는 스케일링이나 함수 변환 등의 전처리 과정을 거치는 경우가 많다. 전처리 과정은 공분산 행렬의 조건을 향상시키거나 데이터 간의 관계를 선형 모형에 맞게 바꾸기 위해 사용된다.
조건수¶
조건수(conditional number)는 공분산 행렬 $X^TX$의 가장 큰 고유치와 가장 작은 고유치의 비율을 뜻한다.
$$ \text{condition number} = \dfrac{\lambda_{\text{max}}}{\lambda_{\text{min}}} $$조건수가 크면 역행렬을 계산할 때 오차가 미치는 영향이 커진다.
예를 들어 다음 연립방정식의 해를 구해보자.
$$ Ax = b $$이 때 행렬 $A$가 단위 행렬이면 조건수는 1이다.
A = np.eye(4)
이 행렬 $A$와 곱해져서 상수 벡터 $b$가 되는 벡터 $x$를 역행렬 $A^{-1}$을 사용하여 계산할 수 있다. 이 예에서는 상수 벡터 $b$가 1-벡터이다.
b = np.ones(4)
sp.linalg.solve(A, b)
만약 상수 벡터에 약간의 오차가 있었다면 연립방정식의 해에도 동일한 수준의 오차가 발행한다.
sp.linalg.solve(A + 0.0001 * np.eye(4), b)
하지만 연립방정식을 이루는 행렬의 조건수가 커지면 상수항 오차가 작은 경우에도 해의 오차가 커지게 된다. 예를 들어 다음과 같은 행렬을 생각하자.
A = sp.linalg.hilbert(4)
A
np.linalg.cond(A)
이 행렬과 곱해져서 상수 벡터가 되는 벡터를 역행렬을 사용하여 찾으면 다음과 같다.
sp.linalg.solve(A, b)
조건수가 크면 약간의 오차만 있어도 해가 전혀 다른 값을 가진다. 따라서 조건수가 크면 회귀분석을 사용한 예측값도 오차가 커지게 된다.
sp.linalg.solve(A + 0.0001 * np.eye(4), b)
회귀분석에서 조건수가 커지는 경우는 크게 두 가지가 있다.
- 변수들의 단위 차이로 인해 숫자의 스케일이 크게 달라지는 경우. 이 경우에는 스케일링(scaling)으로 해결한다.
- 다중 공선성 즉, 상관관계가 큰 독립 변수들이 있는 경우, 이 경우에는 변수 선택이나 PCA를 사용한 차원 축소 등으로 해결한다.
스케일링¶
보스턴 집값 데이터의 경우 회귀분석을 하면 조건수가 15,000 정도로 크게 나오는데 이는 각 독립 변수들이 0.1 단위부터 수백 단위까지 제각각의 크기를 가지고 있기 때문이다.
from sklearn.datasets import load_boston
boston = load_boston()
dfX = pd.DataFrame(boston.data, columns=boston.feature_names)
dfy = pd.DataFrame(boston.target, columns=["MEDV"])
df = pd.concat([dfX, dfy], axis=1)
model1 = sm.OLS.from_formula("MEDV ~ "
"CRIM + ZN + INDUS + NOX + RM + AGE + "
"DIS + RAD + TAX + PTRATIO + B + LSTAT + CHAS",
data=df)
result1 = model1.fit()
print(result1.summary())
result1.predict(df[:1])
StatsModels에서는 모형지정 문자열에서 scale 명령을 사용하여 스케일링을 할 수 있다. 이 방식으로 스케일을 하면 스케일링에 사용된 평균과 표준편차를 저장하였다가 나중에 predict 명령을 사용할 때도 같은 스케일을 사용하기 때문에 편리하다. Scikit-Learn의 파이프라인과 같은 역할을 한다.
model2 = sm.OLS.from_formula("MEDV ~ "
"scale(CRIM) + scale(ZN) + scale(INDUS) + scale(NOX) + scale(RM) + scale(AGE) + "
"scale(DIS) + scale(RAD) + scale(TAX) + scale(PTRATIO) + scale(B) + scale(LSTAT) + CHAS",
data=df)
result2 = model2.fit()
print(result2.summary())
result2.predict(df[:1])
변수 변환¶
다음과 같은 경우에는 로그 함수 혹은 제곱근 함수 등을 사용하여 변환된 변수를 사용하면 회귀 성능이 향상될 수도 있다.
- 독립 변수나 종속 변수가 심하게 한쪽으로 치우친 분포를 보이는 경우
- 독립 변수와 종속 변수간의 관계가 곱셈 혹은 나눗셉으로 연결된 경우
- 종속 변수와 예측치가 비선형 관계를 보이는 경우
원래 선형회귀모형의 가정에는 독립 변수나 종속 변수가 반드시 대칭 분포를 보여야 한다는 가정은 없지만 정규 분포에 가까운 분포를 보일 수록 선형회귀모형의 성능이 좋아지는 경우가 많다.
보스턴 집값 데이터에서는 가격, DIS, PTRATIO, LSTAT 등이 비대칭 분포를 이루거나 가격과 반비례 관계를 가지므로 이 변수들을 로그로 변환한 후에 선형회귀분석을 하면 성능을 향상시킬 수 있다.
model3 = sm.OLS.from_formula("np.log(MEDV) ~ "
"scale(CRIM) + scale(I(CRIM ** 2)) + "
"scale(ZN) + scale(I(ZN ** 2)) + "
"scale(INDUS) + "
"scale(NOX) + scale(RM) + scale(AGE) + "
"scale(np.log(DIS)) + scale(RAD) + scale(TAX) + "
"scale(np.log(PTRATIO)) + scale(B) + scale(np.log(LSTAT)) + CHAS",
data=df)
result3 = model3.fit()
print(result3.summary())
# 아웃라이어 제거
influence3 = result3.get_influence()
cooks_d2, pvals = influence3.cooks_distance
fox_cr = 4 / (len(df) - 2)
idx_outlier = np.where(cooks_d2 > fox_cr)[0]
# MEDV = 50 제거
idx_outlier = np.hstack([idx_outlier, np.where(boston.target == 50)[0]])
idx_outlier
pred = result3.predict(df)
ax = plt.subplot()
plt.scatter(np.log(dfy), pred)
plt.scatter(np.log(dfy.MEDV[idx_outlier]), pred[idx_outlier], s=300, c="r", alpha=0.5)
plt.show()
idx = list(set(range(len(df))).difference(idx_outlier))
df4 = df.iloc[idx, :].reset_index(drop=True)
model4 = sm.OLS.from_formula("np.log(MEDV) ~ "
"scale(CRIM) + scale(I(CRIM ** 2)) + "
"scale(ZN) + scale(I(ZN ** 2)) + "
"scale(INDUS) + "
"scale(NOX) + scale(RM) + scale(AGE) + "
"scale(np.log(DIS)) + scale(RAD) + scale(TAX) + "
"scale(np.log(PTRATIO)) + scale(B) + scale(np.log(LSTAT)) + CHAS",
data=df4)
result4 = model4.fit()
print(result4.summary())