다운로드
작성자: admin 작성일시: 2016-05-12 22:18:38 조회수: 13203 다운로드: 611
카테고리: 기초 수학 태그목록: NumPy 선형대수

2.1 데이터와 행렬

선형대수(linear algebra)는 데이터 분석에 필요한 각종 계산을 돕기 위한 학문이다. 데이터 분석을 하려면 수많은 숫자로 이루어진 데이터를 다루어야 한다. 하나의 데이터가 수십 개에서 수만 개의 숫자로 이루어져 있을 수도 있고, 또 이러한 데이터 수만 개가 하나의 집합을 이루고 있을 수도 있다.

선형대수를 사용하면 대량의 데이터를 포함하는 복잡한 계산 과정을 몇 글자 되지 않는 간단한 수식으로 서술할 수 있다. 따라서 데이터를 다루는 과정을 정확하고 간단하게 서술할 수 있다. 이를 위해 우선 선형대수에서 사용되는 여러 가지 기호와 개념을 익혀보자.

여기에서는 선형대수를 공부하기 위한 NumPy 패키지와 시각화를 위한 matplotlib 패키지를 사용한다. 따라서 별도로 이야기 하지 않아도 다음과 같이 이 두가지 패키지가 임포트되어 있어야 한다.

In [1]:
import numpy as np
import matplotlib.pylab as plt

주피터 노트북이나 IPython을 시작할 때마다 자동으로 패키지를 임포트하는 방법에 대해서는 이 책 앞부분의 스타트업 파일 설정에 대한 부분을 참조한다.

데이터의 유형

선형대수에서 다루는 데이터는 개수나 형태에 따라 크게 스칼라(scalar), 벡터(vector), 행렬(matrix), 텐서(tensor)의 네 가지 유형으로 나누어진다. 간단하게 말하자면 스칼라는 숫자 하나로 이루어진 데이터이고, 벡터는 여러 개의 숫자로 이루어진 데이터 레코드(data record)이며, 행렬은 이러한 벡터, 즉 데이터 레코드가 여러 개 있는 데이터 집합이라고 볼 수 있다. 텐서는 같은 크기의 행렬이 여러개 있는 것이라고 생각하면 된다.

데이터의 유형을 설명하기 위해 데이터 분석의 연습에서 많이 사용되는 벤치마크 데이터셋(benchmark dataset)을 소개한다. 하나는 붓꽃 데이터셋(iris dataset)으로 통계학자 피셔(Fisher)의 연구결과에서 나온 것이다. 붓꽃 150송이에 대해 꽃받침의 길이, 꽃받침의 폭, 꽃잎의 길이, 꽃잎의 폭을 각각 측정한 것으로 150송이 중 50송이는 세토사(setosa)라는 종이고, 50송이는 베르시칼라(versicolor), 그리고 나머지 50송이는 버지니카(virginica)라는 종이다. 이 데이터셋은 붓꽃의 크기를 이용하여 붓꽃의 종을 측정하는 예측(prediction) 문제로 활용된다. 이 데이터는 Scikit-Learn 패키지에 포함되어 있다. 다음 코드는 붓꽃 데이터셋에서 첫번째 꽃의 크기를 보여준다.

In [2]:
from sklearn.datasets import load_iris

iris = load_iris()
iris.data[0, :]
Out:
array([5.1, 3.5, 1.4, 0.2])

스칼라

스칼라는 하나의 숫자만으로 이루어진 데이터를 말한다. 예를 들어 어떤 붓꽃 한 송이의 꽃잎 길이를 측정하면 숫자가 하나 나올 것이다. 이 데이터는 스칼라이다. 스칼라는 보통 $x$와 같이 알파벳 소문자로 표기하며 실수(real number)인 숫자 중의 하나이므로 실수 집합 $\mathbf{R}$의 원소라는 의미에서 다음처럼 표기한다.

$$ \begin{align} x \in \mathbf{R} \tag{2.1.1} \end{align} $$

벡터

벡터는 여러 개의 숫자가 특정한 순서대로 모여 있는 것을 말한다. 사실 대부분의 데이터 레코드는 여러 개의 숫자로 이루어진 경우가 많다. 예를 들어 붓꽃의 종을 알아내기 위해 붓꽃의 크기를 측정할 때, 꽃잎의 길이 $x_1$뿐 아니라 꽃잎의 폭 $x_2$, 꽃받침의 길이 $x_3$, 꽃받침의 폭 $x_4$라는 4개의 숫자를 측정할 수도 있다. 이렇게 측정된 4개의 숫자는 한 송이의 붓꽃에서 나온 데이터이므로 따로따로 다루기보다는 하나의 쌍(tuple)으로 묶어놓는 것이 좋다. 이때 숫자의 순서가 바뀌면 어떤 숫자가 꽃잎의 길이이고 어떤 숫자가 꽃받침의 폭인지 알 수 없으므로 숫자의 순서를 유지하는 것이 중요하다. 이런 데이터 묶음을 선형대수에서는 벡터라고 부른다.

붓꽃의 크기 벡터는 4개의 데이터 $(x_1, x_2, x_3, x_4)$가 하나로 묶여 있는데 이를 선형대수 기호로는 다음처럼 하나의 문자 $x$로 표기한다.

$$ \begin{align} x = \begin{bmatrix} x_{1} \\ x_{2} \\ x_{3} \\ x_{4} \\ \end{bmatrix} \tag{2.1.2} \end{align} $$

이때 벡터는 복수의 가로줄, 즉 행(row)을 가지고 하나의 세로줄, 즉 열(column)을 가지는 형태로 위에서 아래로 내려써서 표기해야 한다.

하나의 벡터를 이루는 데이터의 개수가 $n$개이면 이 벡터를 n-차원 벡터(n-dimensional vector)라고 하며 다음처럼 표기한다.

$$ \begin{align} x = \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{N} \\ \end{bmatrix} \tag{2.1.3} \end{align} $$

또는 $$ \begin{align} x \in \mathbf{R}^N \tag{2.1.4} \end{align} $$

위에서 예로 든 붓꽃의 크기 벡터 $x$는 4개의 실수로 이루어져 있으므로 4차원 벡터라고 하고 다음처럼 표기한다.

$$ \begin{align} x \in \mathbf{R}^4 \tag{2.1.5} \end{align} $$

벡터의 원소가 되는 스칼라 값은 아래 첨자(subscript)를 붙여서 원소의 위치를 표시하는 것이 보통이다. 하지만 아래 첨자가 있다고 무조건 스칼라는 아니다. 벡터가 여러 개 있으면 서로 다른 벡터를 구별하기 위해 벡터 이름에 아래 첨자를 붙일 수도 있다. 따라서 아래 첨자를 가진 알파벳 소문자 기호는 스칼라일 수도 있고 벡터일 수도 있다. 두 경우는 문맥에 따라 구별해야 한다. 책에 따라서는 벡터와 스칼라와 구별하기 위해 볼드체 벡터 기호 $\mathbf{x}$나 화살표 벡터 기호 $\vec{x}$를 사용하기도 한다.

$$ \begin{align} \mathbf{x} = \vec{x} = \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{N} \\ \end{bmatrix} \tag{2.1.6} \end{align} $$

하지만 데이터 사이언스 분야의 책이나 논문에서는 모든 값이 벡터나 행렬이므로 굳이 볼드체 기호를 사용하지 않기 때문에 문맥을 보고 결정할 수 밖에 없다.

특징 벡터

예를 들어 어떤 붓꽃 표본 한 송이를 꺾어 측정하였더니 꽃잎의 길이가 5.1cm, 꽃잎의 폭이 3.5cm, 꽃받침의 길이가 1.5cm, 꽃받침의 폭이 0.2cm였다면 이 데이터 레코드를 $x_1$이라고 이름 붙이고 다음처럼 표시한다.

$$ \begin{align} x_1 = \begin{bmatrix} 5.1 \\ 3.5 \\ 1.4 \\ 0.2 \\ \end{bmatrix} \tag{2.1.7} \end{align} $$

또 다른 붓꽃은 다음과 같은 벡터로 나타낼 수 있다고 하자.

$$ \begin{align} x_2 = \begin{bmatrix} 4.9 \\ 3.0 \\ 1.4 \\ 0.2 \\ \end{bmatrix} \tag{2.1.8} \end{align} $$

만약 이러한 붓꽃 크기 벡터를 이용하여 붓꽃의 종을 결정하는 예측 문제를 풀고 있다면 붓꽃 크기 벡터를 특징 벡터(feature vector)라고 한다.

NumPy를 사용한 벡터 표현

NumPy는 선형대수 문제를 풀기 위한 파이썬 패키지다. NumPy를 사용하여 벡터를 표현할 때는 벡터를 다음처럼 열의 개수가 하나인 2차원 배열(array) 객체로 표현한다. 이 때 배열의 차원은 벡터의 차원과 다른 의미이다. 위에서 설명한 벡터의 차원은 원소의 갯수를 뜻한다. 배열은 원소의 갯수가 몇 개이든 한 줄로 나타낼 수 있다면 1차원 배열(1-dimensional array)이라고 한다. 원소를 가로와 세로가 있는 여러 줄의 직사각형 형태로 나타낼 수 있으면 2차원 배열(2-dimensional array)이라고 한다.

예를 들어 위에서 예로 든 벡터 $x_1$을 NumPy의 2차원 배열로 표기하면 다음과 같다.

In [3]:
x1 = np.array([[5.1], [3.5], [1.4], [0.2]])
x1
Out:
array([[5.1],
       [3.5],
       [1.4],
       [0.2]])

하지만 NumPy는 1차원 배열 객체도 대부분 벡터로 인정한다. 이 때는 벡터가 마치 하나의 행처럼 표시되어도 실제로는 열이라는 점에 주의한다.

In [4]:
x1 = np.array([5.1, 3.5, 1.4, 0.2])
x1
Out:
array([5.1, 3.5, 1.4, 0.2])

그러나 벡터 데이터를 처리하는 프로그램에 따라서 두 가지 표현법 중 열 표기를 정확하게 요구하는 경우도 있으므로 주의해야 한다. 예를 들어 Scikit-learn 패키지에서 벡터를 요구하는 경우에는 반드시 열의 개수가 1개인 2차원 배열 객체를 넣어야 한다.

연습 문제 2.1.1

NumPy를 사용해서 붓꽃 데이터 $x_2$에 대한 벡터 변수 x2를 만든다.

예측 문제의 입력 데이터는 대부분 벡터로 표시한다. 예를 들어 숫자 이미지를 입력받아 어떤 숫자인지 분류하는 문제를 생각해 보자. 이미지는 원래 2차원 데이터이지만 예측 문제에서는 보통 1차원 벡터로 변환하여 사용한다. 다음은 Scikit-Learn 패키지에서 제공하는 MNIST 숫자 이미지(digit image) 데이터셋이다. 이 데이터는 0부터 9까지의 숫자를 손으로 쓴 후에 8x8 해상도의 이미지로 스캔한 데이터들이다. 다음 코드는 그 중 숫자 0과 1의 이미지 8개를 보이고 있다.

In [5]:
from sklearn.datasets import load_digits

digits = load_digits()
samples = [0, 10, 20, 30, 1, 11, 21, 31]
d = []
for i in range(8):
    d.append(digits.images[samples[i]])

plt.figure(figsize=(8, 2))
for i in range(8):
    plt.subplot(1, 8, i + 1)
    plt.imshow(d[i], interpolation='nearest', cmap=plt.cm.bone_r)
    plt.grid(False); plt.xticks([]); plt.yticks([])
    plt.title("image {}".format(i + 1))
plt.suptitle("Images of 0's and 1's")
plt.tight_layout()
plt.show()

이 2차원 이미지를 64-크기의 1차원 벡터로 펼치면 다음과 같다. 같은 숫자에 대한 벡터가 서로 닮았다는 점에 주의하라.

In [6]:
v = []
for i in range(8):
    v.append(d[i].reshape(64, 1))
    
plt.figure(figsize=(8, 3))
for i in range(8):
    plt.subplot(1, 8, i + 1)
    plt.imshow(v[i], aspect=0.4,
               interpolation='nearest', cmap=plt.cm.bone_r)
    plt.grid(False); plt.xticks([]); plt.yticks([])
    plt.title("vector {}".format(i + 1))
plt.suptitle("vectorized images", y=1.05)
plt.tight_layout(w_pad=7)
plt.show()

행렬

행렬은 복수의 차원을 가지는 데이터 레코드가 다시 여러 개 있는 경우의 데이터를 합쳐서 표기한 것이다. 예를 들어 앞서 말한 붓꽃 예에서 6개의 붓꽃에 대해 크기를 측정하였다면 4차원 붓꽃 데이터가 6개가 있다. 즉, $4 \times 6 = 24$개의 실수 숫자가 있는 것이다. 이 숫자 집합을 행렬로 나타내면 다음과 같다. 행렬은 보통 $X$와 같이 알파벳 대문자로 표기한다.

$$ \begin{align} X = \begin{bmatrix} \boxed{\begin{matrix} x_{1, 1} & x_{1, 2} & x_{1, 3} & x_{1, 4}\end{matrix}} \\ \begin{matrix} x_{2, 1} & x_{2, 2} & x_{2, 3} & x_{2, 4}\end{matrix} \\ \begin{matrix} x_{3, 1} & x_{3, 2} & x_{3, 3} & x_{3, 4}\end{matrix} \\ \begin{matrix} x_{4, 1} & x_{4, 2} & x_{4, 3} & x_{4, 4}\end{matrix} \\ \begin{matrix} x_{5, 1} & x_{5, 2} & x_{5, 3} & x_{5, 4}\end{matrix} \\ \begin{matrix} x_{6, 1} & x_{6, 2} & x_{6, 3} & x_{6, 4}\end{matrix} \\ \end{bmatrix} \tag{2.1.9} \end{align} $$

행렬의 원소 하나하나는 $x_{2, 3}$처럼 두 개의 숫자 쌍을 아래첨자(subscript)로 붙여서 표기한다. 첫 번째 숫자가 행을 뜻하고 두 번째 숫자가 열을 뜻한다. 예를 들어 $x_{2, 3}$ 는 두번째 행(위에서 아래로 두번째), 세번째 열(왼쪽에서 오른쪽으로 세번째)의 숫자를 뜻한다. 행/열의 개수가 10보다 적을 때는 쉼표 없이 $x_{23}$ 라고 표기할 때도 있다.

벡터는 열의 수가 1인 행렬이라고 볼 수 있으므로 벡터를 다른 말로 열 벡터(column vector)라고도 한다.

데이터를 행렬로 묶어서 표시할 때는 붓꽃 하나에 대한 데이터 레코드, 즉 하나의 벡터가 열이 아닌 행(row)으로 표시한다. 붓꽃의 예에서는 하나의 데이터 레코드가 4차원 데이터였다는 점을 기억하자.

하나의 데이터 레코드를 단독으로 벡터로 나타낼 때는 하나의 열(column)로 나타내고 복수의 데이터 레코드 집합을 행렬로 나타낼 때는 하나의 데이터 레코드가 하나의 행(row)으로 표기하는 것은 얼핏 보기에는 일관성이 없어 보지만 추후 다른 연산을 할 때 이런 모양이 필요하기 때문이다. 데이터 분석에서 쓰는 일반적인 관례이므로 외워두어야 한다.

만약 이 데이터를 이용하여 붓꽃의 종을 결정하는 예측 문제를 풀고 있다면 이 행을 특징 행렬(feature matrix)이라고 하기도 한다. 이 행렬의 크기를 수식으로 표시할 때는 다음처럼 "행의 크기 곱하기 열의 크기"로 나타낸다.

$$ \begin{align} X \in \mathbf{R}^{6\times 4} \tag{2.1.10} \end{align} $$

스칼라와 벡터도 수학적으로는 행렬에 속한다. 스칼라는 열과 행의 수가 각각 1인 행렬이고 벡터는 열의 수가 1인 행렬이다. 그래서 스칼라나 벡터의 크기를 표시할 때 다음처럼 쓸 수도 있다.

스칼라는

$$ \begin{align} a \in \mathbf{R}^{1\times 1} \tag{2.1.11} \end{align} $$

벡터는

$$ \begin{align} x \in \mathbf{R}^{4\times 1} \tag{2.1.12} \end{align} $$

로 써도 같은 뜻이다.

앞에서 예로 들었던 두 송이의 붓꽃 데이터를 하나의 행렬로 합치면 다음과 같다.

$$ \begin{align} X= \begin{bmatrix} 5.1 & 3.5 & 1.4 & 0.2 \\ 4.9 & 3.0 & 1.4 & 0.2 \\ \end{bmatrix} \tag{2.1.13} \end{align} $$

NumPy를 이용하여 행렬을 표기할 때는 2차원 ndarray 객체를 사용한다. 예를 들어 다음 행렬 $A$를 NumPy로 나타내면 다음과 같다.

$$ \begin{align} A= \begin{bmatrix} 11 & 12 & 13 \\ 21 & 22 & 23 \\ \end{bmatrix} \tag{2.1.14} \end{align} $$
In [7]:
A = np.array([[11,12,13],[21,22,23]])
A
Out:
array([[11, 12, 13],
       [21, 22, 23]])

연습 문제 2.1.2

NumPy를 사용해서 붓꽃 데이터 $X$에 대한 행렬 변수 X를 만든다.

텐서

텐서는 같은 크기의 행렬이 여러개 같이 묶여 있는 것을 말한다. 엄격한 수학적 정의로는 텐서는 다차원 배열로 표현되는 사상(mapping)으로 다차원 배열 자체를 뜻하지 않는다. 하지만 데이터 사이언스 분야에서는 흔히 다차원 배열을 텐서라고 부르므로 여기에서는 이러한 정의를 따르도록 한다.

예를 들어 다음 컬러 이미지는 2차원의 행렬처럼 보이지만 사실 빨강, 초록, 파랑의 밝기를 나타내는 3가지의 이미지가 겹쳐있는 것이다. 컬러 이미지에서는 각각의 색을 나타내는 행렬을 채널(channel)이라고 한다. 예제 이미지는 크기가 768 x 1024이고 3개의 채널이 있으므로 768 x 1024 x 3 크기의 3차원 텐서이다.

In [8]:
from scipy import misc
img_rgb = misc.face()
img_rgb.shape
Out:
(768, 1024, 3)
In [9]:
plt.subplot(221)
plt.imshow(img_rgb, cmap=plt.cm.gray)
plt.axis("off")
plt.title("RGB image")

plt.subplot(222)
plt.imshow(img_rgb[:, :, 0], cmap=plt.cm.gray)
plt.axis("off")
plt.title("Red channel")

plt.subplot(223)
plt.imshow(img_rgb[:, :, 1], cmap=plt.cm.gray)
plt.axis("off")
plt.title("Green channel")

plt.subplot(224)
plt.imshow(img_rgb[:, :, 2], cmap=plt.cm.gray)
plt.axis("off")
plt.title("Blue channel")

plt.show()