작성자: admin 작성일시: 2016-05-12 22:18:38 조회수: 2178 다운로드: 82
카테고리: 기초 수학 태그목록: NumPy 선형대수

NumPy를 활용한 선형대수 입문

선형대수(linear algebra)는 데이터 분석에 필요한 각종 계산을 돕기 위한 학문이다.

데이터 분석을 하기 위해서는 수많은 숫자들을 조합하여 계산할 필요가 있다. 하나의 데이터가 수십개에서 수천개의 숫자로 이루어져 있을 수도 있고 이런 크기를 가진 데이터가 수십개에서 수백만개가 집합으로 존재할 수도 있다.

선형대수를 사용하면 이러한 복잡한 계산 과정을 몇 글자 되지 않는 간단한 수식으로 서술할 수 있기 때문에 어떻게 데이터를 다루면 되는지에 대해 빠르고 정확한 설명을 할 수 있다. 우선 선형대수에서 사용되는 여러가지 기호와 개념을 익혀보자.

데이터의 유형

선형대수에서 다루는 데이터는 갯수나 형태에 따라 크게 스칼라(scalar), 벡터(vector), 행렬(matrix) 의 세가지 유형으로 나누어진다.

간단하게 말하자면 스칼라는 숫자 하나로 이루어진 데이터이고 벡터는 여러개의 숫자로 이루어진 데이터 레코드(data record)이며 행렬은 벡터, 즉 데이터 레코드가 여러개 있는 데이터 집합이라고 볼 수 있다.

스칼라

스칼라는 하나의 숫자만으로 이루어진 데이터를 말한다. 예를 들어 어떤 붓꽃 한 송이의 꽃잎의 길이를 측정하면 하나의 숫자가 나올 것이다. 이 데이터는 스칼라이다.

스칼라는 보통 $x$와 같이 알파벳 소문자로 표기하며 실수(real number)인 숫자 중의 하나이므로 실수 집합 $\mathbf{R}$의 원소라는 의미에서 다음과 같이 표기한다.

$$ x \in \mathbf{R} $$

벡터

벡터는 여러개의 숫자가 특정 순서대로 모여 있는 것을 말한다. 사실 대부분의 데이터 분석에서 하나의 데이터 레코드는 여러개의 숫자로 이루어진 경우가 많다. 예를 들어 붓꽃의 종을 알아내기 위해 크기를 측정하는 경우, 꽃잎의 길이 $x_1$ 뿐 아니라 꽃잎의 폭 $x_2$ , 꽃받침의 길이 $x_3$ , 꽃받침의 폭 $x_4$ 이라는 4개의 숫자를 측정할 수도 있다. 이렇게 측정된 4개의 숫자는 한 송이의 붓꽃에서 나온 데이터이므로 따로 따로 다루기 보다는 하나의 쌍(tuple)으로 묶어놓는 것이 좋다. 이 때 숫자의 순서가 바뀌면 어떤 숫자가 꽃잎의 길이이고 어떤 숫자가 꽃받침의 폭인지 알 수 없어지기 때문에 숫자의 순서를 유지하는 것이 중요하다. 이런 데이터 묶음을 선형대수에서는 벡터라고 부른다.

붓꽃의 예에서는 4개의 데이터 $(x_1, x_2, x_3, x_4)$가 하나로 묶여 있는데 이를 선형 대수 기호로는 다음과 같이 하나의 문자 $x$로 다음과 같이 표기한다.

$$ x = \begin{bmatrix} x_{1} \\ x_{2} \\ x_{3} \\ x_{4} \\ \end{bmatrix} $$

여기에서 주의할 점은 벡터는 복수의 행(row)을 가지고 하나의 열(column)을 가지는 형태로 위에서 아래로 표기한다는 점이다.

이 때 $x$는 4개의 실수(real number)로 이루어져 있기 때문에 4차원 벡터라고 하고 다음과 같이 4차원임을 표기한다.

$$ x \in \mathbf{R}^4 $$

만약 4개가 아니라 $N$개의 숫자가 모여 있는 경우의 표기는 다음과 같다.

$$ x = \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{N} \\ \end{bmatrix} ,\;\;\;\; x \in \mathbf{R}^N $$

벡터의 원소가 되는 스칼라 값에는 ${}_1$, ${}_2$ 등의 숫자 아랫첨자(sub-script)를 붙여서 원소의 위치를 표시한다. 하지만 숫자인 아랫첨자가 있다고 무조건 스칼라는 아니다. 벡터의 경우에도 벡터가 여러개 있을 경우에 서로 다른 벡터를 구혈하기 위해 벡터 이름에 아랫첨자를 붙일 수도 있다. 따라서 아랫첨자를 가진 알파벳 소문자 기호는 스칼라일 수도 있고 벡터일 수도 있다. 두 경우는 문맥에 따라 구별해야 한다.

예를 들어 어떤 붓꽃 표본 한 송이를 꺾어 측정하였더니, 꽃잎의 길이가 5.1cm, 꽃잎의 폭이 3.5cm, 꽃받침의 길이가 1.5cm, 꽃받침의 폭이 0.2cm 였다면 이 데이터를 $x_1$라고 이름 붙이고 다음과 같이 나타낼 수 있다.

$$ x_1 = \begin{bmatrix} 5.1 \\ 3.5 \\ 1.4 \\ 0.2 \\ \end{bmatrix} $$

또 다른 붓꽃의 경우에는 다음과 같이 다른 데이터를 가질 수도 있다.

$$ x_2 = \begin{bmatrix} 4.9 \\ 3.0 \\ 1.4 \\ 0.2 \\ \end{bmatrix} $$

만약 이 데이터를 이용하여 붓꽃의 종을 결정하는 예측 문제를 풀고 있다면 이 벡터를 특징 벡터(feature vector)라고 하기도 한다.

NumPy를 사용하면 벡터는 열의 갯수가 1개인 2차원 배열 객체로 표현하는 것이 올바른 표현이다. 예를 들어 위의 벡터 $x_1$는 다음과 같이 NumPy로 표기한다.

In:
x1 = np.array([[5.1], [3.5], [1.4], [0.2]])
x1
Out:
array([[ 5.1],
       [ 3.5],
       [ 1.4],
       [ 0.2]])

하지만 대부분의 경우에 NumPy는 1차원 배열 객체도 벡터로 인정한다. 이 경우에는 마치 하나의 행처럼 표시되어도 실제로는 열의 의미를 가진다는 점에 주의한다.

In:
x1 = np.array([5.1, 3.5, 1.4, 0.2])
x1
Out:
array([ 5.1,  3.5,  1.4,  0.2])

벡터 데이터를 처리하는 프로그램에 따라서는 두 가지 표현법 중 열 표기를 정확하게 요구하는 경우도 있을 수 있기 때문에 주의해야 한다. 예를 들어 Scikit-learn 패키지에서 벡터를 요구하는 경우에는 열의 갯수가 1개인 2차원 배열 객체를 넣어야 한다.

연습 문제 1

NumPy를 사용해서 붓꽃 데이터 $x_2$에 대한 벡터 변수 x2를 만든다.

행렬

행렬은 복수의 차원을 가지는 데이터 레코드가 다시 여러개 있는 경우의 데이터를 합쳐서 표기한 것이다. 예를 들어 앞서 말한 붓꽃의 예에서 6개의 붓꽃에 대해 크기를 측정하였다면 4차원 붓꽃 데이터가 6개가 있다. 즉, $4 \times 6 = 24$개의 실수 숫자가 있는 것이다. 이 숫자 집합을 행렬로 나타내면 다음과 같다. 행렬은 보통 $X$와 같이 알파벳 대문자로 표기한다.

행렬 안에서 원소의 위치를 표기할 때는 행(row)과 열(column)이라는 것을 사용한다. 행은 가로줄, 열은 세로줄을 뜻한다.

행렬은 $x_{2, 3}$(행/열의 갯수가 1보다 적을 때는 쉼표 없이 $x_{23}$ 라고도 표기한다.)처럼 두 개의 숫자 쌍을 아랫 첨자(sub-script)로 붙여서 표기한다. 첫번째 숫자가 행(row)을 뜻하고 두번째 숫자가 열(column)을 뜻한다. 예를 들어 $x_{2, 3}$ 는 두번째 행(위에서 아래로 두번째), 세번째 열(왼쪽에서 오른쪽으로 세번째)의 숫자를 뜻한다.

벡터는 열의 수가 1인 행렬이라고 볼 수 있기 때문에 벡터를 다른 말로 열 벡터(column vector)라고도 한다.

데이터를 행렬로 표시할 때는 붓꽃 하나에 대한 데이터 레코드가 전치 행렬을 통해 하나의 열이 아닌 하나의 행(row)이 된다. 붓꽃의 예에서는 하나의 데이터 레코드가 4차원 데이터였다는 점을 기억하자.

하나의 데이터 레코드만 벡터로 나타낼 때는 하나의 열(column)로 나타내고 복수의 데이터 레코드 집합을 행렬로 나타낼 때는 하나의 데이터 레코드가 하나의 행(row)으로 표기하는 것은 얼핏 보기에는 일관성이 없어 보지만 추후 다른 연산을 할 때 이런 모양이 필요하기 때문에 사용하는 것으로 데이터 분석에서 쓰는 일반적인 관례이다.

만약 이 데이터를 이용하여 붓꽃의 종을 결정하는 예측 문제를 풀고 있다면 이 행을 특징 행렬(feature matrix)이라고 하기도 한다.

이 행렬의 크기를 수식으로 표시할 때는 다음과 같이 "행의 크기 곱하기 열의 크기"로 나타낸다.

$$ X \in \mathbf{R}^{6\times 4} $$

벡터도 열의 수가 1인 특수한 행렬이기 때문에 벡터의 크기를 표시할 때 행렬 표기에 맞추어 다음과 같이 쓰기도 한다.

$$ x \in \mathbf{R}^{4\times 1} $$

앞에서 예로 들었던 두 송이의 붓꽃 데이터를 하나의 행렬로 합치면 다음과 같다.

$$ X= \begin{bmatrix} 5.1 & 3.5 & 1.4 & 0.2 \\ 4.9 & 3.0 & 1.4 & 0.2 \\ \end{bmatrix} $$

NumPy를 이용하여 행렬을 표기할 때는 2차원 ndarray 객체를 사용한다. 예를 들어 다음 행렬 $A$를 NumPy로 나타내면 다음과 같다.

$$ A= \begin{bmatrix} 11 & 12 & 13 \\ 21 & 22 & 23 \\ \end{bmatrix} $$
In:
A = np.array([[11,12,13],[21,22,23]])
A
Out:
array([[11, 12, 13],
       [21, 22, 23]])

연습 문제 2

NumPy를 사용해서 붓꽃 데이터 $X$에 대한 행렬 변수 X를 만든다.

전치 연산

전치(transpose) 연산은 행렬에서 가장 기본이 되는 연산으로 행렬의 행과 열을 바꾸는 연산을 말한다. 전치 연산은 벡터나 행렬에 $T$라는 윗첨자(super-script)를 붙어서 표기한다. 예를 들어 앞에서 보인 $4\times 6$ 차원의 행렬을 전치 연산하면 $6\times 4$ 차원의 행렬이 된다.

전치연산으로 만든 행렬을 원래 행렬에 대한 전치행렬이라고 한다.

(열)벡터 $x$에 대해 전치 연산을 적용하여 만들어진 $x^T$와 같이 행의 수가 1인 행렬을 행 벡터(row vector)라고 한다.

$$ x = \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{N} \\ \end{bmatrix} \; \rightarrow \; x^T = \begin{bmatrix} x_{1} & x_{2} & \cdots & x_{N} \end{bmatrix} $$

NumPy에서는 ndarray 객체의 T라는 속성을 이용하여 전치 행렬을 구한다. 이 때 T는 메서드(method)가 아닌 속성(attribute)이므로 ()를 붙여서 호출하면 안된다.

In:
A.T
Out:
array([[11, 21],
       [12, 22],
       [13, 23]])

연습 문제 3

  1. NumPy를 사용해서 붓꽃 데이터 $X$의 전치행렬 $X^T$을 구한다.
  2. 전치행렬을 다시 전치한 행렬 $(X^T)^T$을 구한다. 이 행렬과 원래 행렬 $X$을 비교한다.

행렬의 행 표기법과 열 표기법

전치 연산과 행 벡터, 열 벡터를 이용하면 다음과 같이 행렬을 복수의 열 벡터 $c_i$, 또는 복수의 행 벡터 $r_j^T$ 을 합친(concatenated) 형태로 표기할 수도 있다.

$$ X = \begin{bmatrix} | & | & & | \\ c_1 & c_2 & \cdots & c_M \\ | & | & & | \\ \end{bmatrix} = \begin{bmatrix} - & r_1^T & - \\ - & r_2^T & - \\ & \vdots & \\ - & r_N^T & - \\ \end{bmatrix} $$
$$ X \in \mathbf{R}^{N\times M} ,\;\;\; c_i \in R^{N \times 1} \; (i=1,\cdots,M) ,\;\;\; r_j^T \in R^{1 \times M} \; (j=1,\cdots,N) $$

위 식은 다음과 같은 말을 수식으로 표현한 것이다.

  • 행렬 $X$의 각 열은 $c_1$, $c_2$, $\ldots$, $c_M$ 라고 이름 붙인다.
  • 행렬 $X$의 각 행은 $r_1^T$, $r_2^T$, $\ldots$, $r_N^T$ 라고 이름 붙인다.

특수한 벡터와 행렬

몇가지 특수한 벡터와 행렬에 대해서는 별도의 기호나 이름이 붙어있다.

영벡터

모든 원소가 0인 $N$차원 벡터는 다음과 같이 표시할 수 있다.

$$ \mathbf{0}_N = \mathbf{0} = \begin{bmatrix} 0 \\ 0 \\ \vdots \\ 0 \\ \end{bmatrix} $$

문맥에 의해 벡터의 크기를 알 수 있을 때는 크기를 나타내는 아랫첨자 $N$을 생략할 수도 있다.

일벡터

모든 원소가 1인 $N$차원 벡터는 다음과 같이 표시할 수 있다.

$$ \mathbf{1}_N = \mathbf{1} = \begin{bmatrix} 1 \\ 1 \\ \vdots \\ 1 \\ \end{bmatrix} $$

마찬가지로 문맥에 의해 벡터의 크기를 알 수 있을 때는 크기를 나타내는 아랫첨자 $N$을 생략할 수도 있다.

정방 행렬

행의 크기와 열의 크기가 같은 행렬을 정방 행렬(square matrix)이라고 한다.

대각 행렬

행렬에서 행의 숫자와 열의 숫자가 같은 위치를 대각(diagonal)이라고 하고 대각 위치에 있지 않은 것들은 비대각(off-diagonal)이라고 한다. 모든 비대각 요소가 0인 정방 행렬을 대각 행렬(diagonal matrix)이라고 한다.

$$ D = \begin{bmatrix} D_{1} & 0 & \cdots & 0 \\ 0 & D_{2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & D_{N} \\ \end{bmatrix} $$
$$ D \in \mathbf{R}^{N \times N} $$

NumPy로 대각행렬을 생성하려면 diag 명령을 사용한다.

In:
np.diag([1, 2, 3])
Out:
array([[1, 0, 0],
       [0, 2, 0],
       [0, 0, 3]])

단위 행렬

대각 행렬 중에서도 모든 대각 성분의 값이 1인 대각 행렬을 단위 행렬(identity matrix)이라고 한다. 단위 행렬은 보통 알파벳 대문자 $I$로 표기하는 경우가 많다.

$$ I = \begin{bmatrix} 1 & 0 & \cdots & 0 \\ 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 \\ \end{bmatrix} $$
$$ I \in \mathbf{R}^{N \times N} $$

NumPy로 단위행렬을 생성하려면 identity 혹은 eye 명령을 사용한다.

In:
np.identity(3)
Out:
array([[ 1.,  0.,  0.],
       [ 0.,  1.,  0.],
       [ 0.,  0.,  1.]])
In:
np.eye(4)
Out:
array([[ 1.,  0.,  0.,  0.],
       [ 0.,  1.,  0.,  0.],
       [ 0.,  0.,  1.,  0.],
       [ 0.,  0.,  0.,  1.]])

대칭 행렬

만약 전치 연산을 통해서 얻어진 전치 행렬과 원래의 행렬이 같으면 대칭 행렬(symmetric matrix)이라고 한다. 정방 행렬만 대칭 행렬이 될 수 있다.

$$ S^{T} = S $$

$$ S \in \mathbf{R}^{N \times N} $$

연습 문제 4

  1. 영벡터, 일벡터, 정방행렬, 대각행렬, 단위행렬, 대칭행렬의 예를 하나씩 만들어 본다.
  2. 위의 벡터와 행렬을 NumPy로 나타내 본다.

질문/덧글

[데사스] 행렬의 곱셈 질문있습니다. song*** 2016년 5월 16일 8:28 오후

하다보니 2*2*3 행렬과 2*2*3 행렬을 곱해봤는데
이런 값이 나오는 원리를 모르겠습니다.

a = np.array([[[1,2,3],[4,6,7]],[[7,8,9],[10,11,12]]])

array([[[ 1, 2, 3],
[ 4, 6, 7]],

[[ 7, 8, 9],
[10, 11, 12]]])

b = np.array([[[1,2,3],[4,6,7]],[[7,8,9],[10,11,12]]])

array([[[ 1, 2, 3],
[ 4, 6, 7]],

[[ 7, 8, 9],
[10, 11, 12]]])

np.dot(a.T,b)

array([[[[ 29, 44, 52],
[ 77, 85, 93]],

[[ 44, 68, 82],
[128, 142, 156]]],

[[[ 34, 52, 62],
[ 94, 104, 114]],

[[ 50, 78, 95],
[152, 169, 186]]],

[[[ 39, 60, 72],
[111, 123, 135]],

[[ 55, 86, 105],
[169, 188, 207]]]])

답변: 행렬의 곱셈 질문있습니다. 관리자 2016년 5월 17일 7:03 오전

1. 우선 a와 b를 곱한 것이 아니고 a^T와 b를 곱하였으므로 (3, 2, 2) x (2, 2, 3) 입니다.
2. 3차원 이상의 배열은 행렬(matrix)이 아니고 텐서(tensor)입니다. 여기에서는 텐서 연산에 대해서는 정의하지 않았습니다.
3. numpy.dot 연산은 3차원 이상의 배열에 대해 다음과 같이 정의하고 있습니다.
[link](https://docs.scipy.org/doc/numpy/reference/generated/numpy.dot.html)
For N dimensions it is a sum product over the last axis of a and the second-to-last of b: dot(a, b)[i,j,k,m] = sum(a[i,j,:] * b[k,:,m])
이 연산은 텐서 축소(tensor contraction)이라는 연산입니다.

사용자에 의해 삭제되었습니다. supe*** 2016년 9월 20일 7:51 오후

사용자에 의해 삭제되었습니다.

이차형식에서 supe*** 2016년 10월 24일 10:48 오전

np.dot(np.dot(x, A), x) 를
np.dot(np.dot(x,A), x.T)로 표기 하지 않은 이유가 있는지 궁금합니다.

답변: 이차형식에서 관리자 2016년 10월 24일 10:53 오후

어차피 x가 1차원 배열이므로 T 연산이 아무 의미가 없습니다.

가중 행렬합 부분에서 질문드립니다. hoba*** 2017년 1월 22일 1:29 오전

혹시 가중 행렬합 부분에서 마지막에 행 벡터로 표현한 행렬에서 마지막 줄이 N이 아니고 M인것 같아서 질문드립니다.

감사합니다.

답변: 가중 행렬합 부분에서 질문드립니다. 관리자 2017년 1월 22일 10:27 오전

수정하였습니다. 지적해 주셔서 고맙습니다.