K-Means 클러스터링¶
독립 변수의 특성이 유사한 데이터의 그룹을 클러스터(cluster)라고 한다. 주어진 데이터를 여러개의 클러스터로 구분하는 것을 클러스터링(clustering)이라고 한다. 만약 클러스터의 갯수가 $K$라면 클러스터링은 모든 데이터에 대해 각 데이터가 1번부터 $K$번 클러스터 중에 어떤 클러스터에 속하는지 예측하는 작업이다.
K-Means¶
K-Means 클러스터링 알고리즘은 가장 단순하고 빠른 클러스터링 알고리즘의 하나이다.
기본적인 방법은 다음과 같은 목적함수 값이 최소화될 때까지 클러스터의 중심(centroid) $\mu_k$과 각 데이터가 소속될 클러스터를 반복해서 찾는 것이다. 이 값을 inertia라고도 한다.
$$ J = \sum_{k=1}^K \sum_{i \in C_k} d(x_i, \mu_k) $$이 식에서 $d$는 두 데이터의 비유사도(dissimilarity) 혹은 거리(distance)로 다음과 같이 정의한다.
$$ d(x_i, \mu_k) = || x_i - \mu_k ||^2 $$세부 알고리즘은 다음과 같다.
- 임의의 중심값 $\mu_k$ 를 고른다. (보통 데이터 샘플 중의 하나를 선택)
- 중심에서 각 샘플 데이터까지의 거리를 계산
- 각 데이터 샘플에서 가장 가까운 중심을 선택하여 클러스터 갱신
- 다시 만들어진 클러스터에 대해 중심을 다시 계산하고 1 ~ 4를 반복한다.
In [1]:
X = np.array([[7, 5], [5, 7], [7, 7], [4, 4], [4, 6], [1, 4],
[0, 0], [2, 2], [8, 7], [6, 8], [5, 5], [3, 7]])
plt.scatter(X[:, 0], X[:, 1], s=100)
plt.show()
In [2]:
from sklearn.cluster import KMeans
1회차¶
In [3]:
model1 = KMeans(n_clusters=2, init="random", n_init=1,
max_iter=1, random_state=1).fit(X)
In [4]:
c0, c1 = model1.cluster_centers_
c0, c1
Out:
In [5]:
model1.score(X)
Out:
In [6]:
def plot_cluster(model, c0, c1):
plt.scatter(X[model.labels_ == 0, 0],
X[model.labels_ == 0, 1], s=100, marker='v', c='r')
plt.scatter(X[model.labels_ == 1, 0],
X[model.labels_ == 1, 1], s=100, marker='^', c='b')
plt.scatter(c0[0], c0[1], s=200, c="r")
plt.scatter(c1[0], c1[1], s=200, c="b")
plt.show()
In [7]:
plot_cluster(model1, c0, c1)
In [8]:
def kmeans_df(model, c0, c1):
df = pd.DataFrame(np.hstack([X,
np.linalg.norm(X - c0, axis=1)[:, np.newaxis],
np.linalg.norm(X - c1, axis=1)[:, np.newaxis],
model.labels_[:, np.newaxis]]),
columns=["x0", "x1", "d0", "d1", "c"])
return df
In [9]:
kmeans_df(model1, c0, c1)
Out:
In [10]:
def calc_new_centroid(model):
c0_new = (X[model.labels_ == 0, 0].mean(), X[model.labels_ == 0, 1].mean())
c1_new = (X[model.labels_ == 1, 0].mean(), X[model.labels_ == 1, 1].mean())
return c0_new, c1_new
In [11]:
calc_new_centroid(model1)
Out:
2회차¶
In [12]:
model2 = KMeans(n_clusters=2, init="random", n_init=1,
max_iter=2, random_state=1).fit(X)
In [13]:
c0, c1 = model2.cluster_centers_
c0, c1
Out:
In [14]:
model2.score(X)
Out:
In [15]:
plot_cluster(model2, c0, c1)
In [16]:
kmeans_df(model2, c0, c1)
Out:
In [17]:
calc_new_centroid(model2)
Out:
3회차¶
In [18]:
model3 = KMeans(n_clusters=2, init="random", n_init=1,
max_iter=3, random_state=1).fit(X)
In [19]:
c0, c1 = model3.cluster_centers_
c0, c1
Out:
In [20]:
model3.score(X)
Out:
In [21]:
plot_cluster(model3, c0, c1)
In [22]:
kmeans_df(model3, c0, c1)
Out:
In [23]:
calc_new_centroid(model3)
Out:
4회차¶
In [24]:
model4 = KMeans(n_clusters=2, init="random", n_init=1,
max_iter=4, random_state=1).fit(X)
In [25]:
c0, c1 = model4.cluster_centers_
c0, c1
Out:
In [26]:
model4.score(X)
Out:
In [27]:
plot_cluster(model4, c0, c1)
In [28]:
kmeans_df(model4, c0, c1)
Out:
In [29]:
calc_new_centroid(model4)
Out:
5회차¶
In [30]:
model5 = KMeans(n_clusters=2, init="random", n_init=1,
max_iter=5, random_state=1).fit(X)
In [31]:
c0, c1 = model5.cluster_centers_
c0, c1
Out:
In [32]:
model5.score(X)
Out:
In [33]:
plot_cluster(model5, c0, c1)
In [34]:
kmeans_df(model5, c0, c1)
Out:
In [35]:
calc_new_centroid(model5)
Out:
K-Means++¶
K-Means++ 알고리즘은 최초의 중심값을 설정하기 위한 알고리즘이다.
- 중심값을 저장할 집합 $M$ 준비
- 일단 하나의 중심 $\mu_0$를 랜덤하게 선택하여 $M$에 넣는다.
- $M$에 속하지 않는 모든 샘플 $x_i$에 대해 거리 $d(M, x_i)$를 계산. $d(M, x_i)$는 $M$안의 모든 샘플 $\mu_k$에 대해 $d(\mu_k, x_i)$를 계산하여 가장 작은 값 선택
- $d(M, x_i)$에 비례한 확률로 다음 중심 $\mu$를 선택.
- $K$개의 중심을 선택할 때까지 반복
- K-Means 알고리즘 사용
예: Iris¶
In [36]:
from mpl_toolkits.mplot3d import Axes3D
from sklearn.cluster import KMeans
from sklearn import datasets
np.random.seed(5)
centers = [[1, 1], [-1, -1], [1, -1]]
iris = datasets.load_iris()
X = iris.data
y = iris.target
def plot_iris_cluster(model):
fig = plt.figure()
ax = Axes3D(fig, rect=[0, 0, .95, 1], elev=48, azim=134)
model.fit(X)
labels = model.labels_
ax.scatter(X[:, 3], X[:, 0], X[:, 2], c=labels.astype(
np.float), s=100, cmap=mpl.cm.jet)
ax.w_xaxis.set_ticklabels([])
ax.w_yaxis.set_ticklabels([])
ax.w_zaxis.set_ticklabels([])
ax.set_xlabel('Petal width')
ax.set_ylabel('Sepal length')
ax.set_zlabel('Petal length')
plt.show()
In [37]:
model3 = KMeans(n_clusters=3)
plot_iris_cluster(model3)