태태개발일지 - 클러스터링

Clustering Methods

비지도 학습의 가장 기초적인 테스크로, label이 되어있지 않는 클래스를 나누는 역할, 유사도를 통해서 분류한다.

 

 

* 기준에 따라 결과 값이 달라진다.

 

 

그중 대표적으로 k-means clustering이 있다.

 

K-means Clustering

 

각각의 중앙값에 가까운것으로 분류를 한다.

 

 

장점: k-means clustering은 단순하고 빠르게 처리가 가능한 기법이다.

 

 

 

 

 

 

 

위의 식을 해석해보자면,

1. Rnk는 0과 1로 나누어져있어서 k에 속하면 1 아니면 0을 반환한다.

2. rnk의 옆은 중심값에 비해서 얼마나 떨어져있는 가를 나타낸다.

 

1번과 2번을 각각 번갈아 가면서 J를 최소화 하는 문제로 바뀌게 된다.

 

 

뮤(2번) 을 고정하고 rnk를 우선 찾는다.

rnk를 고정하고 편미분을 통해서 0이 되는 값을 구하면된다. 편미분을 하게되면, 그냥 평균점이 나오게 된다. 즉 평균점을 옮기게 된다.

 

k 즉 클러스터의 개수에 따라 달라진다.

k를 너무 높히면 의미가 없게 된다.

 

출처:https://velog.io/@73syjs/K-means-clustering

 

k-mean의 한계는 

1. 중앙으로 부터 클래스 자체가 구형이다라는 점이다.

2. 확률적인 방법이 아니라, 애매한경우 딱딱 떨어진다. ex) 서로 겹쳐있을 때 하나로 결정이 나야함.

 

 

GMM

가우시안 자체를 cluster로 보는 것이다.

 

 

장점:

1. mean값이 아니라 구형이아니다.

2. 결과가 hard하지않고, soft하다, 애매한경우 반반 주면된다.

 

 

아래와같이 log안에 시그마가 있는 경우, liklyhood를 구하기 어렵다.

여기서 등장한 개념이 EM 알고리즘이다.

 

 

 

이 3가지 변수를 하나씩 미분해가면서 동기화해 나가면 되는 알고리즘이다.

 

그 이유는 각 매개변수로 미분하게되면, 감마 JK의 정의와 같아져서, 결국 0이되는 지점을 찾으면 되기때문이다.

 

 

Hierarchical Clustering

클러스터의 계층 구조를 알고싶을 때 사용/ 덴드로그램이라고도 명명

 

 

클러스터의 갯수를 정하지않고, 점차적으로 계층구조를 확인한다는 특징을 가진다.

 

계층의 구조

1. Agglomerative(개개인으로부터 큰 범위로 늘리는것)

2. Divisive(전체를 보고 쪼개나가는 것)

 

계층을 나눌 때, 서로의 거리와 집단의 거리를 나누는 수많은 방식이 있다.

 

클러스터 2개를 합치고,  2개의 집단의 각각의 자체분산을 뺴줘서 변화량을 통해 확인하기도 한다.