태태개발일지 - 기계학습(supervised learning-분류, 회귀 수식 유도)

Supervised Learing

 

input과 output의 관계를 파악하고 새로운 Data를 예측한다.

 

치역의 성질을 따라서 classfication/ regression 문제로 나눌 수 있다.

 

classfication

 

분류선을 그리는

 

regression

예측선을 그리는

 

Linear Regression

 

수식 : y=w0 + w1x1+ w2x2 ....... wdxd

d : vector의 차원

 

 

위의 식은

f(x) = 시그마 i=0~d  w의 T  즉 전치행렬과 X의 내적으로 표현할 수 있다.

 

학습:

y와 x를 이미 알고있기 때문에, 모델의 실제값과 예측값의 차이를 통해서 W를 임의로 조정하고 다시 구하는 방식을 반복하게 된다.

 

 

h(x)  = redisual(실제값과 예측값의 차이) 의 제곱을 모두 더한다.

Gradient descent라는 개념이 등장하게 되는데

레지듀얼 값을 고차원에 뿌린 후, 축을 w를 기준으로 가장 아래지점인  w를 구하게 된다.

 

 

Gradient descent

1. random하게 point를 잡는다.

2. 처음나온 Gradient의 반대방향으로 진행한다.

3. 0이 나오는 구간을 찾는다.

 

여기서 a값을 통해서 떨어지는 크기를 조절하여, 반복하여 해결하게 된다.

 

MSE를 미분하게되면,

겉미분과 속미분을 통해서 

(fw(X) - y)xj라는 수식이나오게 된다.

 

 

 

 

그러면 나온 w값을 w - a(수식에서 나온 모든 값을 더한 결과) 로 계속 갱신하면서 반복하여 찾아간다.

 

 

 

제곱함수는 U자형 커브로 되어있기 때문에 0 을 만드는 parameter를 바로 찾을 수 있다. 이를 아날릭솔루션을 통해서 바로 구할 수 있다.
하지만, 기본 U자가 아닌 굴곡이 있는 함수에서 0이 되는 구간을 단번에 찾는 것은 문제가 있을 수 있다.

 

 

0을 단번에 찾는 방법은

벡터의 내적으로 구할 수 있다.

1/2(xw-y)T * (xw-y)식을 미분하면 되는데

식을 모두 전개하고 미분을 하게되면, XTXW = XTY라는 식이 나오게되고 w = XTY/XTX라는 식이 나오게 되어 0이 되는 구간을 한번에 구할 수 있다.

위에 식을 벡터와 선형식이 아닌 확률의 관점으로도 확인할 수 있다.

 

 

 

y = wX + 노이즈

이 노이즈가 정규분포를 따른다는 가정하에

 

wX도 정규분포를 따르게되고,

y(i) ~ N(WTX(i),표준편차) 라는 정규식을 따르게되면 , 

위의 식을 따르는 우도함수가 완성되게 된다.

 

 

그리고 그 정규분포 식에 log를 통해서 확률의 곱셈에서 나오는 0으로 수렴하는 문제를 해결하면,

MSE 수식이 도출되게 된다.

 

 

 

 

Logistic Regression

 

 

 

1. 로짓(Logit)과 시그모이드(Sigmoid)의 관계

분류 문제에서는 결과가 0 아니면 1이어야한다.

이는 베르누이 분포를 따른다는 가정이고,

근데 선형 회귀는 (-무한대 , 무한대)까지 나오거든? 이걸 0과 1 사이의 확률로 바꿔줄 마법의 함수가 필요하다.

그렇기 때문에 선형회귀의 값이 로짓이다라는 정의를 통해서 sigmoid함수를 통해 분류문제로 학습이 가능하게 한 것이다.

 

 

 

multiclass classification은

softmax함수를 통해서 전체확률분의 실제확률(모든 값을 exp하여)을 넣어서 계산을 한다.
이는 클래스간의 차이를 크게한다.

 

 

 

정규화

overfiiting을 방지하기 위해서 람다(w)를 통해서 패널티를 넣어서 정규화를 시킨다.

람다가 커지면, 패널티가 커지고, 모델이 단순화 된다.
람다가 적어지면 패널티가 낮아지고 모델이 복잡해진다.

 

 

 

L1 라쏘 정규화는

|w|를 나타내기 때문에 그레프 상에서 마름모 모형을 나타내고, h(x)와의 접점이 보통 0으로 수렴되어, 중요하지 않는 부분은 다 0 으로 만들어버린다.

 

L2 릿지 정규화는

w^2으로 나타내기에 원형을 뛰게 되고, 원과 타원의 접점은 0에서 만나기 힘들어 중요하지 않은 것들의 중요도를 낮출 순 있지만 0 으로 만들기에는 어렵다.

 

정규화는 추후에 더 다뤄보겠다.