태태개발일지 - 머신러닝( 모델 평가)

 

머신러닝 기법 성능 평가

from 나무위키

 

 

Predicted Class : 예측한 결과
Actual Class : 실제 결과
TP : Positive로 예측했는데 맞을 경우
FN: Nagative로 예측했을 때 틀린경우
FP: Postiave로 예측했는데 틀릴경우
TN: Nagative로 예측했는데 맞을경우 

 

위의 결과를 통해서 혼동행렬을 나타낼 수 있다.

• 정확도 (Accuracy) = (TP + TN) / (TP + TN + FP + FN)
• 정밀도 (Precision) = TP / (TP + FP)
• 재현율 (Recall) = TP / (TP + FN)
• 특이도 (Specificity) = TN / (TN + FP)
• F1-Score = 2 * (Precision * Recall) / (Precision + Recall)
• 위양성률 (FPR) = FP / (FP + TN)

 

ROC 커브

- X축: FPR (위양성률 = 1 - 특이도)
- Y축: TPR (재현율 = 민감도)
- 임계값을 변경하며 모델의 성능 변화를 나타낸 곡선

 

AUC

- ROC 커브 아래의 면적 (0.5 ~ 1.0)
- 1에 가까울수록 변별력이 높고 우수한 모델
- 0.5는 쓸모없는 무작위 모델

 

주요 수식

- TPR = TP / (TP + FN)
- FPR = FP / (FP + TN)

 

 

위는 분류 모델의 성능 평가 였다, 그렇다면 선형모델과 비선형모델의 성능은 어떻게 판별하는가?

 

회귀 모델 성능 평가 지표 요약

1. 상관계수 (관계성 파악)
- 피어슨(Pearson): 직선적인 '선형 관계' 측정 (선형 모델에 적합)
- 스피어만(Spearman): 순위 기반 '단조 관계' 측정 (비선형 모델에 유리)

2. 오차 지표 (정확도 파악)
- MSE: 오차 제곱 평균. 이상치에 민감하여 큰 에러를 잡을 때 사용
- MAE: 오차 절대값 평균. 이상치에 강하며 직관적인 에러 확인 가능

3. 설명력
- R-squared (결정계수): 모델이 데이터를 얼마나 잘 설명하는지 (1에 가까울수록 우수)

* 선형 모델이라면 피어슨과 R^2를 먼저 확인하고, 
데이터가 곡선 형태를 띠는 비선형이라면 스피어만과 MSE/MAE의 조합을 확인하는 것이 좋다.