[Python][AI] AI 모델 성능 지표(Metrics) 정리

metrics

AI 모델의 성능을 평가하기 위해 다양한 성능 지표(metrics)가 사용된다. 모델이 얼마나 정확하게 작동하는지, 예측이 얼마나 신뢰할 수 있는지를 평가하는 데 중요한 역할을 하다. 이번 글에서 대표적인 성능 지표들을 소개하겠다.

---

1. 회귀(Regression) 모델 성능 지표

---

회귀 모델은 연속적인 숫자 값을 예측하는 모델이며, 주로 평균 제곱 오차(Mean Squared Error)나 평균 절대 오차(Mean Absolute Error) 등의 지표를 사용함.

(1) MSE (Mean Squared Error, 평균 제곱 오차)

MSE는 실제 값과 예측 값의 차이를 제곱한 후 평균을 구한 값임. 값이 작을수록 모델의 예측이 실제 값과 가까움을 의미함.

mean squared error

• 장점: 오차를 제곱하여 큰 오차를 강조함
• 단점: 제곱이 적용되므로 이상치(outlier)에 민감함

(2) RMSE (Root Mean Squared Error, 평균 제곱근 오차)

RMSE는 MSE의 제곱근을 취한 값으로, 실제 값과 예측 값 간의 평균적인 차이를 나타냄. 단위가 원래 데이터와 같아 해석이 쉬움.

root mean squared error

• 장점: 단위가 원본 데이터와 동일하여 직관적 해석 가능
• 단점: MSE처럼 이상치에 민감함

(3) MAE (Mean Absolute Error, 평균 절대 오차)

MAE는 실제 값과 예측 값의 절대 차이의 평균을 구한 값으로, 오차의 크기를 직접적으로 반영함.

mean absolute error

• 장점: 이상치에 덜 민감함.
• 단점: 오차의 제곱이 적용되지 않아 큰 오차를 강조하는 데 부족함.

(4) R² Score (결정 계수, 설명력)

모델이 데이터를 얼마나 잘 설명하는지 나타내는 지표로, 1에 가까울수록 좋은 모델임.

r square score

• 장점: 모델의 설명력을 직관적으로 나타냄
• 단점: 다중 회귀 모델에서는 변수 개수 증가에 따라 값이 과대 평가될 수 있음

---

728x90

반응형

2. 분류(Classification) 모델 성능 지표

---

분류 모델은 특정 클래스로 데이터를 분류하는 모델이며, 대표적으로 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score 등의 지표를 사용함.

(1) Accuracy (정확도)

전체 샘플 중에서 올바르게 예측한 비율을 나타냄.

accuracy

• 장점: 직관적인 성능 지표임
• 단점: 데이터가 불균형할 경우 성능을 과대평가할 수 있음

(2) Precision (정밀도, 양성 예측도)

모델이 양성(Positive)이라고 예측한 것 중 실제로 양성인 비율을 의미함.

precision

• 장점: False Positive를 줄이는 데 유용함
• 단점: FN을 고려하지 않으므로, 실제 중요한 양성을 놓칠 수 있음

(3) Recall (재현율, 민감도, True Positive Rate)

실제 양성 중에서 모델이 양성이라고 예측한 비율을 나타냄.

recall

• 장점: FN을 줄이는 데 유용함
• 단점: FP를 고려하지 않으므로, 불필요한 양성 예측이 많을 수 있음

(4) F1-score (조화 평균)

정밀도(Precision)와 재현율(Recall)의 조화 평균으로, 두 값을 균형 있게 고려함.

f1-score

• 장점: Precision과 Recall의 균형을 맞춤
• 단점: 특정한 상황에서 Precision과 Recall 중 하나를 더 고려해야 할 수도 있음

(5) AUC-ROC (Area Under the Curve - Receiver Operating Characteristic curve)

ROC 커브의 아래 면적(AUC)을 의미하며, 모델의 분류 성능을 종합적으로 평가함.

• AUC 값 의미
  • 0.5: 무작위 예측과 동일한 성능
  • 0.7~0.8: 준수한 성능
  • 0.8~0.9: 좋은 성능
  • 0.9 이상: 매우 좋은 성능

---

3. 모델 평가 시 고려할 점

---

• 데이터 불균형: Accuracy만으로 평가하면 안 되고 Precision, Recall, F1-score 등을 함께 분석해야 함
• 비즈니스 목적에 따른 지표 선택: 금융 사기 탐지 같은 경우 Recall을 높이는 것이 중요할 수 있고, 광고 클릭 예측에서는 Precision이 중요할 수 있음
• 이상치 영향 고려: 회귀 모델에서는 이상치에 민감한 MSE보다 MAE를 활용할 수도 있음

---

4. 결론

---

AI 모델의 성능을 평가하기 위해 다양한 지표가 사용됨. 회귀 모델과 분류 모델에서 각각 적절한 지표를 선택해야 하며, 데이터 특성과 문제 상황에 맞게 평가 기준을 설정하는 것이 중요함.