회귀 평가의 MAE와 RMSE, 큰 오차가 점수에 미치는 영향
페이지 정보
본문
회귀 모델의 평가표에서 MAE는 비슷한데 RMSE는 크게 다른 결과를 볼 수 있습니다. 이때 어느 계산이 잘못되었다고 보기 전에 모델이 어떤 크기의 오차를 만들었는지 살펴봐야 합니다.
두 지표는 모두 실제값과 예측값의 차이를 요약하지만 큰 오차를 반영하는 방식이 다릅니다. 여기서는 하나의 수치 목표를 예측하고 모든 샘플에 같은 가중치를 주는 경우를 기준으로 설명합니다.
수치 예시는 원리를 보여 주기 위해 직접 구성한 가상 데이터이며 실제 서비스 성능을 나타내지 않습니다.
AI 생성 삽화 · 개념 이해를 위한 AI 연출 이미지이며 실제 시스템 구성도나 측정 결과가 아닙니다.
핵심 정리
MAE는 절대오차를 평균하고 RMSE는 제곱오차를 평균한 뒤 제곱근을 구합니다. 한쪽 점수만으로 모델을 고르기보다 같은 평가 데이터에서 두 값과 큰 오차의 위치를 함께 확인합니다.
1. 먼저 샘플별 오차를 만듭니다
배송 시간을 예측하는 가상의 모델을 생각해 봅니다. 실제 시간이 10분이고 예측이 12분이면 예측값에서 실제값을 뺀 오차는 2분입니다.
실제가 10분인데 예측이 8분이면 오차는 마이너스 2분입니다. 두 오차를 부호 그대로 평균하면 0이 되지만 두 예측이 모두 정확했던 것은 아닙니다.
그래서 오차의 크기를 평가할 때는 양수와 음수가 상쇄되지 않도록 절댓값이나 제곱을 사용합니다. 부호를 없앤 점수만으로는 과대 예측과 과소 예측 중 어느 쪽이 많은지 알 수 없다는 점도 기억해야 합니다.
예측값과 실제값의 순서가 서로 맞는지 확인하는 과정이 계산보다 먼저입니다. 같은 고객의 예측에 다른 고객의 실제값을 붙이면 공식이 정확해도 지표는 의미를 잃습니다.
평가 자료에는 샘플을 식별할 기준과 예측 시점을 함께 남기는 편이 결과를 추적하기 쉽습니다.
2. MAE는 절대오차의 평균입니다
MAE는 각 오차에 절댓값을 취한 뒤 모두 더하고 샘플 수로 나누어 계산합니다. 절대오차가 1분, 1분, 1분, 5분이라면 합계 8분을 네 개로 나누어 MAE는 2분이 됩니다.
이를 평균적인 절대 차이가 2분이라고 읽을 수 있지만 모든 예측이 2분 이내였다는 뜻으로 읽으면 안 됩니다. 예시에는 실제로 5분의 오차가 있는 샘플이 포함되어 있습니다.
같은 네 샘플에서 절대오차가 모두 2분이어도 MAE는 똑같이 2분입니다. 따라서 MAE 하나만 놓고 두 결과의 오차 분포가 같다고 말할 수는 없습니다.
scikit-learn의 mean_absolute_error 함수는 실제값과 예측값을 받아 이 지표를 계산하며, 기본적으로 값이 작을수록 절대오차가 작습니다. 함수에는 샘플 가중치와 다중 출력 집계 옵션도 있으므로 다른 사람이 만든 평가표와 비교할 때 설정을 확인해야 합니다.
여기의 손계산은 가중치를 주지 않은 단일 출력 예시입니다.
3. RMSE에서는 큰 오차의 영향이 달라집니다
RMSE는 오차를 제곱한 값들의 평균인 MSE에 제곱근을 취한 결과입니다. 앞의 절대오차 1, 1, 1, 5를 제곱하면 1, 1, 1, 25이고 평균은 7입니다.
따라서 RMSE는 7의 제곱근인 약 2.65분입니다. 반면 절대오차가 모두 2분인 경우 제곱오차는 모두 4이고 RMSE는 2분입니다.
MAE는 같아도 큰 오차가 포함된 첫 번째 결과의 RMSE가 더 크게 나타납니다. 이 차이는 제곱하는 단계에서 큰 오차가 상대적으로 더 큰 비중을 갖기 때문에 생깁니다.
마지막에 제곱근을 취하므로 RMSE의 단위는 목표값과 같고, MSE의 단위는 그 제곱입니다. root_mean_squared_error는 scikit-learn에서 RMSE를 구하는 함수입니다.
숫자가 더 크다는 이유만으로 MAE보다 정확한 지표라고 표현하기보다 어떤 오차를 강조하는 계산인지 이해하는 것이 좋습니다.
4. 같은 데이터와 같은 단위로 비교합니다
모델 A를 평일 데이터로 평가하고 모델 B를 주말 데이터로 평가하면 점수 차이를 모델 차이만으로 해석하기 어렵습니다. 비교할 샘플과 목표값의 단위, 가중치, 제외한 행의 기준을 맞추어야 합니다.
분을 초로 바꾸면 MAE와 RMSE도 그에 맞춰 숫자가 커지므로 서로 다른 단위의 표를 그대로 비교해서는 안 됩니다. 학습에 사용한 데이터에서 얻은 좋은 점수도 새로운 데이터에서의 성능을 보장하지 않습니다.
학습과 평가를 분리하고 모델을 선택하는 데 쓴 자료와 최종 평가 자료의 역할을 구분해야 합니다. scikit-learn의 교차검증 안내도 학습 자료로 그대로 평가할 때의 문제와 평가 자료에 맞추어 설정을 조정하는 위험을 설명합니다.
평가표에는 사용한 데이터 기간과 샘플 수를 함께 적습니다. 점수가 바뀌었을 때 코드 변화 때문인지 자료 변화 때문인지 추적할 수 있도록 계산 조건을 남기는 것이 좋습니다.
5. 차이가 큰 샘플을 살펴보되 임의로 지우지 않습니다
MAE에 비해 RMSE가 크게 보이면 일부 큰 오차가 영향을 주는지 샘플별 결과를 확인할 수 있습니다. 다만 두 숫자의 차이만으로 데이터 오류나 특정 원인을 확정할 수는 없습니다.
실제값의 입력 문제인지, 예측 대상이 다른 조건에 속했는지, 드물지만 정상적으로 발생한 사례인지 조사해야 합니다. 예를 들어 가상 배송 자료에서 특정 시간대의 오차가 크다면 그 시간대의 샘플 수와 예측값을 따로 볼 수 있습니다.
점수가 좋아진다는 이유로 큰 오차의 행부터 삭제하면 평가하려는 문제 자체가 달라집니다. 제외가 필요하다면 이유와 적용 기준을 기록하고 비교 대상에도 같은 기준을 적용해야 합니다.
전체 점수와 함께 큰 오차 사례를 몇 개 살펴보면 평균이 숨기는 문제를 찾는 데 도움이 됩니다. 과대 예측과 과소 예측을 구분한 표도 두 지표만으로 알 수 없는 방향 정보를 보완합니다.
숫자의 개선이 실제 사용상의 개선과 이어지는지 검토할 자료를 함께 남깁니다.
6. 모델을 고르는 기준을 먼저 정합니다
큰 실패를 줄이는 일이 특히 중요한 문제라면 RMSE와 큰 오차 사례를 비중 있게 살펴볼 수 있습니다. 일반적인 절대 차이를 이해하기 쉽게 설명하려면 MAE가 유용한 출발점입니다.
그렇다고 모든 프로젝트에 한 지표가 항상 더 좋다고 정할 수는 없습니다. 가상의 모델 A가 대부분의 배송을 가깝게 맞히지만 일부에서 크게 틀리고, B가 비교적 고르게 틀린다면 어떤 결과가 더 부담스러운지 서비스 맥락을 살펴야 합니다.
모델을 본 뒤 유리한 지표만 고르는 대신 비교 전에 평가 기준을 합의하는 편이 좋습니다. 보고서에는 MAE와 RMSE를 같은 단위로 적고 주요 오차 사례와 계산 조건을 함께 설명합니다.
두 지표가 모두 낮아졌더라도 중요한 사용자 집단의 결과가 나빠지지 않았는지 추가로 살펴볼 수 있습니다. 최종 선택은 하나의 숫자 순위를 외우는 과정이 아니라 모델의 오차가 실제 문제에서 무엇을 뜻하는지 연결하는 과정입니다.
7. 자주 묻는 질문
Q1. RMSE가 MAE보다 작을 수도 있습니까?
이 글처럼 같은 샘플의 단일 출력 오차에 같은 비음수 가중치를 적용해 계산하면 RMSE는 MAE보다 작지 않습니다. 반대 결과가 나왔다면 데이터, 가중치, 출력 집계 방식과 단위가 같은지 먼저 확인해야 합니다.
Q2. MAE가 2분이면 모든 예측이 2분 안에 맞습니까?
절대오차의 평균이 2분이라는 뜻이므로 개별 예측의 최대 오차를 보장하지 않습니다. 본문의 1, 1, 1, 5분 예시도 MAE가 2분이므로 샘플별 결과나 큰 오차의 빈도를 함께 봅니다.
Q3. 큰 오차가 있으면 평가 자료에서 빼도 됩니까?
큰 오차라는 사실만으로 제외 근거가 되지는 않습니다. 잘못된 관측인지 정상적인 어려운 사례인지 확인하고, 제외한다면 기준과 제외 전후 결과를 기록해 평가 범위가 바뀌었음을 설명해야 합니다.
Q4. 목표값을 변환해 학습했다면 어느 단위로 평가합니까?
무엇을 평가하려는지에 맞춰 단위를 정하고 보고서에 명시해야 합니다. 원래 시간 단위의 차이를 설명하려면 예측값과 실제값을 같은 원래 단위로 맞추어 계산하며 변환 공간의 점수와 혼용하지 않습니다.
참고 자료
- 이전글군집 평가의 실루엣 점수, 가까운 이웃과 다른 군집의 거리를 비교하기 26.10.13
- 다음글결측값 대치와 결측 표시, 비어 있는 데이터에서 무엇을 남길까요 26.10.10
댓글목록
등록된 댓글이 없습니다.