학습 곡선, 데이터 양을 늘렸을 때 훈련 점수와 검증 점수를 함께 읽기
페이지 정보
본문
머신러닝 모델의 성능이 기대보다 낮을 때 데이터를 더 모으면 나아질지 궁금해집니다. 이때 한 번의 검증 점수만으로는 학습 데이터 양이 어떤 영향을 주는지 알기 어렵습니다.
학습 곡선은 서로 다른 훈련 데이터 크기에서 훈련 점수와 검증 점수를 함께 비교하는 도구입니다. 이 글에서는 데이터 수를 가로축으로 놓는 학습 곡선을 다룹니다.
학습 반복 횟수에 따른 손실 기록과 구분하며, 수치 예시는 실제 모델 측정값이 아닌 설명용 가상 값입니다.
AI 생성 삽화 · 개념 이해를 위한 AI 연출 이미지이며 실제 시스템 구성도나 측정 결과가 아닙니다.
핵심 정리
학습 곡선은 데이터 크기에 따른 훈련·검증 점수의 변화와 간격을 함께 읽습니다. 곡선 모양은 다음 실험을 정하는 단서이며 더 많은 데이터의 효과나 원인을 확정하는 증거는 아닙니다.
1. 가로축이 무엇인지 먼저 확인합니다
학습 과정에서 그리는 그래프는 모두 같은 의미를 갖지 않습니다. 여기서 가로축은 모델 학습에 사용한 표본 수이고 세로축은 선택한 평가 점수입니다.
같은 모델 설정을 두고 훈련 자료의 양을 바꾸어 성능이 어떻게 달라지는지 살펴봅니다. 반면 에포크별 손실 그래프는 주어진 자료로 학습을 반복하는 동안의 변화를 보여 줍니다.
데이터를 늘리는 실험과 학습을 오래 하는 실험은 서로 다른 질문에 답합니다. 하이퍼파라미터 값을 가로축으로 바꾸어 점수를 보는 검증 곡선과도 구분해야 합니다.
그래프 이름만 보고 해석하지 말고 축의 의미와 점수의 방향을 먼저 읽는 습관이 중요합니다. 정확도처럼 클수록 좋은 점수인지 오차처럼 작을수록 좋은 값인지에 따라 올라가는 선의 의미가 달라집니다.
실험 기록에는 데이터 크기와 평가 지표, 모델 설정을 함께 남겨 서로 다른 그래프를 같은 조건의 결과처럼 비교하지 않도록 합니다.
2. 각 크기에서 훈련과 검증을 분리합니다
학습 곡선을 만들 때에는 훈련에 사용한 자료에서의 점수와 학습에 사용하지 않은 검증 자료에서의 점수를 구분합니다. scikit-learn의 learning_curve는 교차 검증 분할과 여러 훈련 크기를 이용해 이 두 종류의 점수를 계산할 수 있습니다.
크기별로 반환된 분할 점수를 요약해서 평균과 변동을 살펴볼 수 있습니다. 함수가 반환하는 test_scores라는 이름을 최종 평가용으로 따로 보관한 테스트 세트의 결과와 혼동하지 않는 것이 좋습니다.
이 함수 안에서는 교차 검증의 평가 부분에 해당합니다. 훈련 크기를 비율로 지정할 때에도 전체 원본 행 수에 무조건 곱하는 것이 아니라 선택한 검증 방식에서 가능한 훈련 크기를 기준으로 해석해야 합니다.
모델 설정과 분할 방식을 기록하면 점수 차이가 자료의 양 때문인지 실험 조건이 달라졌기 때문인지 확인하기 쉬워집니다. 일부 크기에서 학습이 실패했다면 실패한 결과를 좋은 점수처럼 그래프에 채워 넣지 않고 원인과 제외 조건을 남깁니다.
3. 가상 점수의 간격과 변화를 함께 읽습니다
가상 분류 실험에서 표본 200개를 사용할 때 훈련 정확도는 0.98, 검증 정확도는 0.68이라고 가정합니다. 표본을 800개로 늘렸을 때 두 값이 0.92와 0.78, 1600개에서는 0.89와 0.82가 되었다고 해 보겠습니다.
훈련 점수만 보면 0.98에서 0.89로 내려갔지만 검증 점수는 0.68에서 0.82로 올라갔습니다. 두 점수의 간격도 0.30, 0.14, 0.07로 줄었습니다.
이 예시에서는 훈련 자료에서의 높은 점수를 유지하는 것보다 새로운 자료에서의 변화가 중요한 관찰입니다. 다만 이 숫자가 모든 모델의 전형적인 변화나 기대 성능을 뜻하는 것은 아닙니다.
더 큰 크기에서도 같은 비율로 개선된다고 직선으로 연장해서 예측할 수는 없습니다. 1600개 이후의 결과가 필요하다면 실제로 새로운 조건을 시험해야 합니다.
점수 차이는 정확도의 차이이므로 0.30은 30퍼센트포인트에 해당한다는 식으로 단위도 분명히 읽습니다.
4. 낮은 두 선과 큰 간격은 다음 확인을 안내합니다
훈련과 검증 점수가 모두 낮은 수준에서 거의 변하지 않는다면 자료의 양 외에 모델 표현력이나 특성, 목표와 평가 방식 등을 살펴볼 이유가 있습니다. 훈련 점수는 높은데 검증 점수가 낮고 간격이 크다면 과적합 가능성과 자료 분할 조건을 검토할 수 있습니다.
그러나 그래프의 모양 하나로 원인을 확정해서는 안 됩니다. 같은 낮은 점수라도 잘못된 정답 데이터나 서로 다른 분포, 부적절한 지표가 영향을 줄 수 있기 때문입니다.
가상 예시로 두 정확도가 0.62와 0.60 근처에서 머문다고 해서 모든 문제에서 그 값이 나쁜 성능이라는 뜻은 아닙니다. 해당 문제의 기준 모델과 실제 목표를 함께 봐야 합니다.
선이 가까워졌는지만 보지 말고 어느 수준에서 가까워졌는지도 확인합니다. 두 선이 겹쳤다는 이유로 더 이상 개선할 필요가 없다고 결론 내리지 않습니다.
관찰을 다음 실험의 가설로 바꾸고, 설정 하나를 조정한 결과를 같은 평가 기준에서 다시 비교하는 흐름이 유용합니다.
5. 평균 곡선 뒤의 분할과 전처리를 확인합니다
크기별 평균이 매끄럽게 보이더라도 분할마다 점수가 얼마나 달랐는지 확인할 필요가 있습니다. 일부 분할에서만 높은 점수가 나왔다면 평균만으로 효과를 단정하기 어렵습니다.
전처리에서 검증 자료의 정보가 학습 단계에 들어가지 않도록 하는 것도 중요합니다. 평균이나 변환 규칙을 전체 자료로 먼저 맞추고 분할하면 평가 과정에 정보 누수가 생길 수 있으므로 학습 구간 안에서 전처리를 학습하도록 구성합니다.
파이프라인은 이런 절차를 연결하는 데 도움이 됩니다. 같은 사람의 반복 기록이나 시간 순서가 중요한 자료라면 일반 무작위 분할을 그대로 사용할지 먼저 검토해야 합니다.
데이터 양을 바꿀 때 필요한 클래스가 작은 훈련 부분에도 포함되는지 같은 조건도 살펴봅니다. 곡선을 그리는 함수가 분할의 적절성까지 자동으로 판단해 주는 것은 아닙니다.
실험 노트에 표본 선택 방식과 제외된 자료, 전처리 위치를 함께 적으면 그래프를 다시 해석할 근거가 남습니다.
6. 성능뿐 아니라 추가 데이터의 비용도 비교합니다
데이터가 늘면서 검증 점수가 개선되더라도 학습 시간과 자원 사용이 얼마나 달라지는지 함께 볼 수 있습니다. 공식 예제에서도 표본 수에 따른 학습 시간과 점수의 관계를 비교하는 방법을 보여 줍니다.
실무적인 판단에서는 새로운 데이터를 수집하고 정리하는 비용까지 별도로 고려해야 합니다. 가상으로 800개에서 1600개로 늘리며 정확도가 0.78에서 0.82가 되었다면 개선 폭은 4퍼센트포인트입니다.
그 변화가 목표에 충분히 의미 있는지, 다른 오류 유형은 어떻게 달라졌는지 추가로 확인할 수 있습니다. 같은 수의 행을 복제하는 일과 새로운 정보를 가진 표본을 확보하는 일도 구분해야 합니다.
학습 곡선을 보고 모델 설정을 여러 번 골랐다면 그 검증 결과만으로 최종 성능을 보고하지 않고 독립된 평가 절차를 남겨 둡니다. 학습 곡선은 데이터 수를 정해 주는 정답표가 아니라 관찰한 범위에서 무엇을 다음에 시험할지 정리하는 자료로 사용하는 편이 적절합니다.
7. 자주 묻는 질문
Q1. 훈련 점수가 내려가면 학습이 잘못된 것입니까?
데이터 양이 늘어난 실험에서는 훈련 점수만으로 좋고 나쁨을 판단하지 않습니다. 검증 점수와 두 점수의 간격, 평가 지표를 함께 확인해야 합니다.
Q2. 에포크별 손실 그래프와 같은 학습 곡선입니까?
이 글의 학습 곡선은 훈련 표본 수를 바꾸는 실험입니다. 에포크별 그래프는 학습 반복에 따른 변화이므로 가로축과 실험 질문을 구분해서 읽습니다.
Q3. 두 선이 가까워지면 성능이 충분한 것입니까?
두 점수가 낮은 수준에서 가까울 수도 있어 간격만으로 판단할 수는 없습니다. 문제의 기준 모델과 목표, 오류 유형까지 함께 비교해야 합니다.
Q4. 곡선이 좋아지면 데이터를 더 모아도 계속 좋아집니까?
현재 관찰한 범위의 개선이 이후에도 같은 폭으로 이어진다는 보장은 없습니다. 추가 표본의 구성과 실제 평가 결과, 학습 및 수집 비용을 다시 확인해야 합니다.
참고 자료
- 다음글순열 특성 중요도, 입력 열을 섞었을 때 모델 점수가 달라지는 이유 26.10.14
댓글목록
등록된 댓글이 없습니다.