• 목록

머신러닝 예제를 실행하면 learning rate와 batch size가 함께 등장합니다. 두 값을 모두 학습 속도를 조절하는 숫자로만 외우면, 실험 결과가 달라졌을 때 원인을 설명하기 어렵습니다.

학습률은 매개변수를 얼마나 움직일지에 관련되고, 배치 크기는 한 번의 계산에 어떤 단위로 데이터를 넣을지에 관련됩니다. 이 글에서는 기본적인 미니배치 학습을 기준으로 두 개념을 구분합니다.

계산 예시는 원리를 보여 주기 위한 가정이며 특정 모델에 권장하는 설정이나 실제 성능 결과는 아닙니다.

AI 생성 삽화 · 개념 이해를 위한 AI 연출 이미지이며 실제 시스템 구성도나 측정 결과가 아닙니다.

핵심 정리
배치 크기와 학습률은 서로 다른 역할을 합니다. 샘플을 묶는 단위, 매개변수 갱신 횟수, 한 번의 갱신 크기를 나누어 기록하면 실험을 비교하기 쉬워집니다.

1. 샘플·배치·에포크를 같은 단위로 세지 않습니다

샘플은 학습에 사용하는 하나의 데이터 항목이며, 배치는 여러 샘플을 묶어 처리하는 단위입니다. 에포크는 보통 학습 데이터 전체를 한 차례 사용하는 범위를 가리킵니다.

PyTorch의 기본 학습 예제는 배치마다 예측과 손실 계산, 역전파, 최적화 단계가 이어지는 구조를 보여 줍니다. 여기서 한 배치를 처리했다는 말과 전체 데이터를 한 번 봤다는 말은 다릅니다.

가상의 이미지 데이터가 천 개라면, 열 개를 읽은 상황을 한 에포크가 끝났다고 기록해서는 안 됩니다. 학습 로그의 step이 무엇을 세는지도 코드와 함께 확인해야 합니다.

팀원이 데이터 로더 반복 횟수를 세고 자신은 매개변수 갱신 횟수를 센다면 같은 숫자라도 의미가 달라질 수 있습니다. 실험 문서 첫머리에 각 단위의 정의를 적어 두면 그래프를 비교할 때 혼동이 줄어듭니다.

관련 공식 문서

2. 학습률은 단순한 SGD 식에서 먼저 이해합니다

가장 단순한 설명에서는 새 매개변수 값을 현재 값에서 학습률과 기울기의 곱을 뺀 값으로 생각할 수 있습니다. 모멘텀과 가중치 감쇠를 제외하고 매개변수가 2, 기울기가 0.5, 학습률이 0.1이라고 가정하면 갱신 후 값은 1.95입니다.

같은 기울기에서 학습률만 0.01로 바꾸면 1.995가 됩니다. 이 계산은 한 번의 이동 크기를 보여 주는 자체 예시입니다.

실제 학습에서는 매개변수가 바뀌면 다음 기울기도 달라지고, 최적화 알고리즘의 상태나 추가 설정도 영향을 줄 수 있습니다. 따라서 한 줄의 계산만 보고 어떤 학습률이 최종 정확도를 높인다고 결론 내리지 않습니다.

PyTorch의 SGD 문서는 모멘텀과 가중치 감쇠 등 확장된 갱신 절차를 별도로 설명합니다. 처음에는 단순한 경우를 직접 계산한 뒤 사용 중인 최적화기의 옵션을 확인하는 순서가 이해하기 좋습니다.

관련 공식 문서

3. 배치 수 계산에는 남는 데이터 처리도 포함합니다

천 개의 샘플을 배치 크기 백으로 나누면 한 번의 전체 순회에서 열 배치가 나옵니다. 반면 샘플이 천삼십 개라면 마지막에 서른 개가 남습니다.

마지막 작은 배치를 사용하면 열한 배치가 되고, 남은 배치를 버리도록 설정하면 열 배치가 됩니다. 이는 설명을 위해 만든 산술 예시입니다.

PyTorch DataLoader의 drop_last 같은 설정을 확인해야 실제 반복 횟수를 알 수 있습니다. 배치 크기를 바꾼 두 실험을 같은 에포크 수만으로 비교하면 갱신 횟수가 달라질 수 있다는 점도 기억해야 합니다.

예를 들어 매 배치마다 갱신하는 기본 루프에서 배치를 작게 만들면 한 에포크의 갱신 기회가 늘어납니다. 이때 결과 변화가 오직 한 번에 보는 샘플 수 때문이라고 단정하면 비교 조건을 놓치게 됩니다.

데이터 개수, 배치 크기, 마지막 배치 정책을 함께 남깁니다.

관련 공식 문서

4. 기울기 누적을 쓴다면 계산과 갱신을 따로 기록합니다

여러 작은 배치의 기울기를 모은 뒤 한 번 갱신하는 코드를 사용한다면, 데이터 로더를 한 번 돌 때마다 매개변수가 바뀐다는 설명은 맞지 않습니다. 이런 실험에서는 역전파 횟수와 optimizer.step 호출 횟수를 별도로 적는 편이 좋습니다.

예를 들어 네 번의 작은 배치 계산 뒤 한 번 갱신하도록 직접 구성했다면, 로그에서도 어떤 횟수를 표시하는지 명확해야 합니다. 손실의 크기 조정이나 마지막에 남는 누적 구간의 처리 방식도 코드를 읽어 확인합니다.

단순히 배치 크기에 누적 횟수를 곱한 숫자가 같다고 모든 실행이 완전히 동일하다고 보장하지 않습니다. 모델 구성과 손실 계산 방식까지 확인해야 하기 때문입니다.

입문 실습에서는 먼저 누적 없는 기본 루프의 순서를 이해한 뒤 해당 기능을 추가하는 편이 디버깅하기 쉽습니다. 기울기를 초기화하는 위치를 바꿨다면 변경 전후의 의도도 설명해 둡니다.

5. 두 설정을 동시에 바꾸기 전에 비교 목적을 정합니다

실험 A에서 학습률과 배치 크기를 함께 바꾸고 실험 B보다 좋아졌다고 기록하면 어떤 변경이 유효했는지 분리하기 어렵습니다. 먼저 알고 싶은 질문을 정하는 편이 좋습니다.

학습률의 영향을 보고 싶다면 데이터 분할과 모델, 배치 설정을 유지한 채 후보를 비교하는 식으로 실험을 구성합니다. 메모리 제약 때문에 배치 크기를 바꾸는 상황이라면, 단순한 정확도 비교와 실행 가능한 설정 탐색을 구분합니다.

학습 손실뿐 아니라 검증 결과를 남기고, 데이터 순서나 초기화 같은 조건도 함께 기록합니다. 그래프의 가로축이 에포크인지 갱신 횟수인지에 따라 읽는 의미가 달라질 수 있습니다.

실험 시간이 제한되어 있다면 동일한 시간 예산을 적용한 비교인지, 같은 데이터 순회 수를 적용한 비교인지도 밝혀야 합니다. 어느 기준이든 질문에 맞게 선택하고 기록하는 일이 우선입니다.

6. 실험 메모는 숫자와 해석을 분리합니다

자체 실습 기록에는 설정값, 관찰 결과, 다음 가설을 나누어 적어 보십시오. 예를 들어 학습률을 바꾼 뒤 검증 점수가 달라졌다는 것은 관찰이고, 그 이유가 갱신 폭 때문일 것이라는 생각은 해석입니다. 한 번의 실행만으로 해석을 확정하지 않으면 다음 실험을 더 정확히 설계할 수 있습니다.

실행이 중단되었다면 결과 표에서 제외해 버리기보다 어느 단계에서 문제가 생겼는지 남깁니다. 작은 배치가 성공했고 큰 배치가 메모리 부족으로 실패했다면 실행 가능 범위에 대한 정보가 됩니다.

재현을 위해 데이터 버전과 코드 변경 내용을 연결해 두는 것도 도움이 됩니다. 취업 준비용 노트에는 가장 높은 점수만 모으기보다 조건을 왜 정했고 무엇을 비교했는지를 설명합니다.

학습률과 배치 크기를 각기 다른 역할로 설명할 수 있다면, 새로운 예제의 설정을 읽을 때도 숫자의 의미를 따라가기 쉬워집니다.

7. 자주 묻는 질문

Q1. 학습률을 낮추면 항상 더 잘 학습하나요?

그렇게 보장할 수 없습니다. 작은 갱신이 원하는 결과에 도달하는 데 어떤 영향을 주는지 학습과 검증 기록으로 확인해야 합니다.

Q2. 배치 크기가 같으면 갱신 횟수도 같나요?

데이터 개수와 마지막 배치 처리, 기울기 누적 방식에 따라 달라질 수 있습니다. 실제 최적화 단계가 몇 번 실행되는지 함께 확인합니다.

Q3. 예제의 설정값을 그대로 써도 되나요?

예제를 이해하고 재현하는 출발점으로 사용할 수 있습니다. 자신의 데이터와 모델에서도 같은 결과를 낸다는 의미는 아니므로 조건을 바꾸면 다시 검증합니다.

Q4. 실험 표에 최소한 무엇을 적나요?

학습률, 배치 크기, 에포크와 갱신 횟수, 데이터 분할, 검증 지표를 적는 것이 좋습니다. 비교 중 바꾼 항목을 따로 표시하면 원인을 설명하기 쉬워집니다.

참고 자료

• PyTorch: 기본 최적화 학습 루프
• PyTorch: SGD
• PyTorch: DataLoader