LLM 토큰과 컨텍스트 길이, 글자 수와 다른 이유
페이지 정보
본문
LLM에 넣을 문서를 준비할 때 글자 수가 제한보다 작은데도 입력이 길다는 오류를 만날 수 있습니다. 모델이 처리하는 단위가 사람이 세는 글자나 문장과 같지 않기 때문입니다.
토큰은 텍스트를 모델 입력으로 바꾸는 단위이고 컨텍스트 길이는 한 번의 처리에서 다룰 수 있는 범위와 연결됩니다. 두 용어를 나누어 이해하면 문서를 줄이거나 대화 기록을 구성할 때 기준을 잡기 쉽습니다.
AI 생성 삽화 · 언어 조각과 제한된 입력 공간을 표현한 개념 삽화이며 실제 토큰 분할 결과는 아닙니다.
핵심 정리
토큰 수는 모델에 맞는 토크나이저로 확인해야 합니다. 문서 본문뿐 아니라 대화 형식과 추가 지시, 생성할 답변의 공간도 함께 고려합니다.
1. 토큰은 단어와 일대일로 대응하지 않습니다
토크나이저는 텍스트를 토큰의 식별자 배열로 바꾸는 역할을 합니다. 한 단어가 하나의 토큰이 될 수도 있고 여러 조각으로 나뉠 수도 있습니다.
Hugging Face 문서는 BPE, Unigram, WordPiece 등 하위 단어 단위의 분할 방식을 설명합니다. 어떤 조각이 쓰이는지는 어휘와 처리 규칙에 따라 달라집니다.
따라서 띄어쓰기로 단어를 센 값이나 문자열 길이를 토큰 수와 같은 것으로 보면 안 됩니다. 설명용으로 '배관 점검 안내'라는 문장을 생각해볼 수 있습니다.
이 문장이 실제로 몇 토큰인지 여기서 임의로 숫자를 붙이지 않습니다. 선택한 모델에 대응하는 토크나이저로 확인해야 하기 때문입니다.
같은 문장이라도 사용하는 모델과 토크나이저가 달라지면 결과가 같다고 보장할 수 없습니다. 개념 설명에 쓰는 조각 그림과 실제 인코딩 결과도 구분해야 합니다.
2. 한글과 코드가 섞이면 글자 기준이 더 불안정합니다
한국어 문장에 영문 제품명, 숫자, 경로, 코드가 섞인 문서를 자주 다루게 됩니다. 눈으로 보기에는 비슷한 길이라도 토큰 분할 결과는 달라질 수 있습니다.
공백이나 특수기호도 입력의 일부이므로 화면에서 줄 수가 같다는 이유만으로 같은 토큰 예산을 쓴다고 판단하지 않습니다. 문서를 평가할 때에는 실제 보내려는 문자열을 기준으로 확인하는 편이 정확합니다.
예를 들어 개념 설명 문단과 긴 식별자가 많은 로그 문단을 같은 글자 수로 잘랐다고 가정해보겠습니다. 이 둘이 같은 수의 토큰이 된다는 전제는 두지 않습니다.
실제 토크나이저 결과를 비교하고 어떤 입력에서 길이가 늘어나는지 관찰할 수 있습니다. 이것은 로그가 언제나 더 많은 토큰을 쓴다는 주장과 다릅니다.
자료의 형식이 바뀌었을 때 글자 수 비율을 그대로 재사용하지 말라는 의미입니다.
3. 컨텍스트에는 질문 외의 내용도 들어갑니다
대화형 입력은 사용자가 방금 쓴 질문만으로 구성되지 않을 수 있습니다. 시스템 지시, 앞선 대화, 참고 문서, 도구가 돌려준 정보와 메시지 경계 표현 등이 입력에 포함될 수 있습니다.
Hugging Face의 채팅 템플릿 문서는 역할별 메시지를 모델이 기대하는 형식으로 바꾸는 과정을 설명합니다. 화면에 보이는 본문 문자열만 세면 실제 입력과 차이가 생길 수 있습니다.
같은 질문을 짧은 새 대화에 넣었을 때와 긴 기록 뒤에 넣었을 때를 비교하면 이 차이를 생각하기 쉽습니다. 질문 자체의 길이는 같아도 함께 전달한 정보는 달라집니다.
애플리케이션이 이전 기록을 얼마나 보내는지, 어떤 형식으로 묶는지 확인해야 합니다. 모델 이름만 보고 서비스의 전체 입력 구성을 알 수는 없습니다.
사용 중인 도구가 기록을 요약하거나 일부만 보내는 경우에도 실제 동작을 문서와 설정에서 확인하는 것이 필요합니다.
4. 입력과 출력의 공간을 따로 계획합니다
컨텍스트 한도를 설명할 때에는 입력과 생성 결과가 어떻게 제한되는지 해당 모델 및 제공 방식의 문서를 확인해야 합니다. 입력에 사용할 수 있는 최대량과 출력 최대량이 같은 의미는 아닙니다.
텍스트 생성 방식에서는 답변을 이어 쓸 공간도 계획해야 하므로 문서를 가능한 한 꽉 채우는 전략만으로 충분하지 않습니다. 별도의 출력 제한이 있을 수도 있습니다.
개념 연습으로 전체 예산을 문서, 질문과 지시, 대화 형식, 답변 여유로 나누어 적어볼 수 있습니다. 이때 임의로 정한 숫자는 실제 모델 사양으로 소개하지 않습니다.
목표 답변이 짧은 분류 결과인지 긴 해설인지에 따라 준비가 달라집니다. 서비스가 반환하는 사용량을 볼 수 있다면 예상 입력과 실제 측정값의 차이를 확인합니다.
단, 다른 서비스의 계산 기준이나 제한 이름이 같다고 가정하지 말고 각각의 정의를 읽어야 합니다.
5. 잘라내기와 요약은 다른 선택입니다
길이 제한을 맞추려고 뒤쪽 텍스트를 잘라내면 중요한 조건이나 결론이 사라질 수 있습니다. Hugging Face의 padding 및 truncation 문서는 길이를 맞추는 처리 옵션을 설명하지만 어떤 정보를 보존해야 하는지는 애플리케이션의 과제입니다.
패딩은 길이를 맞추기 위한 채움이고 잘라내기는 일부 입력을 제외하는 처리이므로 같은 의미로 쓰지 않습니다. 요약은 내용을 다시 표현하는 과정이라 단순 자르기와 또 다릅니다.
가상의 설치 안내 문서에서 앞부분은 소개이고 마지막은 적용 제외 조건이라고 생각해보겠습니다. 앞부분만 남기면 제한 조건이 빠질 수 있습니다.
문서를 줄일 때에는 핵심 질문에 필요한 조건과 출처 위치를 남기는 기준을 세우는 편이 좋습니다. 요약을 썼다면 원문과 비교해 조건이 유지됐는지 확인합니다.
짧아졌다는 사실만으로 요약이 정확하다고 판단할 수는 없습니다.
6. 긴 문서는 질문과 근거를 연결해 나눕니다
문서가 길다면 제목이나 주제 단위로 나누고 필요한 부분을 찾아 제공하는 방식을 고려할 수 있습니다. 하지만 무조건 같은 글자 수로 자르면 표의 제목과 내용, 문장의 전제와 결론이 갈라질 수 있습니다.
나눈 조각에는 원문 위치를 연결해 어느 부분을 근거로 쓰는지 추적할 수 있게 하는 것이 도움이 됩니다. 검색이나 분할 자체가 정답을 보장하지는 않습니다.
연습용 자료에서는 하나의 질문에 답하는 데 필요한 문단과 없어도 되는 소개 문단을 직접 표시해보면 좋습니다. 선택한 문단만 보고도 용어의 주어나 조건을 이해할 수 있는지 읽어봅니다.
앞 문단을 가리키는 표현이 많다면 추가 문맥이 필요할 수 있습니다. 문서를 나누는 목적은 단순히 입력 한도 아래로 만드는 데 그치지 않습니다.
모델이 답변에 필요한 근거를 실제로 받았는지 확인하는 과정까지 포함해야 합니다.
7. 토큰 예산을 점검하는 작은 실습 계획
실습을 준비한다면 모델과 토크나이저 식별 정보, 원본 문자열, 메시지 템플릿을 먼저 고정합니다. 본문만 인코딩한 결과와 실제 대화 형식을 적용한 입력을 비교할 수 있도록 나누어 기록합니다.
실제 도구를 실행하지 않은 예상 수치를 측정 결과라고 적지 않습니다. 버전이나 설정이 달라졌다면 이전 측정값을 그대로 확정값으로 쓰지 않고 다시 확인할 조건으로 남깁니다.
다음에는 같은 질문에 짧은 근거와 긴 근거를 각각 제공하는 계획을 세워봅니다. 길이만 비교하지 말고 답변에 필요한 조건이 남았는지, 근거가 없는 내용이 추가됐는지도 검토합니다.
입력을 많이 넣는 것과 좋은 답변을 얻는 것은 같은 평가 항목이 아닙니다. 토큰 수는 자원과 한도를 관리하는 지표이고 답변의 정확성은 별도로 확인해야 합니다.
이 두 기준을 나누면 문서 축약을 할 때도 무엇을 줄이고 무엇을 남겨야 할지 판단하기 쉬워집니다.
8. 자주 묻는 질문
Q1. 한글 한 글자는 한 토큰인가요?
일반적으로 그렇게 고정해서 계산할 수 없습니다. 모델에 맞는 토크나이저의 분할 규칙과 어휘에 따라 달라지므로 실제 입력을 인코딩해 확인합니다.
Q2. 본문만 토큰 수를 세면 충분한가요?
대화 형식, 지시, 이전 기록 등 함께 전달되는 입력이 있을 수 있습니다. 실제 요청을 구성하는 전체 내용을 기준으로 확인해야 합니다.
Q3. 컨텍스트가 길면 답변도 항상 더 정확한가요?
길이는 다룰 수 있는 범위에 관한 조건이며 정확성의 보장은 아닙니다. 필요한 근거가 포함됐는지와 생성된 답변이 그 근거에 맞는지는 별도로 평가합니다.
Q4. 긴 문서는 끝부분부터 지우면 되나요?
중요한 제한이나 결론이 뒤에 있을 수 있습니다. 문서 구조와 질문에 필요한 정보를 기준으로 줄이고 제외된 내용이 답변 조건을 바꾸지 않는지 확인합니다.
참고 자료
- 이전글임베딩과 코사인 유사도: 가까운 벡터가 뜻하는 것 26.09.13
- 다음글재시도와 멱등성의 관계: 같은 요청을 두 번 보내도 괜찮을까요 26.09.13
댓글목록
등록된 댓글이 없습니다.