토큰(Token) 뜻 정리: AI 요금이 토큰으로 계산되는 이유
ChatGPT를 길게 쓰다 보면 “메시지 한도 초과” 알림을 만나는 순간이 있다. 그 한도의 진짜 단위가 바로 토큰이다.
토큰 한 줄 정의
**토큰(Token)**은 AI 모델이 텍스트를 처리할 때 쓰는 가장 작은 처리 단위다.
풀어 말하면, AI는 우리가 쓰는 단어 그대로를 보지 않는다. 텍스트를 더 잘게 쪼갠 조각으로 변환해서 학습하고 답변한다. 이 조각 하나하나가 토큰이다. ChatGPT, Claude, Gemini 모두 내부에서 입력과 출력을 토큰 단위로 처리한다.
영어는 단어 1개가 대략 토큰 1개에 가깝지만, 길거나 흔치 않은 단어는 여러 토큰으로 쪼개진다. 한국어는 더 잘게 쪼개져서 글자 1개당 1~2토큰 정도로 잡힌다.
중학생도 이해하는 비유
토큰을 이해하는 가장 쉬운 비유는 이거다.
“AI는 글을 레고 블록처럼 쪼개서 읽는다” 라고 생각하면 된다.
우리 눈에는 “안녕하세요”가 한 단어로 보이지만, AI는 그 글자를 작은 블록 몇 개로 나눠서 본다. “안”, “녕”, “하”, “세”, “요” 같은 식이다(실제 분할 방식은 모델마다 조금씩 다르다). 영어로 “unhappiness”도 비슷하다. AI 입장에서는 “un”, “happi”, “ness” 같은 블록 3개에 가깝다.
이렇게 쪼개야 하는 이유는 단순하다. 사람이 평생 만나는 모든 단어를 미리 외워둘 수는 없으니, 작은 블록 단위로 쪼개야 처음 보는 단어도 조합해서 이해할 수 있다.
실제 사용 예시
토큰 개념은 보통 이런 상황에서 마주친다.
예시 1: 메시지 한도 무료 ChatGPT나 Claude를 쓰다가 “한도에 도달했습니다” 알림이 뜨는 경우가 있다. 이 한도의 실제 단위가 토큰이다. 짧은 대화 여러 번보다, 긴 문서 한 번 붙여 넣은 쪽이 토큰을 훨씬 많이 쓴다.
예시 2: API 요금 개발자가 OpenAI나 Anthropic API를 쓸 때, 청구서는 토큰 사용량으로 매겨진다. 입력 토큰과 출력 토큰의 단가가 따로 있고, 보통 출력이 더 비싸다. “이 한 번의 호출에 토큰이 얼마나 쓰였나”가 비용 그 자체다.
예시 3: 컨텍스트 윈도우 “컨텍스트 윈도우 20만 토큰”이라는 표현을 만난 적이 있다면, 그건 “이 모델은 한 번에 토큰 20만 개까지 처리할 수 있다”는 뜻이다. 한국어 책 한 권 분량을 한꺼번에 넣을 수 있다는 의미가 되기도 한다.
비슷한 용어와 차이
헷갈리기 쉬운 단위 개념을 정리했다.
| 용어 | 뜻 | 토큰과의 차이 |
|---|---|---|
| 글자(character) | 우리가 보는 한 글자 | 토큰은 글자보다 더 자유롭게 쪼개진다 |
| 단어(word) | 띄어쓰기로 나뉘는 단위 | 영어 단어 1개 ≈ 토큰 1개. 한국어는 다름 |
| 문장(sentence) | 마침표 기준 한 문장 | 한 문장에 보통 토큰 수십 개가 들어간다 |
| 컨텍스트 윈도우 | 한 번에 처리 가능한 토큰 한도 | 토큰을 담는 그릇 크기 |
| 파라미터(parameter) | 모델 내부의 학습 수치 | 토큰 처리 능력에 영향, 그러나 별개 개념 |
따라서 “토큰 = 단어”가 아니다. 토큰은 모델의 내부 처리 단위이고, 사람이 보는 단어와 일대일로 맞아떨어지지 않는다.
언제 토큰을 마주치나
토큰이라는 단어는 보통 이런 상황에서 등장한다.
- 유료 플랜 설명: “월 한도 30만 토큰”, “긴 문서 처리 토큰 한도 확장”처럼 사용량을 안내할 때
- API 청구서·대시보드: 개발자 콘솔의 사용량 페이지가 전부 토큰 기준으로 표시된다
- 컨텍스트 윈도우 비교: “이 모델은 100만 토큰 컨텍스트 지원”처럼 모델 스펙을 비교할 때
- AI 코딩 도구의 한도: Cursor, Claude Code 같은 도구도 내부적으로 토큰 한도를 가진다
평소에는 토큰을 의식하지 않아도 된다. 긴 문서를 자주 다루거나 API를 직접 쓰는 단계가 되면 자연스럽게 만나게 된다.
관련 용어
토큰을 이해했다면 함께 알아두면 흐름이 연결되는 용어들이다.
- 컨텍스트 윈도우(context window): 모델이 한 번에 처리할 수 있는 토큰 최대 개수. 토큰을 담는 그릇 크기라고 보면 된다.
- 파라미터(parameter): 모델이 학습 중 만드는 내부 수치. 토큰을 더 똑똑하게 처리하게 해주는 두뇌 용량 같은 개념이다.
- LLM(Large Language Model): 토큰 단위로 텍스트를 학습하고 생성하는 대형 언어 모델. LLM이 뭐야?: 대형 언어 모델 5분 이해에서 자세히 다룬다.
- 할루시네이션(hallucination): 토큰을 그럴듯하게 이어 붙이다 보니 가끔 사실과 다른 답이 나오는 현상이다. AI 할루시네이션(환각) 뜻과 예방법 완벽 정리 2026에서 확인할 수 있다.
토큰은 “AI가 텍스트를 처리하는 가장 작은 단위”다. 단어와 비슷하지만 더 잘게 쪼개지고, 한국어는 영어보다 토큰이 더 많이 잡힌다. 메시지 한도, API 요금, 컨텍스트 윈도우가 모두 토큰을 기준으로 움직인다는 점만 기억하면, AI 서비스 안내 문구가 훨씬 잘 읽히게 된다.
출처
- OpenAI, Tokenizer 도구, https://platform.openai.com/tokenizer
- Anthropic, Token counting 가이드, https://docs.anthropic.com/
- OpenAI, Pricing 페이지, https://openai.com/pricing
