Chain of Thought(CoT)가 뭐야? AI가 단계별로 생각하게 하는 법
같은 질문을 AI에게 물어도 “단계별로 생각해줘” 한 줄을 넣으면 답이 달라진다. 특히 수학·논리 작업에서 정답률이 눈에 띄게 올라간다. 그 비밀이 Chain of Thought(CoT)다.
CoT 한 줄 정의
**Chain of Thought(사고의 연쇄, CoT)**는 AI에게 추론 과정을 밖으로 풀어 적도록 유도하는 프롬프트 기법이다.
가장 단순한 형태는 “Let’s think step by step”(단계별로 생각해보자) 한 줄이다. 이 한 줄을 추가하기만 해도 같은 모델이 더 정확한 답을 낸다는 사실이 2022년 Google 연구로 확인되면서, AI 활용 가이드의 거의 모든 곳에 등장하는 기본 기법이 됐다.
LLM은 본질적으로 다음 토큰 하나를 예측하는 시스템이다. 답을 바로 내려고 하면 추론 사슬이 너무 짧아 실수가 누적된다. 단계를 풀어 적게 하면 모델이 자기 추론을 점검하면서 진행할 수 있다.
중학생도 이해하는 비유
CoT를 가장 쉽게 설명하는 비유는 수학 풀이 노트다.
문제: “사과 5개에 200원짜리 3개를 더 사고 1000원 내면 거스름돈이 얼마?”
머리로만 계산: 5×사과 가격? 사과 가격 모름. 답이 안 나옴.
노트에 풀어 적기:
- 사과 가격이 안 나와 있음 → 다시 읽기
- 문제를 다시 보니 사과 가격은 무관, 200원짜리 3개만 사는 것
- 200×3 = 600원
- 1000-600 = 400원
- 답: 400원
같은 사람이 같은 문제를 봐도 노트에 풀어 적느냐 머릿속에서만 계산하느냐가 정답률을 결정한다. AI도 똑같다. 단계를 풀어 적게 하면 중간에 잘못 가는 길을 스스로 발견한다.
가장 단순한 CoT 프롬프트
Zero-shot CoT (예시 없이 단계 지시만)
다음 문제를 단계별로 생각해서 답해줘.
문제: 회사에 50명이 있고 35명이 점심을 먹었다.
점심을 먹은 사람의 60%가 한식을 골랐다면 한식을 고른 사람은 몇 명?
Let's think step by step.이 한 블록만으로 모델이 다음과 같이 답한다.
1. 점심을 먹은 사람: 35명
2. 한식을 고른 비율: 60%
3. 35 × 0.6 = 21
답: 21명같은 질문을 CoT 없이 던지면 가끔 “30명” 같은 잘못된 답이 나온다. 한 줄 차이가 결과를 가른다.
Few-shot CoT
예시 답에 추론 사슬을 함께 보여주면 효과가 더 커진다.
예시 1:
문제: A는 사과 6개, B는 8개. 합쳐서 6명이 나눠 먹으면?
풀이:
1. 합계: 6 + 8 = 14
2. 1인당: 14 / 6 ≈ 2.33
답: 1인당 약 2.33개
예시 2:
문제: ...
풀이:
...
이제 다음 문제를 같은 형식으로 풀어줘.
문제: ...모델이 추론 사슬의 형식 자체를 학습해 새 문제에 적용한다. 형식이 까다로운 작업에서 특히 효과가 크다.
어떤 작업에 효과 큰가
| 작업 | CoT 효과 |
|---|---|
| 수학 문제 | 매우 큼 |
| 논리 퍼즐 | 매우 큼 |
| 복잡한 코드 디버깅 | 큼 |
| 다중 조건 의사결정 | 큼 |
| 장문 분석·요약 | 보통 |
| 번역 | 작음 |
| 단순 정보 검색 | 거의 없음 |
복잡할수록 효과가 크고, 단순할수록 효과가 작다. 단순 작업에 CoT를 쓰면 토큰만 늘어난다.
CoT의 발전 — Reasoning Model
2024-2025년에 등장한 Reasoning Model(o1, o3, Claude Extended Thinking 등)은 CoT를 모델 내부에 자동 통합했다. 사용자가 별도 지시 없이도 모델이 스스로 단계별로 추론한다.
| 항목 | 일반 모델 | Reasoning 모델 |
|---|---|---|
| CoT 자동 수행 | 아니오 (사용자가 지시) | 예 (자동) |
| 추론 시간 | 짧음 | 5초~수 분 |
| 수학·논리 정답률 | 보통 | 매우 높음 |
| 비용 | 낮음 | 높음 |
| 어울리는 작업 | 일상 대화·짧은 작업 | 복잡한 추론 |
다만 비용이 더 비싸고 응답이 느리다. 단순 작업에는 일반 모델이 더 효율적이다.
자주 만나는 함정
1. CoT가 자신감 있는 거짓말로 가기도 함 모델이 그럴듯한 추론 사슬을 만들어 잘못된 결론에 도달하는 경우가 있다. 추론 과정도 의심하고 검증해야 한다.
2. 토큰 비용 증가 CoT 답은 일반 답보다 5~10배 길다. 비용이 그만큼 늘어난다. 단순 작업에 무리하게 쓰지 않는다.
3. 답만 보고 싶은데 추론이 너무 길다 “마지막에 ‘결론:‘으로 1줄만 정리해줘”를 함께 지시하면 사용자는 결론만 읽고, 모델은 내부적으로 CoT를 한다.
4. CoT 없는 모델에 강요 구버전·매우 작은 모델은 CoT 지시를 줘도 효과가 적다. 모델 크기에 따라 효과 차이가 크다.
비슷한 용어와 차이
| 용어 | 뜻 | CoT와의 차이 |
|---|---|---|
| ReAct | 추론 + 행동(도구 호출) | CoT는 추론만, ReAct는 추론+도구 |
| Self-consistency | CoT를 여러 번 돌려 다수결 | CoT 강화판 |
| Tree of Thoughts | 여러 추론 가지를 동시에 탐색 | CoT 확장 |
| Reasoning model | 모델 내부에 CoT 자동 통합 | 프롬프트 없이도 CoT 수행 |
| Few-shot prompting | 예시 보여주기 | CoT와 함께 자주 결합 |
언제 CoT를 마주치나
- 수학·논리 문제 풀이: 정답률을 가장 크게 올림
- 복잡한 의사결정: “X와 Y 중 어느 쪽이 나아?” 식 질문
- AI Agent 내부: 에이전트가 다음 단계 결정 시 자동 사용
- Reasoning model 사용: o1·o3·Claude Extended Thinking
- 프롬프트 라이브러리: 거의 모든 가이드의 기본 기법
관련 용어
- 프롬프트 엔지니어링: CoT는 프롬프트 엔지니어링의 핵심 기법.
- 시스템 프롬프트: CoT 지시를 박을 수 있는 영역.
- AI 에이전트: 에이전트는 CoT를 내부적으로 자동 수행. AI 에이전트가 뭐야? 참고.
- 컨텍스트 윈도우: CoT가 길수록 컨텍스트 사용량이 늘어남.
Chain of Thought는 “AI에게 단계별로 생각하게 하는 한 줄”이다. ‘Let’s think step by step’ 한 마디가 복잡한 작업에서 정답률을 크게 올린다. 2024년 이후 Reasoning Model이 등장하면서 자동 통합되는 추세지만, 일반 모델에서는 여전히 명시적 CoT 지시가 가장 효과적이다.
출처
- Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, https://arxiv.org/abs/2201.11903
- OpenAI, Reasoning models 안내, https://platform.openai.com/docs/guides/reasoning
- Anthropic, Extended Thinking 가이드, https://docs.anthropic.com/
