토큰이란? AI 비용과 한도의 단위

토큰, 한 문장으로

토큰은 AI가 글을 잘게 쪼개 다루는 단위입니다. 대략 단어 한 개나 단어 조각 하나 정도예요. AI의 비용·속도·기억 한계가 전부 이 토큰 수로 정해집니다.

얼마나 쪼개지나

• 영어는 보통 한 단어 ≈ 1~2 토큰
• 한국어는 더 잘게 쪼개져서 같은 글자 수라도 토큰이 더 나옴
• 거칠게: 한글 1글자 ≈ 1.5~2 토큰, 영어 100단어 ≈ 130~150 토큰

정확한 숫자보다 "길게 쓸수록 토큰이 늘어난다"만 기억하면 됩니다.

왜 중요한가

1. 비용: API는 토큰 단위로 과금됩니다. 보낸 글(입력 토큰) + 받은 글(출력 토큰) 합으로 돈이 나가요.
2. 속도: 토큰이 많을수록 처리가 느립니다.
3. 기억 한계(컨텍스트): AI가 한 번에 볼 수 있는 토큰 양에 상한이 있습니다. 대화가 길어지면 앞부분을 잊는 이유가 이것 때문이에요.

입력 토큰 vs 출력 토큰

• 입력 토큰: 내가 보낸 것(프롬프트, 붙여넣은 코드·문서)
• 출력 토큰: AI가 생성한 답

둘 다 비용에 포함되고, 보통 출력 토큰이 더 비쌉니다.

토큰 아끼는 법

• 불필요하게 긴 문서를 통째로 넣지 말고 필요한 부분만
• 대화가 너무 길어지면 새로 시작(앞 맥락이 비용·혼란을 키움)
• "간결하게 답해줘" 같은 지시로 출력 길이 조절

컨텍스트 윈도우 한 줄

"컨텍스트 윈도우"는 AI가 한 번에 기억하는 최대 토큰 양입니다. 이걸 넘으면 오래된 내용부터 잊습니다. 그래서 긴 작업은 단계로 쪼개는 게 유리합니다. (LLM이란?)

토큰은 추상적이라 와닿기 어려운데, 실제로 API를 한 번 써서 사용량 화면을 보면 바로 이해됩니다.