토큰(Token) 계산법: 한글 토크나이저 비용 차이와 최적화 노하우
한글이 영문보다 토큰이 2~3배 더 소모되는 원인
대다수 LLM은 바이트 페어 인코딩(BPE)을 사용합니다. 영문은 단어 통째로 1개 토큰으로 묶이지만, 한글은 어절과 자모 단위로 쪼개져 1글자당 2~3개 이상의 토큰이 소비됩니다. 이로 인해 동일한 분량의 글이라도 한글 API 비용이 영문보다 더 높게 청구됩니다.
최신 모델 개선점: GPT-4o와 Gemini 1.5는 다국어 토크나이저 사전(Vocabulary)을 20만 개 이상으로 확장하여 한글 토큰 소비량을 이전 세대 대비 약 30~40% 절감했습니다.
시스템 프롬프트 간결화로 매 호출마다 비용 아끼기
수천 번 반복 호출되는 API라면 시스템 프롬프트(System Instructions)의 중복 문구를 제거하고 마크다운 형식으로 압축해야 합니다. 고정 프롬프트 500토큰만 줄여도 10만 회 호출 시 5,000만 토큰의 비용이 절약됩니다.
자주 묻는 질문 (FAQ)
Q. 토큰 수를 사전에 계산하는 파이썬 라이브러리가 있나요?
A. OpenAI의 공식 라이브러리인 `tiktoken`을 사용하면 텍스트 전송 전에 정확한 토큰 수와 예상 요금을 밀리초 단위로 측정할 수 있습니다.
Q. JSON 모드를 사용하면 토큰이 더 많이 드나요?
A. 구조화된 출력(JSON Schema)을 사용할 경우 스키마 키 이름이 반복되어 토큰이 약간 증가하지만, 파싱 오류로 인한 재호출 비용을 없애주므로 전체적으로는 더 경제적입니다.