Claude 프롬프트 캐싱: 입력 토큰 비용을 90% 줄이는 실전 테크닉
프롬프트 캐싱(Prompt Caching)의 파격적인 경제성
Anthropic의 프롬프트 캐싱은 1,024토큰 이상의 정적 데이터(매뉴얼, 법률 문서, 코드베이스 등)를 GPU 캐시에 5분간 유지하는 기술입니다. 캐시가 히트(Hit)되면 기본 입력 토큰 단가의 단 10%(90% 할인) 가격으로 요청을 처리합니다.
비용 비교: Claude 3.5 Sonnet 기본 입력 $3.00/1M -> 캐시 읽기 $0.30/1M (90% 세일 효과).
캐시 브레이크포인트(cache_control) 최적 배치법
자주 바뀌는 유저 질문은 뒤쪽에 배치하고, 변하지 않는 대용량 시스템 지침과 RAG 참조 문서를 맨 앞에 둔 후 마지막 정적 블록에 `type: ephemeral` 속성을 지정하면 5분 이내 연속 호출 시 거의 공짜에 가까운 비용으로 응답을 받아낼 수 있습니다.
자주 묻는 질문 (FAQ)
Q. OpenAI도 프롬프트 캐싱을 지원하나요?
A. OpenAI도 GPT-4o에 대해 1,024토큰 이상 시 50% 자동 할인을 제공하지만, Anthropic(90% 할인)이 할인 폭과 제어력 면에서 훨씬 유리합니다.
Q. 캐시 유지 시간인 5분을 연장할 수 있나요?
A. 5분 이내에 캐시된 요청이 한 번이라도 들어오면 TTL 타이머가 다시 5분으로 자동 리셋되어 장시간 대화 세션 동안 계속 유지됩니다.