K
1M 토큰 컨텍스트, 유지 비용 어떻게 줄이시나요?
https://platform.openai.com/docs/guides/prompt-caching
프롬프트 캐시 쓰면 50%는 아낀다고 들었는데, 실제로 얼마나 효과 보셨나요? 컨텍스트 압축이나 요약 전략도 궁금합니다.
https://platform.openai.com/docs/guides/prompt-caching
댓글 0
첫 댓글을 남겨보세요.
로그인 후 댓글을 쓸 수 있어요.