#비용

프롬프트 캐시 쓰면 50%는 아낀다고 들었는데, 실제로 얼마나 효과 보셨나요? 컨텍스트 압축이나 요약 전략도 궁금합니다.

사내용 챗봇 하나 돌리는데 GPU 서버 빌리는 게 월 200만원이 넘네요. 트래픽이 적으면 API 쓰는 게 이득이라는 의견도 있고요. 실제 사례 있으면 공유 부탁드려요.

일 10만 요청 기준 DeepSeek API vs 자체 GPU. 대략 어디서 크로스오버되나요? 계산해보신 분?

DeepSeek 캐시 히트율 66% 나오는데, 프롬프트 구조 어떻게 짜면 캐시가 잘 맞나요?

임베딩 + 소형 LLM만으로 API 없이 운영 가능한지 궁금합니다. 트래픽은 하루 1천 건 수준이에요.