#RAG

사내 매뉴얼 2천 페이지를 RAG로 묶어서 챗봇을 만들었습니다. 임베딩은 bge-m3, 서빙은 vLLM으로 했고, 정확도는 사내 QA 기준 87% 나옵니다.

코드 문서는 300토큰, 일반 문서는 500~800토큰으로 쓰고 있는데요. 법률 문서처럼 구조화된 건 섹션 단위로 자르는 게 낫다는 의견도 있더라고요. 다들 어떻게 하세요?

인터넷이 안 되는 환경에서 LLM+RAG를 돌려야 하는 프로젝트였는데, Ollama + 로컬 임베딩으로 구성했습니다. 오프라인 배포에 관심 있으신 분들께 도움이 되길.

도메인 지식이 필요하면 RAG, 스타일/포맷 고정이면 FT라는 기본 공식이 있는데, 실제 프로젝트에서는 어떤 기준으로 결정하시나요?

로컬 RAG 서비스 최소 구성 템플릿을 만들어봤습니다. docker compose 하나로 Ollama + FastAPI + ChromaDB가 뜹니다. 피드백 환영해요.

지식베이스 검색 시간이 하루 2시간 → 10분으로 줄었습니다. 초기엔 환각이 문제였는데, 인용 소스 표시를 강제하니 신뢰도가 확 올라갔어요.

폐쇄망용 완전 오프라인 RAG. Ollama만으로 동작, 임베딩은 bge-m3. 피드백 환영합니다.

금융권 고객사에 설치했습니다. 인터넷 완전 차단 환경에서도 임베딩+검색+생성 전부 동작. 자세한 내용은 글에.

한국어 문서 검색인데 bge-m3 vs multilingual-e5 고민입니다. 경험 공유 부탁해요.

도메인 용어가 많은데 파인튜닝이 나을지 RAG가 나을지. 둘 다 해보신 분들 의견 궁금합니다.

Ticket deflection이 한 달 만에 0%에서 38%로 증가했습니다. 아키텍처와 우리가 저지른 실수들을 공유합니다.

우리는 RAGAS를 사용하지만 점수가 인간의 판단과 상관관계가 없습니다. 실제 프로덕션에서는 무엇을 사용하나요?

Chroma vs Qdrant vs LanceDB for a small self-hosted RAG service. Disk and RAM matter — running on a free-tier VM.

Replaced a custom fine-tune with a generic 8B + good retrieval. Cheaper to maintain, better scores. Data point for you.

bge-m3에서 다른 모델로 바꾸려는데, 기존 문서 전부 다시 인덱싱해야 하는 게 맞는지요?

Model cites chunks that don't actually support the answer. Any post-processing tricks that work?

Our org has 10k pages of policy PDFs nobody reads. Built a RAG bot with citations that links back to the exact page. Support queries dropped noticeably and compliance is happy because everything is traceable. Side project that became the team's favorite tool.

We need to ground answers in internal docs that update weekly. RAG feels obvious but retrieval quality is killing us. Fine-tuning is a one-time cost but the docs change. Anyone run a hybrid? What's your split?

We were merging PRs blind. Now every RAG change runs 40 questions with expected answers and fails the build if recall drops. It's crude but it caught two regressions last week. Sometimes the simple stuff wins.

긴 컨텍스트는 비싸고, 제 테스트상 어차피 모델은 중간 내용을 잊어버립니다. RAG 루프로 청킹하면 작동은 하지만 뭔가 포기하는 느낌이에요. 여러분은 그냥 큰 컨텍스트 비용을 지불하시나요, 아니면 실제로 이를 우회하도록 엔지니어링하시나요?

Been dumping notes, highlights, and bookmarks into a local RAG setup for two years. Search is instant and surprisingly good. Open-sourced the whole thing so it's reproducible. Warning: your old notes are more embarrassing than you remember.

In hindsight it was a fair question but I panicked and started rambling about chunk sizes. I've built two RAG systems in production. Doesn't matter, whiteboard me is a different person. Anyone else have interview horror stories?

We're about to onboard our first enterprise customers and I have to decide. Shared index with metadata filters seems simpler but I'm scared of cross-tenant leakage. Per-tenant collections mean more ops. What do you run?