AI커뮤니티
로그인 회원가입 EN

#docker

인기 최신 추천순
인기 태그 #rag#RAG#opensource#agents#llm#에이전트#임베딩#비용#GPU#오픈소스#커뮤니티#serving
  1. 10
    추천
    S Docker + Ollama + FastAPI RAG 템플릿 공유합니다
    이미지 링크
    로컬 RAG 서비스 최소 구성 템플릿을 만들어봤습니다. docker compose 하나로 Ollama + FastAPI + ChromaDB가 뜹니다. 피드백 환영해요.
    도구/프로젝트 @sean · 13시간 전 · 댓글 1 #RAG#템플릿#Docker
  2. 5
    추천
    S Docker + Ollama + FastAPI: minimal RAG template
    I packaged my go-to RAG setup into a template. Docker compose up and you have a working API in 2 minutes.
    도구/프로젝트 @sean · 1일 전 · 댓글 1 #docker#ollama#fastapi#template
  3. 4
    추천
    J My single-GPU vLLM serving setup — Dockerfile and config included
    링크
    Been running a 70B Q4 on one 80GB card for a side project. Key tricks: prefix caching on, max_num_seqs tuned, and a tiny health check for the load balancer. Sharing my config because I wish someone had shared theirs.
    도구/프로젝트 @Jennifer Chen · 5일 전 · 댓글 0 #vllm#serving#docker