도구/프로젝트

벡터 DB 오픈소스 ChromaDB가 1.0을 발표했습니다. 필터링 성능 개선과 인덱스 안정성이 핵심이라고 하네요. 기존 0.4에서 마이그레이션 해보신 분 계신가요?

둘 다 써봤는데, Open-webui는 Ollama 연동이 편하고 LibreChat는 멀티모델 관리가 좋았습니다. RAG 기능은 LibreChat가 좀 더 성숙한 느낌? 여러분 선택은?

프롬프트/비용/지연을 한 대시보드에서 보니 운영 난이도가 확실히 내려갔습니다. 셀프호스팅도 가능해서 사내 도입에 부담이 없네요.

로컬 RAG 서비스 최소 구성 템플릿을 만들어봤습니다. docker compose 하나로 Ollama + FastAPI + ChromaDB가 뜹니다. 피드백 환영해요.

이메일 요약 → 슬랙 전송 → 주간 리포트 생성까지 n8n으로 묶어봤습니다. 노코드인데 LLM 노드가 잘 돼 있어서 생각보다 강력하네요.

폐쇄망용 완전 오프라인 RAG. Ollama만으로 동작, 임베딩은 bge-m3. 피드백 환영합니다.

상업적으로 사용할 수 있는 오픈 LLM의 업데이트된 목록입니다. 클라이언트 프로젝트용 모델을 고를 때 유용합니다.

네임스페이스 API가 안정화됐고 성능도 올라갔다고 합니다. 마이그레이션 가이드 공유합니다.

비용/지연/프롬프트 버전까지 한 번에 보이니까 디버깅 시간이 반으로 줄었습니다. 무료 티어로 충분해요.

개발자용 월간 AI 뉴스 큐레이션 레포입니다. 매월 최신 LLM/도구 정리돼 있어서 스크랩해두면 좋아요.

We went LibreChat for multi-user + RBAC. Open-webui has nicer UX though. Your pick?

이 탭을 계속 열어 두세요. o1부터 GPT-5-Codex-Mini까지 모든 것이 제일 먼저 여기에 도착합니다.

Ran a quick benchmark. pgvector with HNSW was 80% the speed at 10% the cost. Details in thread.

Feed it a CSV export, it finds anomalies and writes a Korean explanation via an LLM. Useful for MSP folks.

드래그앤드롭으로 LLM + 검색 + 슬랙 연동까지. 개발자도 가끔은 로우코드가 편하네요.

One endpoint for all providers, consistent interface, and the config is plain YAML. We swapped out three vendor SDKs in an afternoon. If you're multi-provider, just use it.

듀얼 3090으로 70B 돌리려다 이틀 삽질. 결국은 OLLAMA_NUM_GPU + 스플릿 모드 조합으로 해결. 정리해봤습니다.

I packaged my go-to RAG setup into a template. Docker compose up and you have a working API in 2 minutes.

지금은 Git으로 관리하는데, 버전별 A/B 테스트가 필요해졌습니다. 전용 도구 추천 부탁해요.

CSV of prompts → JSONL of responses + scores. 100 lines of Go. Maybe useful for your eval pipeline.

Gradio가 멀티모달 채팅 컴포넌트를 갖추게 되었습니다. Streamlit이 따라잡고 있죠. 내부 데모용으로는 어떤 것이 더 나을까요?

We were merging PRs blind. Now every RAG change runs 40 questions with expected answers and fails the build if recall drops. It's crude but it caught two regressions last week. Sometimes the simple stuff wins.

TypeScript 50줄짜리 코드가 우리 검색 API를 가리키고, 이제 모두가 에디터에서 문서를 조회한다. 바보 같지만 우리 일하는 방식을 바꿨다. 프로토콜은 투박하지만 통합으로 얻은 이점은 확실하다.

LangSmith is smoother but the per-seat pricing hurt us. Langfuse self-hosted costs us one small VM. Missing a few features but the trace UI is good enough and the data stays on our infra. For EU clients that matters.

Been running a 70B Q4 on one 80GB card for a side project. Key tricks: prefix caching on, max_num_seqs tuned, and a tiny health check for the load balancer. Sharing my config because I wish someone had shared theirs.

동일한 1M 문서 데이터셋으로 세 가지를 모두 실행했습니다. Qdrant는 쿼리 지연 시간에서 이겼고, pgvector는 운영 단순성에서 이겼습니다(이미 Postgres를 쓰고 있음). Milvus는 로딩이 가장 빨랐지만 클러스터 구성이 그 자체로 하나의 프로젝트입니다. 전체 수치는 게시물에 있습니다.

We needed retries, state, and human-in-the-loop checkpoints. n8n got us to demo in a day, Temporal was a week of learning but the durability is worth it. For anything customer-facing we now default to Temporal.

게이트웨이를 구매하는 대신 직접 작성했다. 프로바이더 간 라운드로빈, 정확한 프롬프트에 대한 인메모리 캐시, 그리고 서킷 브레이커를 구현했다. 화려하지는 않지만 API 비용을 35% 절감했고 모든 것을 통제할 수 있다.

우리는 프롬프트를 git에 복사해서 붙여넣기 하고 있었는데 정말 혼란스러웠습니다. 이 도구는 프롬프트를 버전 관리되는 파일로 저장하고, diff를 비교하며, 어떤 프로바이더로든 푸시할 수 있습니다. 아직 초기 단계이지만 4명으로 구성된 우리 팀에게 유용하게 쓰이고 있습니다.

Every prompt change gets a shadow run: same input, old and new config, human review on a sample. Catches regressions the evals miss. Takes one extra table and a cron job. Best $0 investment we've made this quarter.