자랑/공유

사내 매뉴얼 2천 페이지를 RAG로 묶어서 챗봇을 만들었습니다. 임베딩은 bge-m3, 서빙은 vLLM으로 했고, 정확도는 사내 QA 기준 87% 나옵니다.

인터넷이 안 되는 환경에서 LLM+RAG를 돌려야 하는 프로젝트였는데, Ollama + 로컬 임베딩으로 구성했습니다. 오프라인 배포에 관심 있으신 분들께 도움이 되길.

매일 아침 AI 관련 뉴스 5개를 요약해서 텔레그램으로 보내주는 봇을 만들었습니다. DeepSeek로 요약하고 키워드로 분류하니 꽤 유용하네요.

매주 LLM 논문 하나씩 리뷰하는 블로그를 6개월째 운영 중입니다. 방문자가 꾸준히 늘고 있고, 이메일 구독도 300명 넘었네요. 꾸준함이 답이긴 하네요.

지식베이스 검색 시간이 하루 2시간 → 10분으로 줄었습니다. 초기엔 환각이 문제였는데, 인용 소스 표시를 강제하니 신뢰도가 확 올라갔어요.

보안 때문에 전부 온프레미스로. bge-m3 + Qwen2.5-14B로 구축했고, 사용자 만족도 4.2/5 나왔어요. 후기 공유합니다.

금융권 고객사에 설치했습니다. 인터넷 완전 차단 환경에서도 임베딩+검색+생성 전부 동작. 자세한 내용은 글에.

모든 데이터는 기기에 저장됩니다. 주제, 기분, 실행 항목이 담긴 주간 다이제스트. 2주 만에 사용자 400명!

Ticket deflection이 한 달 만에 0%에서 38%로 증가했습니다. 아키텍처와 우리가 저지른 실수들을 공유합니다.

L4 한 장으로 Qwen2.5-7B 서빙. 처리량 만족스럽습니다. 양자화 없이도 충분하네요.

Scrapes 20 sources, dedupes, summarizes, posts at 8am. 1.2k subscribers now. AMA about the pipeline.

주 1회 LLM 논문 리뷰. 누적 12만 뷰 달성. 글쓰기 + 실험 재현을 병행하니 배우는 게 두 배네요.

동일 7B 모델로 비교했는데 p50은 비슷하고 p99는 TRT-LLM이 더 안정적이었습니다. 수치 표로 정리했어요.

Replaced a custom fine-tune with a generic 8B + good retrieval. Cheaper to maintain, better scores. Data point for you.

Worth a read — some genuinely interesting verticals (last-mile routing, predictive maintenance).

일반적인 이름으로 회의에 참여해서, 메모를 남기고 우리 위키에 게시합니다. 메모가 나타나기 전까지 사람들은 그 존재를 잊어버리죠. 전사에는 아주 작은 로컬 모델을 사용합니다. 한 번은 "이거 합법이냐"는 질문이 나온 적이 있는데, HR이 괜찮다고 해서 출시합니다.

Visual node editor for agent pipelines with live tracing. MIT licensed, would love feedback.

매주 토요일 2시간. 30명에서 시작해 지금 12명의 코어 멤버로. 꾸준함의 가치를 배웠습니다.

Scrapes arXiv + HN, summarizes with an LLM, posts as threads. 200 stars in a week. AMA.

Our org has 10k pages of policy PDFs nobody reads. Built a RAG bot with citations that links back to the exact page. Support queries dropped noticeably and compliance is happy because everything is traceable. Side project that became the team's favorite tool.

Collected 3 years of my blog posts and newsletter, fine-tuned a 7B with LoRA. The style imitation is uncanny — my wife thought I wrote the drafts. Uses: first drafts of posts I'm too lazy to start. It's my ghostwriter now.

Transcribe with Whisper, summarize with a fine-tuned small model, get a 5-bullet recap per episode. My backlog went from 40 episodes of guilt to a nice reading list. The summaries are honest enough that I know which episodes to actually listen to.

Workshop is loud, dusty, and has no wifi worth trusting. Pi 5 + a local model + a cheap mic array. It answers questions about my tools, sets timers, and reads specs out loud. Everything runs on-device and it cost under $200.

Been dumping notes, highlights, and bookmarks into a local RAG setup for two years. Search is instant and surprisingly good. Open-sourced the whole thing so it's reproducible. Warning: your old notes are more embarrassing than you remember.

12B model on the family PC, a simple web UI. It explains math problems step by step instead of just giving answers. No accounts, no data leaving the house, and no monthly subscription. The kids actually use it.

이 사이트와 비슷한데 반도체 뉴스에 특화된 거예요. 50개의 RSS 피드를 스크래핑하고, 임베딩으로 중복을 제거하고, LLM으로 요약한 다음, 제 읽기 습관에 따라 순위를 매겨요. 한 달째 아침마다 읽고 있는데 예전 피드 리더는 다시 열어본 적이 없어요.

내 git 커밋과 PR을 긁어와서 3개의 불릿 포인트로 요약해 스탠드업 전에 이메일로 보내준다. 아침에 30초면 끝난다. 우리 팀장은 내가 엄청 체계적인 사람인 줄 안다. 사실 난 그냥 단계만 늘린 게으름뱅이일 뿐인데.

It categorizes spending, flags weird charges, and answers questions like 'how much did I spend on coffee in March'. Accuracy is 90%+ on categories. Caveat: you have to trust it with your data, so it runs fully local. Worth it for the anxiety reduction alone.