베스트

폐쇄망용 완전 오프라인 RAG. Ollama만으로 동작, 임베딩은 bge-m3. 피드백 환영합니다.

4bit 양자화가 기본 지원돼서 이제 노트북에서도 돌아간다고 하네요. 27B가 16GB VRAM에서 무리 없이 돌아가는 수준이라니. 로컬 AI가 현실로.

도메인 지식이 필요하면 RAG, 스타일/포맷 고정이면 FT라는 기본 공식이 있는데, 실제 프로젝트에서는 어떤 기준으로 결정하시나요?

가격 대비 성능이 미쳤다. $0.14/M in. 로컬 vLLM 대신 API로 갈아탈까 고민 중.

2.8T 파라미터면 DeepSeek V4 Pro보다 75% 크다고 합니다. 1M 컨텍스트 + 항상 켜진 추론 모드. 오픈소스가 이제 안 따라잡히네요.

8B~27B 모델을 서빙하려고 합니다. throughput이 중요하면 vLLM, VRAM이 빠듯하면 llama.cpp라는 얘기가 있는데 실제 운영하시는 분들 경험 공유 부탁드려요.

사내 매뉴얼 2천 페이지를 RAG로 묶어서 챗봇을 만들었습니다. 임베딩은 bge-m3, 서빙은 vLLM으로 했고, 정확도는 사내 QA 기준 87% 나옵니다.

L4 한 장으로 Qwen2.5-7B 서빙. 처리량 만족스럽습니다. 양자화 없이도 충분하네요.

드디어 에이전트 전용 API가 나왔네요. MCP 네이티브라서 도구 연결이 표준화될 듯. 기존 함수 콜링보다 훨씬 간결해 보입니다.

코딩 테스트 통과율이 예전보다 확실히 높아진 느낌. AI 도구 사용을 허용할지, 아니면 역량 평가 방식을 바꿔야 할지 고민입니다.

지식베이스 검색 시간이 하루 2시간 → 10분으로 줄었습니다. 초기엔 환각이 문제였는데, 인용 소스 표시를 강제하니 신뢰도가 확 올라갔어요.

LangGraph, CrewAI, 자체구현... 다들 뭐 쓰시는지 궁금합니다.

Tool-use 지연이 300ms까지 줄었다고 하네요. 에이전트가 실제 업무에 쓰이려면 이 정도 응답 속도가 필요했죠. 기대됩니다.

LangGraph 같은 프레임워크 쓰다가 직접 while 루프로 짜는 게 낫다는 글을 봤는데요. 디버깅이 쉽고 의존성이 적다는 게 이유라네요. 다들 어떻게 생각하세요?

로컬 RAG 서비스 최소 구성 템플릿을 만들어봤습니다. docker compose 하나로 Ollama + FastAPI + ChromaDB가 뜹니다. 피드백 환영해요.

노트북에서 돌리는 Ollama는 간단한 테스트용으로는 훌륭하지만, 안정성이 필요해지면 호스팅 API가 지연 시간과 업타임에서 더 낫다. 지금까지의 내 경험상 그렇다는 얘기다.

DeepSeek 캐시 히트율 66% 나오는데, 프롬프트 구조 어떻게 짜면 캐시가 잘 맞나요?

MathBench 리더보드가 또 뒤집혔네. 오픈소스 격차가 예상보다 훨씬 빠르게 좁혀지고 있어.

웹에서 문서를 읽어와서 요약하는 기능인데, 문서에 악성 지시문이 있으면 대응이 어렵네요. 방어 전략 공유 부탁드려요.

보안 때문에 전부 온프레미스로. bge-m3 + Qwen2.5-14B로 구축했고, 사용자 만족도 4.2/5 나왔어요. 후기 공유합니다.

Ticket deflection이 한 달 만에 0%에서 38%로 증가했습니다. 아키텍처와 우리가 저지른 실수들을 공유합니다.

솔직히 이번 건 좀 궁금하네요. 정부가 어떻게 안전하다고 결론 내렸는지 과정이 투명하지 않다는 지적. 원문 공유합니다.

국내 LLM 인프라 스타트업이 시리즈 B로 500억을 유치했다고 합니다. 한국어 특화 모델 수요가 확실히 늘고 있는 것 같아요.

bge-m3에서 최신 모델로 바꾸려고 하는데 벡터 차원이 달라서 재임베딩이 필요할 것 같습니다. 100만 건 정도인데 시간이 얼마나 걸릴지, 꿀팁 있으면 알려주세요.

벡터 DB 오픈소스 ChromaDB가 1.0을 발표했습니다. 필터링 성능 개선과 인덱스 안정성이 핵심이라고 하네요. 기존 0.4에서 마이그레이션 해보신 분 계신가요?

인터넷이 안 되는 환경에서 LLM+RAG를 돌려야 하는 프로젝트였는데, Ollama + 로컬 임베딩으로 구성했습니다. 오프라인 배포에 관심 있으신 분들께 도움이 되길.

They released the evals and methodology this time, which is rare. HumanEval pass@1 is a couple points ahead of Llama 4.5 and it's faster to serve. We're spinning up a test pod this week. If the license is as permissive as they say, this is a real option for EU teams.

한국어 문서 검색인데 bge-m3 vs multilingual-e5 고민입니다. 경험 공유 부탁해요.

로컬에서 돌릴 수 있는 새 오픈웨이트 모델 소식. 7B인데 성능이 무섭다.

드디어 에이전트 전용 API가 나왔네요. MCP 서버가 기본 지원이라 도구 연동이 쉬워질 듯. 개발자 문서부터 읽어봐야겠어요.

도메인 용어가 많은데 파인튜닝이 나을지 RAG가 나을지. 둘 다 해보신 분들 의견 궁금합니다.

모든 프레임워크는 500줄을 넘어서면 디버깅 악몽이 됩니다. 순수 코드 + function calling이 우리에게는 더 좋았습니다.

비용/지연/프롬프트 버전까지 한 번에 보이니까 디버깅 시간이 반으로 줄었습니다. 무료 티어로 충분해요.

듀얼 3090으로 70B 돌리려다 이틀 삽질. 결국은 OLLAMA_NUM_GPU + 스플릿 모드 조합으로 해결. 정리해봤습니다.

금융권 고객사에 설치했습니다. 인터넷 완전 차단 환경에서도 임베딩+검색+생성 전부 동작. 자세한 내용은 글에.

Replaced a custom fine-tune with a generic 8B + good retrieval. Cheaper to maintain, better scores. Data point for you.

Mira Murati가 세운 회사가 시드로 2조원대 유치. a16z 리드. 시장 분위기가 확실히 달라졌네요.

코드 문서는 300토큰, 일반 문서는 500~800토큰으로 쓰고 있는데요. 법률 문서처럼 구조화된 건 섹션 단위로 자르는 게 낫다는 의견도 있더라고요. 다들 어떻게 하세요?

사내용 챗봇 하나 돌리는데 GPU 서버 빌리는 게 월 200만원이 넘네요. 트래픽이 적으면 API 쓰는 게 이득이라는 의견도 있고요. 실제 사례 있으면 공유 부탁드려요.

프롬프트/비용/지연을 한 대시보드에서 보니 운영 난이도가 확실히 내려갔습니다. 셀프호스팅도 가능해서 사내 도입에 부담이 없네요.

매일 아침 AI 관련 뉴스 5개를 요약해서 텔레그램으로 보내주는 봇을 만들었습니다. DeepSeek로 요약하고 키워드로 분류하니 꽤 유용하네요.

리더보드가 뒤바뀐 채로 아침을 맞았다. 그들의 새 릴리스가 MMLU-pro에서 이전 SOTA를 약 3포인트 차이로 이겼는데, 블로그 포스트는 사실상 한 문단뿐이다. 일부러 실력을 숨긴 건지, 아니면 의도적으로 요란한 발표 없이 출시한 건지. 어느 쪽이든 가격 페이지는 여전히 예전 그대로인데, 그게 진짜 핵심이다.

허브에 가중치가 올라왔습니다. 새 토크나이저를 사용한 8B 모델은 크기에 비해 툴 호출 성능이 의심스러울 정도로 뛰어납니다. 내부 데이터로 파인튜닝하는 데 H100 한 대로 6시간이 걸렸습니다. 에이전트용으로 저렴한 기본 모델이 필요하다면, 이만한 선택지가 없습니다.

Our org has 10k pages of policy PDFs nobody reads. Built a RAG bot with citations that links back to the exact page. Support queries dropped noticeably and compliance is happy because everything is traceable. Side project that became the team's favorite tool.

Feed it a CSV export, it finds anomalies and writes a Korean explanation via an LLM. Useful for MSP folks.

가성비 미쳤습니다. 4bit로 12GB 램 노트북에서 돌아간다고 하니 로컬 실험용으로 딱이네요.

Prefill pipelining finally landed. Our 128k-context serving costs should drop meaningfully.

현재 Chroma 쓰다가 Qdrant로 옮길지 고민 중. 데이터 500만 건 정도인데 경험 있으신 분?

bge-m3에서 다른 모델로 바꾸려는데, 기존 문서 전부 다시 인덱싱해야 하는 게 맞는지요?

Mine: Claude for code, DeepSeek for bulk tasks, local Ollama for privacy stuff. What's yours?

일 10만 요청 기준 DeepSeek API vs 자체 GPU. 대략 어디서 크로스오버되나요? 계산해보신 분?

네임스페이스 API가 안정화됐고 성능도 올라갔다고 합니다. 마이그레이션 가이드 공유합니다.

Ran a quick benchmark. pgvector with HNSW was 80% the speed at 10% the cost. Details in thread.

모든 데이터는 기기에 저장됩니다. 주제, 기분, 실행 항목이 담긴 주간 다이제스트. 2주 만에 사용자 400명!

동일 7B 모델로 비교했는데 p50은 비슷하고 p99는 TRT-LLM이 더 안정적이었습니다. 수치 표로 정리했어요.

여러 모델 크기로 Meta 전반의 제품을 구동하고 있습니다. 오픈 대 폐쇄 논쟁은 계속해서 뜨거워지고 있습니다.

상업적으로 사용할 수 있는 오픈 LLM의 업데이트된 목록입니다. 클라이언트 프로젝트용 모델을 고를 때 유용합니다.

시행 시점이 유예되고 중소기업 부담이 줄었다고 합니다. 유럽 스타트업들 숨통 트이는 분위기. 국내 규제 논의에도 참고할 만하네요.

프롬프트 캐시 쓰면 50%는 아낀다고 들었는데, 실제로 얼마나 효과 보셨나요? 컨텍스트 압축이나 요약 전략도 궁금합니다.

둘 다 써봤는데, Open-webui는 Ollama 연동이 편하고 LibreChat는 멀티모델 관리가 좋았습니다. RAG 기능은 LibreChat가 좀 더 성숙한 느낌? 여러분 선택은?

매주 LLM 논문 하나씩 리뷰하는 블로그를 6개월째 운영 중입니다. 방문자가 꾸준히 늘고 있고, 이메일 구독도 300명 넘었네요. 꾸준함이 답이긴 하네요.

Downloaded the 27B variant last night. Quantized to Q4 it fits in 16GB RAM and generates at a very usable speed. Not Claude-level reasoning, but for a local model it's a big step. Google is winning the 'open weights you can actually run' game right now.

논문을 두 번 읽었다. 훈련 비용 수치는 미국 연구소들에 비하면 거의 모욕적이다. 지연 시간은 훌륭하고, 가격은 누구도 예상한 것보다 낮다. 진짜 효율성 돌파구를 찾았거나, 아니면 벤치마크가 좋은 것만 골라낸 것이거나. 제3자 재현 연구를 꼭 보고 싶다.

Day 1: I felt like a god. Day 12: I found a bug the AI introduced that took 3 hours to hunt. Day 30: net positive, probably. The tooling is incredible but you still need to understand what you're building. No replacement, just acceleration.

TypeScript 50줄짜리 코드가 우리 검색 API를 가리키고, 이제 모두가 에디터에서 문서를 조회한다. 바보 같지만 우리 일하는 방식을 바꿨다. 프로토콜은 투박하지만 통합으로 얻은 이점은 확실하다.

Collected 3 years of my blog posts and newsletter, fine-tuned a 7B with LoRA. The style imitation is uncanny — my wife thought I wrote the drafts. Uses: first drafts of posts I'm too lazy to start. It's my ghostwriter now.

12B model on the family PC, a simple web UI. It explains math problems step by step instead of just giving answers. No accounts, no data leaving the house, and no monthly subscription. The kids actually use it.

Chroma vs Qdrant vs LanceDB for a small self-hosted RAG service. Disk and RAM matter — running on a free-tier VM.

Scrapes arXiv + HN, summarizes with an LLM, posts as threads. 200 stars in a week. AMA.

국내+글로벌 AI 논의를 한 곳에서. 짧게 쓰레드처럼 쓰는 곳입니다. 자유롭게 이야기해요.

Big claim. If real, this changes agent UX a lot. Anyone benchmarked it yet?

오프라인 어시스턴트가 실생활에 들어오는 시점이네요. 개인정보 처리 관점에서도 의미 있는 변화.

LLM이 스트리밍으로 출력할 때 JSON을 점진적으로 파싱하는 방법 질문입니다. partial JSON 파서 쓰시는 분 계신가요?

Long agent sessions blow up tokens. Do you use summarization, sliding windows, or something else?

Model cites chunks that don't actually support the answer. Any post-processing tricks that work?

LLM을 잘 쓰는 것만으로는 부족하다는 말이 많아지네요. 시스템 설계? 벡터 DB? MLOps? 다들 뭐가 우선이라 생각하세요?

보안팀이랑 임원분들이 '아직 이르다'는 입장인데, 실무는 이미 AI 없이는 일이 안 됩니다. 설득 팁 있을까요?

With better rerankers and hybrid search, raw embedding quality matters less every quarter. Agree?

We went LibreChat for multi-user + RBAC. Open-webui has nicer UX though. Your pick?

드래그앤드롭으로 LLM + 검색 + 슬랙 연동까지. 개발자도 가끔은 로우코드가 편하네요.

CSV of prompts → JSONL of responses + scores. 100 lines of Go. Maybe useful for your eval pipeline.

Scrapes 20 sources, dedupes, summarizes, posts at 8am. 1.2k subscribers now. AMA about the pipeline.

주 1회 LLM 논문 리뷰. 누적 12만 뷰 달성. 글쓰기 + 실험 재현을 병행하니 배우는 게 두 배네요.

의사용 AI 스크라이브가 53억 달러 가치 평가로 막 대규모 투자 유치에 성공했다. 헬스케어 AI가 확실히 진짜 돈이 되는 분야인가 보다.

뉴스 매체 AI 생성 콘텐츠 비율 추적 연구입니다. 지역/대학 언론이 10배 가까이 증가했다고 하네요.

개발자용 월간 AI 뉴스 큐레이션 레포입니다. 매월 최신 LLM/도구 정리돼 있어서 스크랩해두면 좋아요.

보안 우려로 LLM 도입을 꺼리시는 분들이 있는데, 폐쇄망 배포 사례를 보여드리면 좀 나아질까요? 비슷한 경험 있으신 분들의 조언 부탁드립니다.

이메일 요약 → 슬랙 전송 → 주간 리포트 생성까지 n8n으로 묶어봤습니다. 노코드인데 LLM 노드가 잘 돼 있어서 생각보다 강력하네요.

Just got the email. Cache writes are 50% cheaper and cache reads dropped too. For anyone running long agent loops this is basically free money. We're re-running our cost model tonight but I suspect this changes the math on long-context agents.

Ordered 8 cards for our inference cluster two weeks ago. Sales rep just told me new orders are looking at Q4. Everyone is doing the same math: cheap tokens need efficient hardware, and there isn't enough to go around. If you're planning capacity for next year, order now.

Ship a model, top the leaderboard, get the press release, repeat. Meanwhile real usage is full of edge cases none of the benchmarks touch. I'd rather have a model that's honest about what it can't do.

두 달이 지났는데, 아직 후회는 없어요. 오픈 에이전트 프레임워크를 만들고 있고, 저축으로 생활하고 있어요. 오픈 소스 생태계는 혼란스럽지만 그 속도감이 중독적이에요. 전직, 돈, 또는 실제로 하루종일 뭘 하는지에 대한 질문에 기꺼이 답변할게요.

We were merging PRs blind. Now every RAG change runs 40 questions with expected answers and fails the build if recall drops. It's crude but it caught two regressions last week. Sometimes the simple stuff wins.

동일한 1M 문서 데이터셋으로 세 가지를 모두 실행했습니다. Qdrant는 쿼리 지연 시간에서 이겼고, pgvector는 운영 단순성에서 이겼습니다(이미 Postgres를 쓰고 있음). Milvus는 로딩이 가장 빨랐지만 클러스터 구성이 그 자체로 하나의 프로젝트입니다. 전체 수치는 게시물에 있습니다.

Workshop is loud, dusty, and has no wifi worth trusting. Pi 5 + a local model + a cheap mic array. It answers questions about my tools, sets timers, and reads specs out loud. Everything runs on-device and it cost under $200.

Been dumping notes, highlights, and bookmarks into a local RAG setup for two years. Search is instant and surprisingly good. Open-sourced the whole thing so it's reproducible. Warning: your old notes are more embarrassing than you remember.

내 git 커밋과 PR을 긁어와서 3개의 불릿 포인트로 요약해 스탠드업 전에 이메일로 보내준다. 아침에 30초면 끝난다. 우리 팀장은 내가 엄청 체계적인 사람인 줄 안다. 사실 난 그냥 단계만 늘린 게으름뱅이일 뿐인데.

일반적인 이름으로 회의에 참여해서, 메모를 남기고 우리 위키에 게시합니다. 메모가 나타나기 전까지 사람들은 그 존재를 잊어버리죠. 전사에는 아주 작은 로컬 모델을 사용합니다. 한 번은 "이거 합법이냐"는 질문이 나온 적이 있는데, HR이 괜찮다고 해서 출시합니다.

저는 계속 일반 코드 + 함수 호출 방식으로 돌아오게 되네요. 프레임워크는 디버깅하기에 너무 많은 매직을 추가하거든요.

RAG 기반 기업 검색 솔루션으로 유치했다고 합니다. 국내도 이제 본격적으로 크네요.

Small enough to self-host, strong enough for real agent loops. Worth a look for cost-sensitive teams.

우리는 RAGAS를 사용하지만 점수가 인간의 판단과 상관관계가 없습니다. 실제 프로덕션에서는 무엇을 사용하나요?

vLLM vs TGI vs llama.cpp server. For a small team serving one 8B model, what's the least ops burden?

임베딩 + 소형 LLM만으로 API 없이 운영 가능한지 궁금합니다. 트래픽은 하루 1천 건 수준이에요.

코딩 문제는 다들 잘 풀어요. 문제는 '왜'를 물었을 때. 면접 방식 자체를 바꿔야 하나 고민입니다.

I used to read every arxiv paper. Now I wait for good summaries. Am I falling behind?

새 모델 나올 때마다 다같이 벤치마크 까보는 게 제일 재밌네요. 여기 오시는 분들은 뭐 보러 오세요?

I packaged my go-to RAG setup into a template. Docker compose up and you have a working API in 2 minutes.

지금은 Git으로 관리하는데, 버전별 A/B 테스트가 필요해졌습니다. 전용 도구 추천 부탁해요.

Gradio가 멀티모달 채팅 컴포넌트를 갖추게 되었습니다. Streamlit이 따라잡고 있죠. 내부 데모용으로는 어떤 것이 더 나을까요?

Visual node editor for agent pipelines with live tracing. MIT licensed, would love feedback.

매주 토요일 2시간. 30명에서 시작해 지금 12명의 코어 멤버로. 꾸준함의 가치를 배웠습니다.

100대 고성장 기업 중 34개가 AI 기업이다. 자본의 이동은 실재하며 가속화되고 있다.

두 회사 모두 2025년에 큰 규모의 투자 라운드를 유치했다. LLM 위에서 무언가를 구축하고 있다면, 앱보다 인프라 투자가 더 안전해 보인다.

이 탭을 계속 열어 두세요. o1부터 GPT-5-Codex-Mini까지 모든 것이 제일 먼저 여기에 도착합니다.

여기처럼 짧은 글 위주로 활발한 곳이 또 있을까요? 디스코드/슬랙 커뮤니티도 추천해주시면 감사하겠습니다.

The grace period is ending. If you ship anything that touches biometrics or critical infrastructure you need to have your paperwork sorted. Small SaaS teams are mostly fine but the compliance checklist is long and boring. Start with the Annex III list, don't assume you're exempt.

3B 모델은 요약과 스마트 답장을 로컬에서 처리하며 반응이 매우 빠릅니다. 프라이버시 측면에서도 훌륭하죠. 개발자들은 새로운 CoreML API를 통해 이 모델을 호출할 수 있습니다. 어려운 작업에서 클라우드 모델을 대체하지는 못하겠지만, 간단한 용도로는 실질적으로 유용하고 무료입니다.

Building evals feels like a second product. We tried LLM-as-judge with a strong model and it's decent but biased toward long answers. Anyone using lightweight checks + sampling? What's your minimal viable eval?

We're about to onboard our first enterprise customers and I have to decide. Shared index with metadata filters seems simpler but I'm scared of cross-tenant leakage. Per-tenant collections mean more ops. What do you run?

The agent handles maybe 60% of tickets but the 40% it hands to humans are the messy ones, so support load barely dropped. Customers who realize they're talking to a bot get annoyed even when it works. Not sure this was a win.

우리는 제품 가격을 입력 토큰 100만 개당 $2로 책정했습니다. 지금은 $0.30까지 내려왔고 계속 하락 중입니다. 우리에게는 좋지만, 고객들은 AI가 더 저렴해졌는데 왜 청구서는 줄지 않았는지 계속 묻습니다. 게다가 이제 경쟁사들도 같은 품질을 감당할 수 있게 됐습니다. 마진 해자가 줄어들고 있습니다.

LangSmith is smoother but the per-seat pricing hurt us. Langfuse self-hosted costs us one small VM. Missing a few features but the trace UI is good enough and the data stays on our infra. For EU clients that matters.

게이트웨이를 구매하는 대신 직접 작성했다. 프로바이더 간 라운드로빈, 정확한 프롬프트에 대한 인메모리 캐시, 그리고 서킷 브레이커를 구현했다. 화려하지는 않지만 API 비용을 35% 절감했고 모든 것을 통제할 수 있다.

One endpoint for all providers, consistent interface, and the config is plain YAML. We swapped out three vendor SDKs in an afternoon. If you're multi-provider, just use it.

이 사이트와 비슷한데 반도체 뉴스에 특화된 거예요. 50개의 RSS 피드를 스크래핑하고, 임베딩으로 중복을 제거하고, LLM으로 요약한 다음, 제 읽기 습관에 따라 순위를 매겨요. 한 달째 아침마다 읽고 있는데 예전 피드 리더는 다시 열어본 적이 없어요.

It categorizes spending, flags weird charges, and answers questions like 'how much did I spend on coffee in March'. Accuracy is 90%+ on categories. Caveat: you have to trust it with your data, so it runs fully local. Worth it for the anxiety reduction alone.