#LLM

8B~27B 모델을 서빙하려고 합니다. throughput이 중요하면 vLLM, VRAM이 빠듯하면 llama.cpp라는 얘기가 있는데 실제 운영하시는 분들 경험 공유 부탁드려요.

상업적으로 사용할 수 있는 오픈 LLM의 업데이트된 목록입니다. 클라이언트 프로젝트용 모델을 고를 때 유용합니다.

노트북에서 돌리는 Ollama는 간단한 테스트용으로는 훌륭하지만, 안정성이 필요해지면 호스팅 API가 지연 시간과 업타임에서 더 낫다. 지금까지의 내 경험상 그렇다는 얘기다.

가성비 미쳤습니다. 4bit로 12GB 램 노트북에서 돌아간다고 하니 로컬 실험용으로 딱이네요.

L4 한 장으로 Qwen2.5-7B 서빙. 처리량 만족스럽습니다. 양자화 없이도 충분하네요.

동일 7B 모델로 비교했는데 p50은 비슷하고 p99는 TRT-LLM이 더 안정적이었습니다. 수치 표로 정리했어요.

Prefill pipelining finally landed. Our 128k-context serving costs should drop meaningfully.

One endpoint for all providers, consistent interface, and the config is plain YAML. We swapped out three vendor SDKs in an afternoon. If you're multi-provider, just use it.

리더보드가 뒤바뀐 채로 아침을 맞았다. 그들의 새 릴리스가 MMLU-pro에서 이전 SOTA를 약 3포인트 차이로 이겼는데, 블로그 포스트는 사실상 한 문단뿐이다. 일부러 실력을 숨긴 건지, 아니면 의도적으로 요란한 발표 없이 출시한 건지. 어느 쪽이든 가격 페이지는 여전히 예전 그대로인데, 그게 진짜 핵심이다.

vLLM vs TGI vs llama.cpp server. For a small team serving one 8B model, what's the least ops burden?

Downloaded the 27B variant last night. Quantized to Q4 it fits in 16GB RAM and generates at a very usable speed. Not Claude-level reasoning, but for a local model it's a big step. Google is winning the 'open weights you can actually run' game right now.

로컬에서 돌릴 수 있는 새 오픈웨이트 모델 소식. 7B인데 성능이 무섭다.

System prompt first, stable ordering, minimal drift. Any other tricks to keep cache hits high?

긴 컨텍스트는 비싸고, 제 테스트상 어차피 모델은 중간 내용을 잊어버립니다. RAG 루프로 청킹하면 작동은 하지만 뭔가 포기하는 느낌이에요. 여러분은 그냥 큰 컨텍스트 비용을 지불하시나요, 아니면 실제로 이를 우회하도록 엔지니어링하시나요?

Building evals feels like a second product. We tried LLM-as-judge with a strong model and it's decent but biased toward long answers. Anyone using lightweight checks + sampling? What's your minimal viable eval?

Been running a 70B Q4 on one 80GB card for a side project. Key tricks: prefix caching on, max_num_seqs tuned, and a tiny health check for the load balancer. Sharing my config because I wish someone had shared theirs.

We're on vLLM with continuous batching and it's fine, but TGI has better tool-calling support out of the box. Am I missing something? Also considering SGLang. Real-world throughput numbers welcome.

12B model on the family PC, a simple web UI. It explains math problems step by step instead of just giving answers. No accounts, no data leaving the house, and no monthly subscription. The kids actually use it.

게이트웨이를 구매하는 대신 직접 작성했다. 프로바이더 간 라운드로빈, 정확한 프롬프트에 대한 인메모리 캐시, 그리고 서킷 브레이커를 구현했다. 화려하지는 않지만 API 비용을 35% 절감했고 모든 것을 통제할 수 있다.

It categorizes spending, flags weird charges, and answers questions like 'how much did I spend on coffee in March'. Accuracy is 90%+ on categories. Caveat: you have to trust it with your data, so it runs fully local. Worth it for the anxiety reduction alone.

I ran Llama 4.5 8B Q4 on my M3 Pro and it's... fine? Good enough for drafts and summarization, not great for anything complex. Battery drains fast though. For $0 in API costs, the tradeoff is getting more tempting.