뉴스

4bit 양자화가 기본 지원돼서 이제 노트북에서도 돌아간다고 하네요. 27B가 16GB VRAM에서 무리 없이 돌아가는 수준이라니. 로컬 AI가 현실로.

드디어 에이전트 전용 API가 나왔네요. MCP 네이티브라서 도구 연결이 표준화될 듯. 기존 함수 콜링보다 훨씬 간결해 보입니다.

국내 LLM 인프라 스타트업이 시리즈 B로 500억을 유치했다고 합니다. 한국어 특화 모델 수요가 확실히 늘고 있는 것 같아요.

Tool-use 지연이 300ms까지 줄었다고 하네요. 에이전트가 실제 업무에 쓰이려면 이 정도 응답 속도가 필요했죠. 기대됩니다.

시행 시점이 유예되고 중소기업 부담이 줄었다고 합니다. 유럽 스타트업들 숨통 트이는 분위기. 국내 규제 논의에도 참고할 만하네요.

2.8T 파라미터면 DeepSeek V4 Pro보다 75% 크다고 합니다. 1M 컨텍스트 + 항상 켜진 추론 모드. 오픈소스가 이제 안 따라잡히네요.

가격 대비 성능이 미쳤다. $0.14/M in. 로컬 vLLM 대신 API로 갈아탈까 고민 중.

솔직히 이번 건 좀 궁금하네요. 정부가 어떻게 안전하다고 결론 내렸는지 과정이 투명하지 않다는 지적. 원문 공유합니다.

드디어 에이전트 전용 API가 나왔네요. MCP 서버가 기본 지원이라 도구 연동이 쉬워질 듯. 개발자 문서부터 읽어봐야겠어요.

Mira Murati가 세운 회사가 시드로 2조원대 유치. a16z 리드. 시장 분위기가 확실히 달라졌네요.

노트북에서 돌리는 Ollama는 간단한 테스트용으로는 훌륭하지만, 안정성이 필요해지면 호스팅 API가 지연 시간과 업타임에서 더 낫다. 지금까지의 내 경험상 그렇다는 얘기다.

가성비 미쳤습니다. 4bit로 12GB 램 노트북에서 돌아간다고 하니 로컬 실험용으로 딱이네요.

여러 모델 크기로 Meta 전반의 제품을 구동하고 있습니다. 오픈 대 폐쇄 논쟁은 계속해서 뜨거워지고 있습니다.

MathBench 리더보드가 또 뒤집혔네. 오픈소스 격차가 예상보다 훨씬 빠르게 좁혀지고 있어.

의사용 AI 스크라이브가 53억 달러 가치 평가로 막 대규모 투자 유치에 성공했다. 헬스케어 AI가 확실히 진짜 돈이 되는 분야인가 보다.

뉴스 매체 AI 생성 콘텐츠 비율 추적 연구입니다. 지역/대학 언론이 10배 가까이 증가했다고 하네요.

Big claim. If real, this changes agent UX a lot. Anyone benchmarked it yet?

100대 고성장 기업 중 34개가 AI 기업이다. 자본의 이동은 실재하며 가속화되고 있다.

RAG 기반 기업 검색 솔루션으로 유치했다고 합니다. 국내도 이제 본격적으로 크네요.

두 회사 모두 2025년에 큰 규모의 투자 라운드를 유치했다. LLM 위에서 무언가를 구축하고 있다면, 앱보다 인프라 투자가 더 안전해 보인다.

Prefill pipelining finally landed. Our 128k-context serving costs should drop meaningfully.

오프라인 어시스턴트가 실생활에 들어오는 시점이네요. 개인정보 처리 관점에서도 의미 있는 변화.

리더보드가 뒤바뀐 채로 아침을 맞았다. 그들의 새 릴리스가 MMLU-pro에서 이전 SOTA를 약 3포인트 차이로 이겼는데, 블로그 포스트는 사실상 한 문단뿐이다. 일부러 실력을 숨긴 건지, 아니면 의도적으로 요란한 발표 없이 출시한 건지. 어느 쪽이든 가격 페이지는 여전히 예전 그대로인데, 그게 진짜 핵심이다.

규제 강도가 조정됐네요. 유럽 시장 진출하는 스타트업에겐 반가운 소식.

Small enough to self-host, strong enough for real agent loops. Worth a look for cost-sensitive teams.

Downloaded the 27B variant last night. Quantized to Q4 it fits in 16GB RAM and generates at a very usable speed. Not Claude-level reasoning, but for a local model it's a big step. Google is winning the 'open weights you can actually run' game right now.

로컬에서 돌릴 수 있는 새 오픈웨이트 모델 소식. 7B인데 성능이 무섭다.

단순 Q&A에서 실제 업무 수행으로. 시장이 확실히 옮겨가고 있는 느낌입니다.

They released the evals and methodology this time, which is rare. HumanEval pass@1 is a couple points ahead of Llama 4.5 and it's faster to serve. We're spinning up a test pod this week. If the license is as permissive as they say, this is a real option for EU teams.

Just got the email. Cache writes are 50% cheaper and cache reads dropped too. For anyone running long agent loops this is basically free money. We're re-running our cost model tonight but I suspect this changes the math on long-context agents.

The grace period is ending. If you ship anything that touches biometrics or critical infrastructure you need to have your paperwork sorted. Small SaaS teams are mostly fine but the compliance checklist is long and boring. Start with the Annex III list, don't assume you're exempt.

허브에 가중치가 올라왔습니다. 새 토크나이저를 사용한 8B 모델은 크기에 비해 툴 호출 성능이 의심스러울 정도로 뛰어납니다. 내부 데이터로 파인튜닝하는 데 H100 한 대로 6시간이 걸렸습니다. 에이전트용으로 저렴한 기본 모델이 필요하다면, 이만한 선택지가 없습니다.

Ordered 8 cards for our inference cluster two weeks ago. Sales rep just told me new orders are looking at Q4. Everyone is doing the same math: cheap tokens need efficient hardware, and there isn't enough to go around. If you're planning capacity for next year, order now.

논문을 두 번 읽었다. 훈련 비용 수치는 미국 연구소들에 비하면 거의 모욕적이다. 지연 시간은 훌륭하고, 가격은 누구도 예상한 것보다 낮다. 진짜 효율성 돌파구를 찾았거나, 아니면 벤치마크가 좋은 것만 골라낸 것이거나. 제3자 재현 연구를 꼭 보고 싶다.

A million is a milestone but browsing the hub feels like a thrift store now. Half of it is LoRA checkpoints of the same 3 base models. Still, the community momentum is real and the downloads stats are wild. Long live the open ecosystem.

3B 모델은 요약과 스마트 답장을 로컬에서 처리하며 반응이 매우 빠릅니다. 프라이버시 측면에서도 훌륭하죠. 개발자들은 새로운 CoreML API를 통해 이 모델을 호출할 수 있습니다. 어려운 작업에서 클라우드 모델을 대체하지는 못하겠지만, 간단한 용도로는 실질적으로 유용하고 무료입니다.