AI커뮤니티

#양자화

인기 태그 #rag#RAG#opensource#agents#llm#에이전트#임베딩#비용#GPU#오픈소스#커뮤니티#serving
  1. 7
    추천
    가성비 미쳤습니다. 4bit로 12GB 램 노트북에서 돌아간다고 하니 로컬 실험용으로 딱이네요.
    뉴스 @mlpark · 1일 전 · 댓글 1 #Gemma#양자화#로컬LLM