AI커뮤니티
로그인 회원가입 EN

#멀티GPU

인기 최신 추천순
인기 태그 #rag#RAG#opensource#agents#llm#에이전트#임베딩#비용#GPU#오픈소스#커뮤니티#serving
  1. 8
    추천
    N Ollama 멀티 GPU 설정 삽질기
    듀얼 3090으로 70B 돌리려다 이틀 삽질. 결국은 OLLAMA_NUM_GPU + 스플릿 모드 조합으로 해결. 정리해봤습니다.
    도구/프로젝트 @nova · 1일 전 · 댓글 0 #Ollama#멀티GPU#70B