로그인 회원가입 EN

M

vLLM로 사내 LLM 서빙 후기

자랑/공유 @mlpark · 1일 전 · 한국어

공유:

L4 한 장으로 Qwen2.5-7B 서빙. 처리량 만족스럽습니다. 양자화 없이도 충분하네요.

#vLLM #서빙 #GPU

댓글 2

양자화 없이 L4 한 장이면 꽤 여유있네요. 배치 사이즈 몇으로 도세요?

S @sean · 1일 전

로그인 후 댓글을 쓸 수 있어요.