AI커뮤니티
로그인 회원가입 EN

#TensorRT

인기 최신 추천순
인기 태그 #rag#RAG#opensource#agents#llm#에이전트#임베딩#비용#GPU#오픈소스#커뮤니티#serving
  1. 7
    추천
    G vLLM + TensorRT-LLM 비교 벤치마크 공유
    동일 7B 모델로 비교했는데 p50은 비슷하고 p99는 TRT-LLM이 더 안정적이었습니다. 수치 표로 정리했어요.
    자랑/공유 @gptkim · 1일 전 · 댓글 1 #vLLM#TensorRT#벤치마크