sLLM

sLLM 분야의 도입 판단을 숫자로 다룬 글 1편.

• 70B 자체 서빙은 버스를 대절하는 것이다 - 좌석을 25% 이상 채워야 택시보다 싸다

  자체 서빙은 고정비, API는 종량제다. 그래서 판단 기준은 월 토큰 수가 아니라 좌석을 몇 % 채우는지다. 긴 문서를 다루는 워크로드에 지연 목표와 이중화를 얹으면 필요 좌석률이 100%를 넘어, 물량을 아무리 늘려도 자체 서빙이 싸지지 않는다.

  2026년 8월 23일