-
읽기 축만 놓고 보면 벡터 677만 개에서 인건비 0에도 자체 운영이 진다
벡터 DB 자체 운영과 전용 노드의 갈림은 허용 인건비 하나로 닫힌다. 허용 인건비 L = P k r + W + A − (자체 운영 인프라비 − s S)이고, P는 전용 노드 월 요율, k는 샤드 수, r은 복제 계수, W는 매니지드 쓰기 월액, A는 매니지드 전용 부가 요금, s S는 매니지드 저장 요금이다. W = 0·A = 0으로 잡은 이 글의 기준선에서 벡터 6,764,154개를 넘으면 L이 음수가 되어 월 인건비를 0으로 놓아도 자체 운영이 진다. 종량 요금제와 전용 노드가 갈리는 자리는 코퍼스 GB × QPS = 8.0 × k × r이고, RU $16 기준으로 종량 기본 한도의 0.40% × k × r다.
-
증분 색인의 손익분기 16.22%는 우리 조직의 값이 아니다
RAG 재색인에서 증분 색인과 전체 재색인의 손익분기는 재작성 청크 비율로 나오고, 그 값은 q* = (π + c + ρ) ÷ (π + 1 + ρ) 하나로 닫힌다. π는 파싱비, c는 전체 재색인 쓰기비, ρ는 임베딩비를 각각 증분 쓰기비로 나눈 값이고 셋 다 벤더 가격표에서 읽는다. 파싱 캐시·적재 경로·임베딩 캐시가 어느 조합이냐에 따라 그 값이 3%대에서 90%대까지 갈린다.
-
적중률 31.6%가 이득이기도 하고 손해이기도 하다
프롬프트 캐싱의 손익분기 적중률은 하나로 정해지지 않는다. 같은 31.6%에서 적중이 세션 앞 턴에 몰리면 안정 프리픽스만 캐싱하는 것보다 14.4% 손해고, 뒤 턴에 몰리면 28.3% 이득이다. 문턱을 움직이는 축이 둘, 문턱 자체를 무의미하게 만드는 축이 하나라, 문턱으로 환산하지 말고 실측 비용을 직접 비교해야 한다.
-
에이전트 캐싱은 계수를 바꾸고 지수는 못 바꾼다
프리픽스에만 브레이크포인트를 거는 흔한 구성은 에이전트가 길어질수록 절감률이 떨어진다. 히스토리까지 캐싱하면 반대로 오르지만 상한이 90%이고 비용은 여전히 턴 수의 제곱으로 자란다. 200턴 세션은 완벽하게 캐싱해도 $36이다.
-
70B 자체 서빙은 버스를 대절하는 것이다 - 좌석을 25% 이상 채워야 택시보다 싸다
자체 서빙은 고정비, API는 종량제다. 그래서 판단 기준은 월 토큰 수가 아니라 좌석을 몇 % 채우는지다. 긴 문서를 다루는 워크로드에 지연 목표와 이중화를 얹으면 필요 좌석률이 100%를 넘어, 물량을 아무리 늘려도 자체 서빙이 싸지지 않는다.