← Lab 전체 데모

공짜 점심? 추측이 맞을 때만

작은 draft 모델이 다음 토큰 여러 개를 한꺼번에 제안하면, 큰 target 모델이 한 번의 병렬 검증으로 확인한다 — target이 어차피 뽑았을 앞부분은 채택하고, 어긋나는 순간 버린다. 출력 분포는 target 단독과 동일(무손실)하다. 하지만 실제로 빨라지느냐는 draft 제안이 채택되는 비율(수락률)에 전적으로 달렸다 — 자주 맞으면 큰 모델 호출이 줄어 날아가고, 자주 틀리면 검증 오버헤드가 이득을 넘어 오히려 느려진다. 아래는 홈랩에서 직접 측정해 바로 그 손익 경계에 걸친 결과를 토큰 단위로 재생한 기록이다.

결과 한눈에

타임라인 리플레이 — 토큰이 달리는 걸 지켜보기

같은 프롬프트를 두 구성으로, 실측 속도에 맞춰 재생합니다. 아래 토큰 스트립은 라운드마다: 초록 = target이 채택한 draft 토큰, 보라 = target의 보너스 토큰, 빨강 = 거절된 draft 추측(폐기). 거절이 나오면 그 라운드는 거기서 끝납니다.

🐍 계산 코드 직접 실행 — 고쳐서 다시 계산해보기

아래 파이썬은 당신의 브라우저 안(WebAssembly·Pyodide)에서 실행됩니다 — 서버로 아무것도 전송되지 않습니다. 실측 runs가 미리 로드돼 있습니다. speculative decoding의 비용 모델을 직접 바꿔보세요: draft가 3배 싸다면? γ(draft 길이)가 8이 아니라 4라면 예상 속도 향상은 얼마나 될까?

여기에 실행 결과가 표시됩니다.

어떻게 돌리나 — 명령 한 줄

# llama.cpp — draft 모델 하나만 더 붙이면 된다 (-md / --spec-draft-n-max)
llama-speculative \
  -m  Qwen2.5-7B-Instruct-Q4_K_M.gguf    \  # target (검증자)
  -md Qwen2.5-0.5B-Instruct-Q4_K_M.gguf  \  # draft  (제안자)
  --spec-draft-n-max 8 -ngl 99 -ngld 99  \
  -n 256 -p "..."
# → 로그에 tokens/sec 와 n_drafted / n_accepted (수락률)이 찍힌다