Speculative Decoding 실전

로컬 추론에서 가장 체감하기 쉬운 병목현상은 '생성이 느리다'입니다. 양자화는 모델을 VRAM에 넣기 위한 수단이고, speculative decoding(투기 디코딩)은 모델을 바꾸지 않고 생성 대기 시간을 줄이는 수단입니다. DeepSeek은 HuggingFace에서 DSpark, DFlash, Eagle3 세 시리즈를 공개하며 자사 V4 모델에 더해 Qwen3, Gemma4 같은 타사 베이스를 커버합니다. 이 글은 원리, 준비된 페어, 설정 방식, 유용한 장면을 정리합니다.

원리: 왜 빠르고 왜 결과가 바뀌지 않는가

자기회귀 생성은 직렬입니다. N번째 토큰을 내기 위해 N-1번째 완료를 기다려야 하고, GPU는 한 번에 1토큰만 계산하며 계산 자원의 상당 부분이 놀고 있습니다. speculative decoding의 생각:

1. 훨씬 작은 '초안 모델'이 이후 토큰을 여러 개, 저렴하게 연속 예측
2. 그 후보를 큰 모델에 몰아서 넣어 병렬 검증(한 번의 순전파로 여러 위치를 확인, 계산 이용률이 높아짐)
3. 큰 모델이 동의한 접두사를 채택, 처음 불일치가 나온 위치부터 초안을 다시 하기

요점은 검증 과정입니다. 채택되는 토큰은 모두 큰 모델이 직접 확인한 것이므로 최종 출력은 비가속 시와 동일합니다. 그것은 '모델을 더 대충 하게 한다'가 아니라 '같은 계산을 더 적은 대기 시간으로 한다'는 것입니다. 출력 분포가 불변이라는 점이 '더 작은 모델로 바꾼다'와의 근본적 차이입니다.

DeepSeek이 공개한 페어

HuggingFace의 deepseek-ai 조직이 2026-06-27/28에 공개한 정보를 기반으로 합니다(다운로드 수는 수집 시점의 참고값, 최신은 각 모델 카드를 참조).

세 시리즈는 서로 다른 초안 생성 전략에 대응합니다(block7, ttt7 접미사는 구조·학습 설정의 식별자, 정확한 의미는 각 모델 카드). 명명 규칙이 실용적입니다: dspark_qwen3_8b_block7은 'Qwen3-8B용 DSpark 초안 모델'. 페어를 고를 때는 먼저 베이스 이름과 규모를 맞추세요 — 14B 초안을 4B 대상에 맞추지 마세요.

설정 방식

프레임워크마다 필드 이름이 다르지만 절차는 공통 3단계입니다.

1. 대상 모델 로드 + 초안 모델 지정. llama.cpp 계열은 초안 모델 경로 플래그(-md나 --model-draft 계열, 실제로는 사용 버전의 --help 확인). vLLM은 speculative config로 초안 모델과 방식을 지정합니다.

# llama.cpp 형태 예시: 필드명은 버전 --help에 따름
./build/bin/llama-server \
  -m ./models/Qwen3.8-27B-Q4_K_M.gguf \
  -md ./models/draft-model.gguf \
  -ngl 40 -c 8192 \
  --host 127.0.0.1 --port 8080

2. 먼저 돌려서 조정. 초안 길이(한 번에 몇 토큰 예측하는가), 병렬 검증 배치 크기가 효과에 영향을 줍니다. 기본값으로 돌리고 같은 프롬프트 세트로 가속 on/off의 token/s를 비교하세요.

3. 고정 프롬프트 세트로 실측. 비가속 시 token/s와 VRAM, 가속 시 값을 기록합니다. 가속 이익은 모델·하드웨어·작업 분포에 따라 다르므로 이 글에서는 보편 배율을 쓰지 않습니다 — 직접 측정한 값이 유일한 근거입니다.

어떤 장면에서 유용한가

경험 법칙: 출력이 길고 예측 가능할수록 speculative decoding이 제값을 합니다. 짧은 Q&A는 직렬 단계가 얼마 되지 않아 애초에 가속 천장이 낮습니다.

다른 가속 수단과의 관계

'더 작은 모델로 교체'와 speculative decoding의 본질적 차이: 전자는 품질을 속도와 교환하고, 후자는 품질을 교환하지 않습니다. 작업이 품질에 민감하면 speculative decoding이 더 깨끗한 선택입니다.

FAQ

관련 글

• VRAM 계산 실전 — VRAM 예산 수립
• 로컬 배포 완전 플레이북 — 7단계
• Qwen 모델 선택 가이드 — 패밀리 사용 구분
• 로컬 계산 비용 모델 — 비용 판단
• 로컬 LLM용 GPU 선택 가이드 — 하드웨어 선정