로컬 LLM용 GPU 선택 가이드

Qwen, DeepSeek, GLM 같은 오픈 중국 모델을 직접 구매한 하드웨어에서 실행하고 싶을 때, 첫 질문은 거의 항상 "어떤 GPU를 사야 하나"입니다. 하지만 흔한 오해는 GPU 모델명과 벤치마크 점수만 보는 것입니다. 로컬 추론에서 "실행 가능 여부, 어느 등급에서 실행되는지"를 실제로 결정하는 것은 VRAM 용량입니다. 모델명은 속도를 결정하고, 용량은 가능성을 결정합니다.

1단계: 목표 VRAM 계산

카드를 고르기 전에 한 가지 질문에 답합니다: 어느 규모의 모델을, 어느 양자화 등급으로? 이 두 파라미터가 가중치 크기를 결정합니다.

빠른 추정: 파라미터 수 × 파라미터당 바이트 수. 등급별 경험적 계수(모델마다 약간 다름, 정확한 값은 모델 카드의 GGUF 파일 크기 참조):

여기에 두 가지 비용을 더합니다:

KV cache — 컨텍스트 길이에 따라 선형 증가하며 긴 컨텍스트 배포의 숨은 큰 비용입니다. 정확한 공식과 측정 방법은 VRAM 계산 실전을 참조하세요.

런타임 오버헤드 — CUDA 컨텍스트, 프레임워크 캐시, 단편화. 보통 1-2GB 추가.

예: Qwen3.8-27B를 Q4_K_M으로(가중치 약 16GB) + 8K 컨텍스트 KV cache(약 1-2GB) + 오버헤드 2GB ≈ 19-20GB — 24GB 카드에서 편안합니다.

2단계: VRAM 등급 매칭

"VRAM → 실행 가능 모델" 대응표(오픈 중국 주력 모델 예시, 각 모델의 실제 GGUF 파일 크기로 확인):

3단계: 같은 VRAM에서 카드 선택

용량이 정해지면 같은 용량 카드의 차이는 주로 세 가지입니다:

메모리 대역폭 — 생성 속도(token/s)는 대역폭에 크게 의존합니다. 대역폭이 두 배인 카드는 같은 모델에서 거의 두 배 빠를 수 있습니다.

전력과 냉각 — 고전력 카드는 맞는 PSU와 케이스 airflow가 필요합니다. 24/7 운영에서는 전기와 소음이 실제 비용입니다.

중고·채굴 카드 리스크 — 중고 시장은 가성비가 있지만 메모리가 장시간 고온으로 동작한 카드는 고장 리스크가 높습니다. 로컬 추론은 긴 컨텍스트에서 메모리 압력이 지속되므로 안정성이 중요합니다.

4단계: 특수 케이스

macOS 통합 메모리: M 시리즈는 통합 메모리를 GPU가 직접 사용하며 양자화 모델 실행 커뮤니티 지원이 성숙합니다(mlx, Ollama). 이미 Mac을 쓴다면 적합하지만, 같은 가격의 외장 GPU보다 생성 속도가 보통 느리고 업그레이드가 불가능합니다.

멀티 GPU: llama.cpp는 레이어별로 카드에 분할하며 전용 인터커넥트가 필요 없습니다. 모델이 1장을 초과할 때(70B, 플래그십 MoE), 중급 카드 2장의 대용량 조합이 플래그십 1장보다 나을 수 있습니다.

순수 CPU: RAM이 충분하면 실행되지만 GPU보다 수십 배 느립니다. 파이프라인 검증이나 매우 작은 모델(0.3-4B)에만 적합합니다.

5단계: 세 가지 비용 모델

구매가 유일한 선택은 아닙니다. 한 가지 질문으로 분배합니다: 사용 패턴이 어떤가요?

판단 기준: 월간 클라우드 API 청구액이 대상 카드의 월 감가상각을 넘으면 로컬 구매가 성립하기 시작합니다. 전체 분석은 로컬 계산 비용 모델을 참조하세요.

FAQ

관련 글

• VRAM 계산 실전 — 수학적 세부 사항
• 로컬 배포 완전 플레이북 — 하드웨어 점검부터 워크플로 통합까지
• 로컬 계산 비용 모델 — 구매 vs 대여 vs API
• Qwen GGUF 로컬 배포 입문 — 배포 기초
• GGUF 양자화 도구 비교 — 양자화 등급 선택