Hướng dẫn chọn GPU cho LLM cục bộ: Chạy mô hình Trung Quốc mở trên máy của bạn
Hướng dẫn chọn GPU cho LLM cục bộ
Nếu bạn muốn tự mua phần cứng để chạy các mô hình Trung Quốc mở như Qwen, DeepSeek, GLM, câu hỏi đầu tiên hầu như luôn là "nên mua GPU nào". Nhưng có một quan niệm sai lầm phổ biến: nhìn vào tên GPU và bảng điểm benchmark. Đối với suy luận cục bộ, thứ quyết định "chạy được hay không, chạy ở tầng nào" là dung lượng VRAM — tên model quyết định tốc độ, dung lượng quyết định khả năng.
Bản tóm tắt 30 giây
VRAM quyết định quy mô model bạn có thể chạy: 8GB chạy model 7-8B lượng tử hóa, 16GB chạy 14B hoặc 27B lượng tử hóa thấp, 24GB chạy 27B tầng phổ thông, 48GB+ là nơi model 70B trở lên hoạt động thoải mái. Bắt đầu bằng cách ước tính kích thước trọng số từ quy mô model và tầng lượng tử hóa, thêm KV cache và chi phí vận hành để có VRAM mục tiêu, rồi mới chọn card.
Bước 1: Tính VRAM mục tiêu
Trước khi chọn card, trả lời một câu hỏi: Bạn cần chạy model lớn bao nhiêu, ở tầng lượng tử hóa nào? Hai tham số này quyết định kích thước trọng số.
Ước tính nhanh: số tham số × byte mỗi tham số. Hệ số theo tầng (chênh lệch nhẹ giữa các model; giá trị chính xác xem kích thước file GGUF trên model card):
| Tầng | Byte/tham số | 27B trọng số |
|---|---|---|
| Q8_0 | 1.05 | 28GB |
| Q6_K | 0.85 | 23GB |
| Q5_K_M | 0.72 | 19GB |
| Q4_K_M | 0.60 | 16GB |
| Q3_K_M | 0.48 | 13GB |
| Q2_K | 0.35 | 9.5GB |
Tại sao Q4_K_M là chuẩn
Q4_K_M là tầng được cộng đồng dùng nhiều nhất: khoảng một phần ba kích thước FP16, chất lượng chấp nhận được trên hầu hết tác vụ. Dùng nó làm "tầng chính" khi ước tính VRAM, chừa dư địa lên (Q5/Q6/Q8), và coi tầng thấp hơn (Q3/Q2) là phương án dự phòng khi VRAM thiếu.
Sau đó cộng thêm hai chi phí:
KV cache — tăng tuyến tính theo độ dài ngữ cảnh, là khoản ẩn lớn trong triển khai ngữ cảnh dài. Công thức chính xác trong Hướng dẫn tính VRAM.
Chi phí vận hành — CUDA context, cache framework, phân mảnh; thường cộng thêm 1-2GB.
Ví dụ: Qwen3.8-27B ở Q4_K_M (trọng số ~16GB) + KV cache 8K (~1-2GB) + chi phí 2GB ≈ 19-20GB — card 24GB chạy thoải mái.
Bước 2: Đối chiếu tầng VRAM
Bảng "VRAM → model có thể chạy" (ví dụ từ các model Trung Quốc mở chính; xác nhận theo file GGUF thực tế):
| VRAM | Model chạy được | Ghi chú |
|---|---|---|
| 8GB | 7-8B Q4; 0.3-4B mọi tầng | Thử nghiệm, model biên, phân loại |
| 12GB | 8-14B Q4; 27B nén cao | Hỗ trợ sáng tạo, bổ trợ code |
| 16GB | 14B Q4/Q5; 27B Q3 hoặc offload một phần | Điểm ngọt về giá trị |
| 24GB | 27B Q4/Q5 thoải mái; 32B Q4 | Lựa chọn phổ thông cho suy luận cục bộ |
| 32-48GB | 27B Q8; 70B Q4 offload một phần; MoE dư dả | Ưu tiên chất lượng |
| 80GB+ / đa GPU | 70B-100B; điểm bắt đầu cho flagship MoE | Triển khai riêng tư, dùng chung nhóm |
MoE lưu trọng số theo TỔNG tham số
Model MoE như Qwen-AgentWorld-35B-A3B chỉ kích hoạt khoảng 3B tham số mỗi token, nên tốc độ và nhu cầu tính toán giống model 3B — nhưng toàn bộ trọng số vẫn chiếm kích thước 35B. VRAM phải tính theo tổng tham số, không phải tham số kích hoạt. Đây là sai lầm phổ biến nhất khi triển khai MoE cục bộ.
Bước 3: Chọn card cùng dung lượng VRAM
Sau khi xác định dung lượng, các card cùng dung lượng khác nhau chủ yếu ở ba điểm:
Băng thông bộ nhớ. Tốc độ sinh (token/giây) phụ thuộc nhiều vào băng thông VRAM — card có băng thông gấp đôi có thể nhanh gần gấp đôi trên cùng model. Khi giới hạn ngân sách, dung lượng lớn + băng thông trung bình thường thực dụng hơn dung lượng nhỏ + băng thông cao.
Điện năng và tản nhiệt. Card công suất cao cần PSU và luồng khí phù hợp; chạy 24/7 thì điện và tiếng ồn là chi phí thực.
Card cũ và card mining. Thị trường second-hand có giá trị, nhưng card có bộ nhớ chạy nóng lâu dài có rủi ro hỏng cao hơn. Suy luận cục bộ nhạy cảm với độ ổn định bộ nhớ (ngữ cảnh dài gây áp lực liên tục) — ưu tiên bảo hành và môi trường sử dụng thay vì chỉ giá.
Không chỉ GPU — dự trù những thứ này
- RAM hệ thống: nếu offload CPU, RAM phải chứa các lớp được offload — 32GB tối thiểu, 64GB khuyến nghị cho 27B+
- PSU: chừa 30%+ trên mức tiêu thụ đỉnh
- Vỏ case: kích thước card dài và khoảng cách đa card thường bị bỏ qua
- Điện: chạy 24/7 là chi phí liên tục
Bước 4: Các trường hợp đặc biệt
macOS unified memory: M-series dùng unified memory cho GPU, cộng đồng hỗ trợ chạy model lượng tử hóa đã trưởng thành (mlx, Ollama). Phù hợp nếu đã dùng Mac; nhược điểm là tốc độ sinh chậm hơn GPU cùng giá, không nâng cấp được.
Đa GPU: llama.cpp chia model theo lớp qua nhiều card, không cần interconnect chuyên dụng. Khi model vượt 1 card (70B, flagship MoE), 2 card tầm trung gộp lại có thể tốt hơn 1 flagship — đánh đổi độ phức tạp và điện năng.
Thuần CPU: Chạy được với đủ RAM nhưng chậm gấp chục lần GPU. Chỉ dùng để kiểm tra pipeline hoặc model rất nhỏ (0.3-4B).
Bước 5: Ba mô hình chi phí
Mua không phải lựa chọn duy nhất. Phân loại bằng một câu hỏi: Mô hình sử dụng của bạn như thế nào?
| Mô hình | Phù hợp | Đặc điểm |
|---|---|---|
| Mua (tính toán cục bộ) | Tần suất cao, dài hạn, dữ liệu nhạy cảm | Đầu tư một lần + điện; chi phí biên tiến về 0 |
| Thuê GPU | Thử nghiệm ngắn, bổ sung đỉnh | Tính theo giờ; không cần vận hành |
| API đám mây | Tần suất thấp, biến động, cần chất lượng cao | Tính theo token; không cần vận hành |
Tiêu chí đơn giản: Khi hóa đơn API hàng tháng vượt khấu hao tháng của card mục tiêu, mua card bắt đầu hợp lý. Xem Mô hình chi phí tính toán cục bộ để có phân tích đầy đủ.
FAQ
Cấu hình rẻ nhất để chạy model Trung Quốc mở?
VRAM quan trọng hơn sức mạnh tính toán?
Model 27B chạy trên card 16GB được không?
Model MoE có tiết kiệm VRAM không?
Mua card cũ có đáng không?
Tính điện thế nào?
Bài viết liên quan
- Hướng dẫn tính VRAM — phần toán chi tiết
- Sổ tay triển khai cục bộ đầy đủ — từ kiểm tra phần cứng đến tích hợp
- Mô hình chi phí tính toán cục bộ — so sánh ba phương án
- Qwen GGUF cơ bản — kiến thức triển khai cơ bản
- So sánh công cụ lượng tử hóa GGUF — cách chọn tầng lượng tử hóa