本地算力硬件选购指南：买显卡跑国产开源模型，显存该怎么算
本地算力硬件选购指南：买显卡跑国产开源模型，显存该怎么算
想自己买一套本地算力跑 Qwen、DeepSeek、GLM 这些国产开源模型，第一个问题几乎都是「买什么显卡」。这里有个常见误区：盯着显卡型号和跑分榜单看。做本地推理，真正决定「能不能跑、跑哪个档位」的是显存容量——型号决定速度，容量决定可能性。这篇指南给你一套可执行的选购逻辑：先算显存，再选卡，最后配主机。
30 秒版本
显存决定能跑多大的模型：8GB 跑 7-8B 量化版、16GB 跑 14B 或 27B 低量化、24GB 跑 27B 主流档、48GB+ 才能舒服跑 70B 级别。先按「模型规模 × 量化档位」算权重体积，再加上 KV cache 和运行开销，得到你的目标显存；然后再去挑卡——同显存下按预算和功耗选。
第一步：算清你的目标显存
选卡之前先回答一个问题：你要跑多大的模型、什么量化档位？ 这两个参数决定了权重体积。
权重体积的快速估算法：参数量 × 每参数字节数。不同量化档位的字节系数大致如下（不同模型略有差异，精确值以模型卡上 GGUF 文件大小为参考）：
| 量化档位 | 字节/参数（约） | 27B 模型权重体积（约） |
|---|---|---|
| Q8_0 | 1.05 | 28GB |
| Q6_K | 0.85 | 23GB |
| Q5_K_M | 0.72 | 19GB |
| Q4_K_M | 0.60 | 16GB |
| Q3_K_M | 0.48 | 13GB |
| Q2_K | 0.35 | 9.5GB |
为什么用 Q4_K_M 做基准
Q4_K_M 是社区最常用的档位：体积约为 FP16 的三分之一，质量损失在多数任务上可接受。选购时以它为「主力档位」估算显存，再往上（Q5/Q6/Q8）留升级空间，往下（Q3/Q2）作为显存不够时的降级选项。
然后加上两笔开销：
KV cache——随上下文长度线性增长，是长上下文部署的隐性成本大头。精确公式和各档实测方法见显存计算实战。
运行开销——CUDA 上下文、框架缓存、碎片化，通常再留 1-2GB。
例如跑 Qwen3.8-27B 的 Q4_K_M（权重约 16GB）+ 8K 上下文 KV cache（约 1-2GB）+ 开销 2GB ≈ 19-20GB，一张 24GB 卡就能比较舒服地跑。
第二步：按显存档位对号入座
以下是按「显存容量 → 典型可跑模型」的对照（模型以国产开源主力为例，具体以各模型 GGUF 实际文件大小为参考）：
| 显存 | 典型可跑 | 说明 |
|---|---|---|
| 8GB | 7-8B 级 Q4；0.3-4B 全档位 | 入门实验、端侧小模型、分类/提取任务 |
| 12GB | 8-14B Q4；27B 高压缩档 | 轻量创作、代码补全辅助 |
| 16GB | 14B Q4/Q5；27B Q3 或部分卸载 | 性价比甜点之一，多数轻中度任务 |
| 24GB | 27B Q4/Q5 较舒服；32B 级 Q4 | 消费级本地推理的主流选择 |
| 32-48GB | 27B Q8；70B 级 Q4 部分卸载；MoE 模型更从容 | 质量优先、或跑更大的开源模型 |
| 80GB+ / 多卡 | 70B-100B 级；旗舰 MoE 的可行起点 | 私有化部署、团队共用 |
MoE 模型要看「总参数」存权重
Qwen-AgentWorld-35B-A3B 这类 MoE 模型，每 token 只激活约 3B 参数，推理速度和算力需求接近 3B 模型，但完整权重仍要存下 35B 的体积——显存需求按总参数量算，不能按激活量算。这是 MoE 本地部署最常见的认知误区。
第三步：同显存下的选卡逻辑
显存容量确定后，同容量卡的差异主要在三处：
带宽。 推理的生成速度（token/s）高度依赖显存带宽——同一模型，带宽翻倍的卡生成速度可能接近翻倍。预算敏感时，大容量 + 中等带宽往往比小容量 + 高带宽更实用。
功耗与散热。 高功耗卡需要匹配的电源和机箱风道；长期 7×24 运行的场景，电费和噪音也是真实成本。
二手与矿卡风险。 二手市场有性价比，但显存颗粒长期高温运行的卡故障风险更高。本地推理对显存稳定性敏感（跑长上下文时显存压力持续），选购二手时优先看使用环境和保修，而不是只看价格。
不只看显卡：这些也要算
- 系统内存：纯 CPU 卸载或混合推理时，内存要能装下卸载的权重——32GB 起步，跑 27B 以上建议 64GB
- 电源：按整机峰值功耗留 30% 以上余量
- 机箱与风道：长卡尺寸、多卡间距常被忽略
- 电费：高功耗卡长期开机的电费是持续支出，不是一次性成本
第四步：几类特殊情况的选择
macOS 统一内存。 Apple Silicon 的统一内存可以被 GPU 直接使用，M 系列设备跑量化模型的社区支持成熟（mlx 生态、Ollama 都有对应版本）。适合已经在用 Mac、想顺便跑本地模型的场景；缺点是生成速度通常不如同价位独显，且不能像独显那样升级。
多卡。 llama.cpp 支持按层切分到多张卡，不需要专业互联。当你需要跑超过单卡显存的模型（如 70B 级、旗舰 MoE）时，两张中端卡的大容量组合可能比一张旗舰卡更划算——代价是部署复杂度和功耗上升。
纯 CPU。 有内存就能跑，但生成速度通常是 GPU 的几十分之一。只适合验证流程、或模型很小（如 0.3-4B 级）的场景，不适合日常使用。
第五步：买之前，先想清楚这三种成本模型
买卡不是唯一选择，先用一个问题分流：你的调用模式是什么样？
| 模式 | 适合 | 特点 |
|---|---|---|
| 买卡（本地算力） | 高频、长期、数据敏感 | 一次性投入 + 电费；边际成本趋零；数据不出机 |
| 租 GPU | 短期实验、峰值补充 | 按小时计费；不用运维；适合验证和临时扩量 |
| 云端 API | 低频、波动、要旗舰质量 | 按 token 计费；零运维；能力上限高 |
判断标准很简单：如果月调用量摊到云端 API 的账单已经超过一张目标显卡的月折旧，本地买卡才开始成立。具体的三方成本模型和盈亏平衡点，见本地算力成本模型。如果只是想先验证「本地跑国产模型是什么体验」，从云端 API 起步是最低成本的试错方式。
FAQ
跑国产开源模型，最便宜的入门配置是什么？
显存比算力更重要吗？
27B 模型在 16GB 显卡上能跑吗？
MoE 模型是不是更省显存？
二手显卡值得买吗？
电费该怎么算进成本？
显卡价格参考多少？
相关阅读
- 显存计算实战：模型规模 × 量化 → 显存需求 — 本文的数学部分详解
- 本地部署完整手册 — 从硬件检查到接入工作流
- 本地算力成本模型：买卡、租 GPU 还是用 API — 三方成本对比
- Qwen GGUF 本地部署入门 — 部署通识
- GGUF 量化器对比与选型 — 量化档位怎么挑