ローカルLLMのためのGPU選びガイド：オープン中国モデルを自分のマシンで動かす
ローカルLLMのためのGPU選びガイド：オープン中国モデルを自分のマシンで動かす
Qwen、DeepSeek、GLM などのオープン中国モデルを自分のハードウェアで実行したいとき、最初の質問はほぼ間違いなく「どの GPU を買うべきか」です。しかしよくある誤解は、GPU の型番やベンチマークスコアばかり見ることです。ローカル推論で「動くかどうか、どのティアで動くか」を実際に決めるのは VRAM 容量です。型番が速度を決め、容量が可能性を決めます。このガイドでは実行可能な選定ロジックを提供します。まず VRAM を計算し、次にカードを選び、最後にマシン全体を構成します。
30 秒でわかる要点
VRAM が実行できるモデルの規模を決めます。8GB なら 7-8B の量子化版、16GB なら 14B または 27B の低量子化、24GB なら 27B のメインティア、48GB 以上で 70B クラスが快適に動きます。まず「モデル規模 × 量子化ティア」から重みサイズを計算し、KV cache とランタイムのオーバーヘッドを加えて目標 VRAM を出します。その後、同じ容量の中で予算と消費電力に応じてカードを選びます。
ステップ 1：目標 VRAM を計算する
カードを選ぶ前に 1 つの質問に答えます。どの規模のモデルを、どの量子化ティアで実行するか？ この 2 つのパラメータが重みサイズを決めます。
概算方法：パラメータ数 × パラメータあたりバイト数。ティアごとの経験的係数（モデルにより若干異なります。正確な値はモデルカード上の GGUF ファイルサイズを参照してください）：
| ティア | バイト/パラメータ（約） | 27B 重み（約） |
|---|---|---|
| Q8_0 | 1.05 | 28GB |
| Q6_K | 0.85 | 23GB |
| Q5_K_M | 0.72 | 19GB |
| Q4_K_M | 0.60 | 16GB |
| Q3_K_M | 0.48 | 13GB |
| Q2_K | 0.35 | 9.5GB |
Q4_K_M を基準にする理由
Q4_K_M はコミュニティで最も使われるティアです。FP16 の約 3 分の 1 のサイズで、多くのタスクで品質低下は許容範囲です。選定時は「主力ティア」として VRAM を見積もり、上方向（Q5/Q6/Q8）にアップグレード余地を残し、下方向（Q3/Q2）は VRAM が厳しいときのフォールバックとします。
さらに 2 つのコストを加えます。
KV cache — コンテキスト長に比例して増加し、長文脈デプロイの隠れた大きなコストです。正確な公式と測定方法は VRAM 計算実践 を参照してください。
ランタイムオーバーヘッド — CUDA コンテキスト、フレームワークキャッシュ、断片化。通常さらに 1-2GB。
例：Qwen3.8-27B を Q4_K_M で実行（重み約 16GB）+ 8K コンテキストの KV cache（約 1-2GB）+ オーバーヘッド 2GB ≈ 19-20GB。24GB のカードで快適に動きます。
ステップ 2：VRAM ティアで対応表を確認
「VRAM 容量 → 実行可能なモデル」の対応表（オープン中国主力モデルを例示、各モデルの実際の GGUF ファイルサイズで確認してください）：
| VRAM | 実行可能なモデル | 備考 |
|---|---|---|
| 8GB | 7-8B クラス Q4、0.3-4B 全ティア | 入門実験、エッジモデル、分類・抽出 |
| 12GB | 8-14B Q4、27B 高圧縮 | 軽量クリエイティブ、コーディング補助 |
| 16GB | 14B Q4/Q5、27B Q3 または部分オフロード | コスパの良いスイートスポット |
| 24GB | 27B Q4/Q5 快適、32B クラス Q4 | コンシューマーローカル推論の主流選択 |
| 32-48GB | 27B Q8、70B クラス Q4 部分オフロード、MoE に余裕 | 品質優先、より大きなモデル |
| 80GB+ / マルチ GPU | 70B-100B クラス、フラッグシップ MoE の実行可能な起点 | プライベートデプロイ、チーム共有 |
MoE モデルは全パラメータで重みを格納する
Qwen-AgentWorld-35B-A3B のような MoE モデルはトークンあたり約 3B パラメータしか活性化しないため、推論速度と計算需要は 3B モデルに近いですが、完全な重みは 35B 分のサイズを保持する必要があります。VRAM はアクティブパラメータではなく総パラメータで計画してください。これが MoE ローカルデプロイで最も一般的な誤解です。
ステップ 3：同じ VRAM でのカード選び
容量が決まれば、同容量のカードの差は主に 3 つです。
メモリ帯域幅。 生成速度（token/s）はメモリ帯域幅に大きく依存します。帯域幅が 2 倍のカードは同じモデルでほぼ 2 倍の速度を出せる場合があります。予算重視なら、大容量＋中帯域幅が小容量＋高帯域幅より実用的なことが多いです。
消費電力と冷却。 高電力カードには対応する電源とケースのエアフローが必要です。常時稼働の場合、電気代と騒音も現実のコストです。
中古・マイニング使用カードのリスク。 二次市場にはコスパがありますが、メモリが長時間高温で動作したカードは故障リスクが高くなります。ローカル推論はメモリの安定性に敏感です（長いコンテキストでメモリ圧力が継続します）。価格だけではなく使用環境と保証を優先しましょう。
GPU 以外にも予算計上するもの
- システム RAM：CPU オフロードやハイブリッド推論の場合、RAM がオフロードした重みを保持できる必要があります — 32GB 以上、27B 以上には 64GB を推奨
- 電源：システムピークの 30% 以上のマージンを確保
- ケースとエアフロー：長いカードのサイズとマルチカード間隔は見落とされがちです
- 電気代：常時稼働セットアップでは継続コストであり、一時的なものではありません
ステップ 4：特殊ケース
macOS ユニファイドメモリ。 Apple Silicon のユニファイドメモリは GPU が直接使用でき、量子化モデルを実行するコミュニティサポートは成熟しています（mlx エコシステム、Ollama ビルド）。すでに Mac を使っていてついでにローカルモデルも動かしたい場合に適しています。欠点は同価格のディスクリート GPU より生成速度が通常遅いこと、アップグレードパスがないことです。
マルチ GPU。 llama.cpp はレイヤーごとにカードへ分割でき、専用インターコネクトは不要です。モデルが 1 枚のカードを超える場合（70B クラス、フラッグシップ MoE）、中間クラス 2 枚の大容量組み合わせがフラッグシップ 1 枚よりコスパが良いことがあります — デプロイの複雑さと電力が代償です。
純 CPU。 十分な RAM があれば実行できますが、生成速度は通常 GPU の数十分の 1 です。パイプライン検証や非常に小さなモデル（0.3-4B クラス）のみに適し、日常使用には向きません。
ステップ 5：3 つのコストモデル
購入が唯一の選択肢ではありません。1 つの質問で振り分けます。あなたの利用パターンはどうなっていますか？
| モデル | 向いている | 特徴 |
|---|---|---|
| 購入（ローカル計算） | 高頻度、長期、機密データ | 一時的支出＋電気代。限界コストはゼロに近づく。データがマシン外に出ない |
| GPU レンタル | 短期実験、ピーク補完 | 時間課金。運用不要。検証と一時的スケールに適する |
| クラウド API | 低頻度、変動、フラッグシップ品質 | トークン課金。運用ゼロ。能力上限が高い |
判断基準はシンプルです。月間クラウド API 請求額がターゲットカードの月減価償却を超えたら、ローカル購入が成立し始めます。 3 方向コストモデルの全体と損益分岐点は、ローカル計算コストモデル を参照してください。まず「ローカルで中国モデルを動かす体験」を検証したいだけなら、クラウド API から始めるのが最も低コストな試行錯誤です。
FAQ
オープン中国モデルを実行する最安の入門構成は？
VRAM は計算能力より重要ですか？
27B モデルは 16GB のカードで動きますか？
MoE モデルは VRAM を節約できますか？
中古 GPU は購入価値がありますか？
電気代はコストにどう含めるか？
GPU の価格はいくつを参考に？
関連記事
- VRAM 計算実践 — この記事の数学的詳細
- ローカルデプロイ完全プレイブック — ハードウェアチェックからワークフロー統合まで
- ローカル計算コストモデル — 購入 vs レンタル vs API の比較
- Qwen GGUF ローカルデプロイ入門 — デプロイの基礎
- GGUF 量子化ツール比較 — 量子化ティアの選び方