Panduan Membeli GPU untuk LLM Tempatan

Jika anda ingin membeli perkakasan sendiri untuk menjalankan model terbuka China seperti Qwen, DeepSeek, GLM, soalan pertama hampir selalu "GPU apa yang patut dibeli". Tetapi ada salah faham biasa: hanya melihat nama siri GPU dan skor benchmark. Untuk inferens tempatan, yang benar-benar menentukan "boleh jalan atau tidak, pada tahap mana" adalah kapasiti VRAM — nama siri menentukan kelajuan, kapasiti menentukan kemungkinan.

Contoh pengiraan lengkap

Mari jalankan satu contoh dari awal hingga akhir. Katakan anda mahu menjalankan Qwen3.8-27B pada kuantisasi Q4_K_M untuk analisis dokumen dalaman, dengan konteks sehingga 16K token dan satu pengguna aktif.

Langkah 1 — kira pemberat: 27 bilion parameter × 0.6 bait/parameter = sekitar 16.2GB. Semak model card untuk saiz fail GGUF sebenar.

Langkah 2 — kira KV cache: pada konteks 16K, model kelas 27B biasanya memerlukan sekitar 2-4GB KV cache dalam FP16. Jika anda mengkuantisasi KV cache ke 8-bit, boleh turun sekitar separuh dengan sedikit penurunan kualiti.

Langkah 3 — tambah overhead: 2GB untuk konteks CUDA, cache framework, dan fragmentasi.

Jumlah: 16.2 + 3 + 2 = sekitar 21GB. Kad 24GB muat dengan margin tipis; kad 32GB atau lebih memberi ruang untuk dua pengguna serentak atau konteks lebih panjang.

Pelajaran dari contoh ini: perkataan "27B" sahaja tidak cukup untuk memilih kad. Konteks dan bilangan pengguna mengubah keperluan secara drastik.

Contoh lain: MoE yang nampak ringan tetapi tidak

Qwen-AgentWorld-35B-A3B sering disalah faham. Namanya menunjukkan 35B jumlah dan 3B aktif. Ramai orang menyangka "3B aktif bermakna VRAM kecil" — sebenarnya salah.

• Pemberat: disimpan penuh untuk 35B parameter. Pada Q4_K_M sekitar 21GB, pada Q5_K_M sekitar 25GB.
• Kelajuan: menyerupai model kelas 3B kerana hanya 3B dikira per token — inilah kelebihan MoE.
• KV cache: mengikut seni bina sebenar, bukan angka 3B atau 35B di nama.

Jadi untuk MoE: rancang VRAM berdasarkan jumlah parameter, tetapi harapkan kelajuan berdasarkan parameter aktif. Untuk menjalankan 35B-A3B dengan selesa, anda masih perlukan kad kelas 24-32GB — sama seperti model dense 35B, hanya lebih pantas.

RAM sistem dan offload

Jika VRAM tidak cukup untuk seluruh model, llama.cpp boleh meng-offload sebahagian layer ke RAM sistem. Ini berguna tetapi ada kosnya:

• RAM mesti cukup: jika model 16GB dan VRAM anda hanya 12GB, baki 4GB plus buffer mesti muat dalam RAM. Sediakan RAM minimum 32GB, idealnya 64GB.
• Kelajuan turun mendadak: setiap token yang dijana mesti melalui PCIe untuk data yang di-offload. Kelajuan boleh turun menjadi satu perempat atau satu perlima dari full-GPU.
• Peraturan praktikal: jika anda perlu meng-offload lebih dari separuh layer, lebih baik turunkan kuantisasi atau pilih model yang lebih kecil.

Offload adalah jaring keselamatan, bukan strategi utama.

Ringkasan pemilihan pantas

Langkah 1: Kira VRAM sasaran

Sebelum memilih kad, jawab satu soalan: model sebesar apa, pada tahap kuantisasi berapa? Dua parameter ini menentukan saiz pemberat.

Anggaran pantas: bilangan parameter × bait per parameter. Pekali per tahap (sedikit berbeza antara model, semak saiz fail GGUF sebenar pada model card):

Tambah dua kos lagi:

KV cache — naik linear dengan panjang konteks, kos tersembunyi terbesar dalam deploy konteks panjang. Formula penuh di Pengiraan VRAM praktikal.

Overhead runtime — konteks CUDA, cache framework, fragmentasi; biasanya tambah 1-2GB.

Contoh: Qwen3.8-27B pada Q4_K_M (pemberat ~16GB) + KV cache 8K (~1-2GB) + overhead 2GB ≈ 19-20GB — kad 24GB selesa.

Langkah 2: Padankan tahap VRAM

Jadual "VRAM → model yang boleh dijalankan" (contoh dari model terbuka China utama; sahkan dengan saiz fail GGUF sebenar):

Langkah 3: Pilih kad dengan VRAM sama

Selepas kapasiti ditentukan, kad dengan kapasiti sama berbeza pada tiga perkara:

Bandwidth memori — kelajuan penjanaan (token/saat) sangat bergantung pada bandwidth. Kad dengan bandwidth dua kali boleh hampir dua kali lebih pantas pada model yang sama.

Kuasa dan penyejukan — kad berkuasa tinggi perlukan PSU dan airflow yang sesuai. Operasi 24/7, elektrik dan bunyi adalah kos sebenar.

Risiko kad terpakai — pasaran terpakai ada nilai, tetapi kad dengan memori yang lama beroperasi panas ada risiko kerosakan lebih tinggi.

Langkah 4: Kes khas

macOS unified memory: cip M-series menggunakan unified memory untuk GPU dengan sokongan komuniti yang matang (mlx, Ollama). Sesuai jika sudah menggunakan Mac; kelemahannya kelajuan penjanaan biasanya lebih perlahan dari GPU diskret seharga sama dan tidak boleh dinaik taraf.

Multi-GPU: llama.cpp membahagi model per layer antara kad tanpa interconnect khas. Apabila model melebihi 1 kad (70B, flagship MoE), 2 kad kelas pertengahan boleh lebih berbaloi dari 1 flagship.

CPU tulen: boleh jalan dengan RAM cukup tetapi puluhan kali lebih perlahan dari GPU. Hanya untuk pengesahan pipeline atau model sangat kecil (0.3-4B). Untuk penggunaan harian, CPU tulen tidak praktikal kecuali anda menjalankan model yang sangat kecil dengan volum rendah, seperti klasifikasi dokumen, pengekstrakan entiti, atau pengujian format output sebelum beralih ke GPU.

Langkah 5: Tiga model kos

Membeli bukan satu-satunya pilihan. Bahagi dengan satu soalan: bagaimana corak penggunaan anda?

Kriteria: apabila bil API bulanan melebihi susut nilai bulanan kad sasaran, pembelian tempatan mula berbaloi. Lihat Model kos pengiraan tempatan untuk analisis penuh.

FAQ

Bacaan berkaitan

• Pengiraan VRAM praktikal — butiran matematik
• Playbook deploy tempatan lengkap — dari semak perkakasan hingga integrasi workflow
• Model kos pengiraan tempatan — bandingkan tiga pilihan
• Qwen GGUF asas — asas deploy
• Perbandingan alat kuantisasi GGUF — cara memilih tahap kuantisasi