Panduan Membeli GPU untuk LLM Lokal

Jika Anda ingin membeli perangkat keras sendiri untuk menjalankan model Tiongkok terbuka seperti Qwen, DeepSeek, GLM, pertanyaan pertama hampir selalu "GPU apa yang harus dibeli". Namun ada kesalahpahaman umum: hanya melihat nama seri GPU dan skor benchmark. Untuk inferensi lokal, yang benar-benar menentukan "bisa jalan atau tidak, di tingkat mana" adalah kapasitas VRAM — nama seri menentukan kecepatan, kapasitas menentukan kemungkinan.

Contoh perhitungan lengkap

Mari jalankan satu contoh dari awal hingga akhir. Misalkan Anda ingin menjalankan Qwen3.8-27B pada kuantisasi Q4_K_M untuk analisis dokumen internal, dengan konteks hingga 16K token dan satu pengguna aktif.

Langkah 1 — hitung bobot: 27 miliar parameter × 0.6 byte/parameter = sekitar 16.2GB. Cek model card untuk ukuran file GGUF sebenarnya.

Langkah 2 — hitung KV cache: pada 16K konteks, model kelas 27B biasanya membutuhkan sekitar 2-4GB KV cache dalam FP16. Jika Anda mengkuantisasi KV cache ke 8-bit, bisa turun sekitar setengahnya dengan sedikit penurunan kualitas.

Langkah 3 — tambahkan overhead: 2GB untuk konteks CUDA, cache framework, dan fragmentasi.

Total: 16.2 + 3 + 2 = sekitar 21GB. Kartu 24GB muat dengan margin tipis; kartu 32GB atau lebih memberi ruang untuk dua pengguna bersamaan atau konteks lebih panjang.

Pelajaran dari contoh ini: kata "27B" saja tidak cukup untuk memilih kartu. Konteks dan jumlah pengguna mengubah kebutuhan secara drastis.

Contoh lain: MoE yang tampak ringan tapi tidak

Qwen-AgentWorld-35B-A3B sering disalahpahami. Namanya menunjukkan 35B total dan 3B aktif. Banyak orang mengira "3B aktif berarti VRAM kecil" — padahal salah.

• Bobot: disimpan lengkap untuk 35B parameter. Pada Q4_K_M sekitar 21GB, pada Q5_K_M sekitar 25GB.
• Kecepatan: mirip model 3B kelas karena hanya 3B yang dihitung per token — inilah keunggulan MoE.
• KV cache: mengikuti arsitektur aktual, bukan angka 3B atau 35B di nama.

Jadi untuk MoE: rencanakan VRAM berdasarkan total parameter, tapi harapkan kecepatan berdasarkan parameter aktif. Untuk menjalankan 35B-A3B dengan nyaman, Anda tetap butuh kartu kelas 24-32GB — persis seperti model dense 35B, hanya lebih cepat.

RAM sistem dan offload

Jika VRAM tidak cukup untuk seluruh model, llama.cpp dapat meng-offload sebagian layer ke RAM sistem. Ini berguna tapi ada biayanya:

• RAM harus cukup: jika model 16GB dan VRAM Anda hanya 12GB, sisa 4GB plus buffer harus muat di RAM. Sediakan RAM minimal 32GB, idealnya 64GB.
• Kecepatan turun tajam: setiap token yang dihasilkan harus melewati PCIe untuk data yang di-offload. Kecepatan bisa turun menjadi seperempat atau seperlima dari full-GPU.
• Aturan praktis: jika Anda perlu meng-offload lebih dari setengah layer, lebih baik turunkan kuantisasi atau pilih model yang lebih kecil.

Offload adalah jaring pengaman, bukan strategi utama.

Ringkasan pemilihan cepat

Langkah 1: Hitung VRAM target

Sebelum memilih kartu, jawab satu pertanyaan: model sebesar apa, di tingkat kuantisasi berapa? Dua parameter ini menentukan ukuran bobot.

Estimasi cepat: jumlah parameter × byte per parameter. Koefisien per tingkat (sedikit berbeda antar model, cek ukuran file GGUF sebenarnya di model card):

Tambahkan dua biaya lagi:

KV cache — naik linear dengan panjang konteks, biaya tersembunyi terbesar dalam deploy konteks panjang. Rumus lengkap di Perhitungan VRAM praktis.

Overhead runtime — konteks CUDA, cache framework, fragmentasi; biasanya tambah 1-2GB.

Contoh: Qwen3.8-27B di Q4_K_M (bobot ~16GB) + KV cache 8K (~1-2GB) + overhead 2GB ≈ 19-20GB — kartu 24GB nyaman.

Langkah 2: Cocokkan tingkat VRAM

Tabel "VRAM → model yang bisa dijalankan" (contoh dari model Tiongkok terbuka utama; verifikasi dengan ukuran file GGUF aktual):

Langkah 3: Pilih kartu dengan VRAM sama

Setelah kapasitas ditentukan, kartu dengan kapasitas sama berbeda di tiga hal:

Bandwidth memori — kecepatan generasi (token/detik) sangat bergantung pada bandwidth. Kartu dengan bandwidth dua kali bisa hampir dua kali lebih cepat pada model yang sama.

Daya dan pendinginan — kartu berdaya tinggi butuh PSU dan airflow yang sesuai. Operasi 24/7, listrik dan kebisingan adalah biaya nyata.

Risiko kartu bekas — pasar bekas punya nilai, tapi kartu dengan memori yang lama beroperasi panas punya risiko kerusakan lebih tinggi.

Langkah 4: Kasus khusus

macOS unified memory: chip M-series menggunakan unified memory untuk GPU dengan dukungan komunitas yang matang (mlx, Ollama). Cocok jika sudah memakai Mac; kelemahannya kecepatan generasi biasanya lebih lambat dari GPU diskret seharga sama dan tidak bisa diupgrade.

Multi-GPU: llama.cpp membagi model per layer antar kartu tanpa interconnect khusus. Saat model melebihi 1 kartu (70B, flagship MoE), 2 kartu kelas menengah bisa lebih hemat dari 1 flagship.

CPU murni: bisa jalan dengan RAM cukup tapi puluhan kali lebih lambat dari GPU. Hanya untuk verifikasi pipeline atau model sangat kecil (0.3-4B). Untuk penggunaan sehari-hari, CPU murni tidak praktis kecuali Anda menjalankan model yang sangat kecil dengan volume rendah, seperti klasifikasi dokumen, ekstraksi entitas, atau pengujian format output sebelum mengalihkan ke GPU.

Langkah 5: Tiga model biaya

Membeli bukan satu-satunya pilihan. Bagi dengan satu pertanyaan: bagaimana pola penggunaan Anda?

Kriteria: saat tagihan API bulanan melebihi depresiasi bulanan kartu target, pembelian lokal mulai masuk akal. Lihat Model biaya komputasi lokal untuk analisis lengkap.

FAQ

Bacaan terkait

• Perhitungan VRAM praktis — detail matematika
• Playbook deploy lokal lengkap — dari cek hardware hingga integrasi workflow
• Model biaya komputasi lokal — bandingkan tiga opsi
• Qwen GGUF dasar — dasar deploy
• Perbandingan alat kuantisasi GGUF — cara memilih tingkat kuantisasi