Gabay sa Pagbili ng GPU para sa Lokal na LLM

Kung gusto mong bumili ng sariling hardware para patakbuhin ang mga bukas na modelo ng China tulad ng Qwen, DeepSeek, GLM, ang unang tanong ay halos palaging "anong GPU ang dapat bilhin." Ngunit may karaniwang maling akala: pagtingin lamang sa pangalan ng GPU at benchmark scores. Para sa lokal na inference, ang tunay na tumutukoy sa "kaya bang patakbuhin, sa anong antas" ay kapasidad ng VRAM — ang pangalan ng modelo ang tumutukoy sa bilis, ang kapasidad ang tumutukoy sa posibilidad.

Kumpletong halimbawa ng pagkalkula

Isagawa natin ang isang halimbawa mula simula hanggang dulo. Ipagpalagay na gusto mong patakbuhin ang Qwen3.8-27B sa Q4_K_M para sa panloob na pagsusuri ng dokumento, na may context hanggang 16K token at isang aktibong user.

Hakbang 1 — kalkulahin ang weights: 27 bilyong parameter × 0.6 byte/parameter = humigit-kumulang 16.2GB. Tingnan ang model card para sa aktwal na laki ng GGUF file.

Hakbang 2 — kalkulahin ang KV cache: sa 16K context, ang 27B class na modelo ay karaniwang nangangailangan ng humigit-kumulang 2-4GB KV cache sa FP16. Kung i-quantize ang KV cache sa 8-bit, maaaring bumaba ng kalahati na may maliit na pagbaba ng kalidad.

Hakbang 3 — idagdag ang overhead: 2GB para sa CUDA context, framework cache, at fragmentation.

Kabuuan: 16.2 + 3 + 2 = humigit-kumulang 21GB. Kasya sa 24GB card na may manipis na margin; ang 32GB o higit pa ay nagbibigay ng espasyo para sa dalawang sabay na user o mas mahabang context.

Aral mula sa halimbawang ito: ang salitang "27B" lamang ay hindi sapat para pumili ng card. Ang context at bilang ng user ay lubos na nagbabago ng pangangailangan.

RAM at offload

Kung hindi kasya ang buong modelo sa VRAM, maaaring i-offload ng llama.cpp ang ilang layer sa system RAM. Kapaki-pakinabang ito ngunit may halaga:

• Dapat sapat ang RAM: kung 16GB ang modelo at 12GB lang ang VRAM, ang natitirang 4GB at buffer ay dapat kasya sa RAM. Maglaan ng minimum 32GB, ideyal na 64GB.
• Bumabagsak ang bilis: bawat token ay dapat dumaan sa PCIe para sa naka-offload na data. Maaaring bumaba ang bilis sa isang-kapat o isang-kalima ng full-GPU.
• Praktikal na tuntunin: kung kailangan mong i-offload ang higit sa kalahati ng mga layer, mas mabuting ibaba ang quantization o pumili ng mas maliit na modelo.

Ang offload ay safety net, hindi pangunahing estratehiya.

Hakbang 1: Kalkulahin ang target na VRAM

Bago pumili ng card, sagutin ang isang tanong: gaano kalaking modelo, sa anong antas ng quantization? Ang dalawang parameter na ito ang tumutukoy sa laki ng weights.

Mabilis na pagtatantya: bilang ng parameter × byte per parameter. Koepisyent bawat antas (medyo nagkakaiba sa bawat modelo, tingnan ang aktwal na laki ng GGUF file sa model card):

Magdagdag ng dalawang gastos:

KV cache — lumalaki nang linear sa haba ng context, ang nakatagong malaking gastos sa long-context deployment. Ang buong formula ay nasa Praktikal na pagkalkula ng VRAM.

Runtime overhead — CUDA context, framework cache, fragmentation; karaniwang dagdag na 1-2GB.

Halimbawa: Qwen3.8-27B sa Q4_K_M (weights ~16GB) + KV cache 8K (~1-2GB) + overhead 2GB ≈ 19-20GB — komportable sa 24GB card.

Hakbang 2: Itugma ang antas ng VRAM

Talahanayan ng "VRAM → kayang patakbuhin" (halimbawa mula sa mga pangunahing bukas na modelo ng China; i-verify sa aktwal na laki ng GGUF file):

Hakbang 3: Pumili ng card sa parehong VRAM

Kapag natukoy na ang kapasidad, ang mga card na may parehong kapasidad ay nagkakaiba sa tatlong bagay:

Memory bandwidth — ang bilis ng generation (token/segundo) ay lubos na umaasa sa bandwidth. Ang card na may doble ang bandwidth ay maaaring halos doble ang bilis sa parehong modelo.

Power at cooling — ang mataas na power na card ay nangangailangan ng tugmang PSU at airflow. Sa 24/7 na operasyon, ang kuryente at ingay ay tunay na gastos.

Panganib ng segunda-manong card — may halaga ang segunda-manong merkado, ngunit ang card na matagal na umandar nang mainit ang memory ay may mas mataas na panganib ng sira.

Hakbang 4: Mga espesyal na kaso

macOS unified memory: ang M-series chips ay gumagamit ng unified memory para sa GPU na may mature na suporta ng komunidad (mlx, Ollama). Bagay kung gumagamit ka na ng Mac; ang kahinaan ay kadalasang mas mabagal kaysa discrete GPU sa parehong presyo at hindi ma-upgrade.

Multi-GPU: hinahati ng llama.cpp ang modelo ayon sa layer sa mga card nang walang espesyal na interconnect. Kapag lumampas ang modelo sa 1 card (70B, flagship MoE), ang 2 mid-tier card na pinagsama ay maaaring mas mahusay kaysa 1 flagship.

Purong CPU: tumatakbo sa sapat na RAM ngunit sampu-sampung beses na mas mabagal kaysa GPU. Para lamang sa pipeline verification o napakaliit na modelo (0.3-4B).

Hakbang 5: Tatlong cost model

Ang pagbili ay hindi lamang ang opsyon. Hatiin sa isang tanong: ano ang pattern ng iyong paggamit?

Pamantayan: kapag ang buwanang API bill ay lumampas sa buwanang depreciation ng target na card, nagsisimulang makatwiran ang lokal na pagbili. Tingnan ang Modelo ng gastos ng lokal na compute para sa buong pagsusuri.

FAQ

Kaugnay na babasahin

• Praktikal na pagkalkula ng VRAM — detalyadong matematika
• Kumpletong lokal na deployment playbook — mula hardware check hanggang workflow integration
• Modelo ng gastos ng lokal na compute — ihambing ang tatlong opsyon
• Qwen GGUF panimula — mga batayan ng deployment
• Paghahambing ng GGUF quantizer — paano pumili ng antas