Pasang Kimi K3 Open-Weight pada Mesin Sendiri: Ambang Pengkomputeran, Pilihan Quantization, dan Laluan Alternatif

Kimi K3 dilancarkan 16 Julai 2026 dengan weights penuh dibuka 27 Julai — model open-weight terbesar pernah dikeluarkan: 2.8 trilion parameter keseluruhan dalam seni bina mixture-of-experts yang mengaktifkan kira-kira 104 bilion setiap langkah pengiraan. Open-weight bermakna anda boleh menjalankannya sepenuhnya luar talian — tetapi luruskan jangkaan dahulu: ini model kelas berat, dan hos-sendiri ialah projek pengkomputeran sebenar, bukan sesuatu yang santai dijalankan pada satu GPU pengguna.

Anggarkan VRAM sebelum memuat turun

Langkah pertama bukan memuat turun, sebaliknya mengira. VRAM ada tiga komponen:

Jumlah VRAM ≈ weights + KV cache + overhead masa jalan

Sebutan weights = bilangan parameter × bait per parameter. Peringkat quantization menentukan bait per parameter:

Ini penerapan terus formula awam ke atas 2.8T parameter; saiz fail sebenar bergantung pada implementasi GGUF dan cara pembungkusan, jadi ikut halaman muat turun. Kesimpulannya terus terang: walaupun pada Q4, sebutan weights masih kelas TB; kad tunggal 24GB / 48GB tidak memuatnya — perlu pelayan berbilang GPU, mesin unified-memory kelas TB, atau terus ke awan.

Sebutan KV cache berkadar dengan panjang konteks dan saiz kelompok. Konteks 1 juta token milik K3 ialah kekuatan, tetapi penggunaan KV cache konteks panjang turut besar — sediakan ruang yang mencukupi.

Sebutan overhead merangkumi rangka kerja inferens, pengaktifan, penimbal sementara; lazimnya 10–20% daripada sebutan weights.

Kekhasan MoE yang mempengaruhi pemasangan

Seni bina MoE K3 membawa satu implikasi penting yang kerap tersalah kira:

Seluruh 2.8T parameter mesti kekal dalam VRAM; 104B yang aktif mempengaruhi kelajuan pengiraan, bukan penggunaan memori. MoE menjimatkan pengiraan dengan menghantar setiap token melalui sebahagian pakar, tetapi weights semua pakar mesti bersedia dalam memori — anda tidak tahu pakar mana yang akan dituju token seterusnya. Jadi memori dikira dari 2.8T, bukan 104B.

Yang benar-benar dijimatkan MoE ialah pengiraan per token (104B aktif setara kos model padat 104B), ertinya pada mesin dengan memori mencukupi kelajuan inferens jauh lebih tinggi berbanding model padat bersaiz sama. Jangkaan yang tepat: ini model untuk mesin memori kelas TB, namun sekali berjalan ia tidak lambat.

Memilih peringkat quantization

Quantization menukar memori dengan kualiti, dengan hukum umum:

• Q8: kehilangan kualiti paling kecil, memori paling besar. Pilihan bila memori berlebihan.
• Q4: peringkat paling berbaloi, kehilangan kualiti terkawal, memori separuh. Lalai bagi kebanyakan hos-sendiri.
• Q2 dan ke bawah: satu tangga lebih jimat tetapi kehilangan kualiti jelas; sesuai untuk uji kaji atau tugasan yang tidak menuntut kualiti tinggi.

K3 berada pada kelas 2.8T; walaupun Q4 masih kelas TB — pada skala ini faedah "menekan satu tangga lagi untuk menjimatkan ratusan GB" adalah nyata, tetapi kos kualiti Q2 juga nyata. Sebelum memilih, main semula satu pusingan set prompt perniagaan sebenar pada setiap peringkat lalu putuskan berdasarkan hasil, bukan perasaan.

Empat laluan bila pengkomputeran tidak mencukupi

Secara jujur: pasukan yang mampu hos-sendiri model 2.8T jumlahnya kecil. Bila perkakasan tidak mencukupi:

Laluan satu — API awan (kimi-k3 di EXAIV). Tidak mengurus GPU, bil per token, garis model sama dengan versi terbuka. Tepat untuk kebanyakan pasukan: buktikan model sesuai dengan beban kerja di awan dahulu, kemudian nilai sama ada perlu membina sendiri.

Laluan dua — model keluarga Kimi yang lebih kecil. Organisasi moonshotai mempunyai beberapa open-weight lebih ringan, contohnya Kimi-Linear-48B-A3B (MoE linear-attention) pada 48B parameter keseluruhan: mesin dua GPU 48GB atau unified-memory spesifikasi tinggi boleh menjalankannya. Keupayaan di bawah flagshim K3, tetapi ambang pemasangan lebih rendah satu tertib.

Laluan tiga — sewa GPU. Nod berbilang GPU awan mengikut jam berbaloi untuk kerja kelompok dan analisis besar sekali jalan; hanya beban berat berterusan yang menjadikan membeli kad lebih jimat.

Laluan empat — inferens CPU strim-dari-cakera (kimi-k3-in-c). Projek komuniti kimi-k3-in-c memakai enjin C99 176KB untuk menstrim checkpoint 1.56TB dari cakera; komputer riba 8GB pun boleh menjalankannya — dengan harga menunggu kira-kira 26 saat per token. Bukan pengalaman sembang, tetapi menjadikan "tanpa RAM besar pun boleh menyentuh model 2.8T" satu realiti. Lebih banyak RAM lebih laju (128GB+ turun ke 5.6 saat/token), dan jawapan kekal byte-identical pada setiap bajet.

Jika memutuskan hos-sendiri

Apabila perkakasan sedia, alirannya sama seperti model terbuka lain: muat turun weights (atau GGUF komuniti) → pilih rangka kerja inferens (llama.cpp / Ollama / vLLM mengikut ekosistem) → konfigurasikan peringkat quantization dan panjang konteks → jalankan ujian asap → main semula prompt perniagaan sebenar.

Selepas pemasangan, tentukur tiga perkara: nvidia-smi untuk memadankan penggunaan memori sebenar dengan anggaran; jalankan satu pusingan beban penuh pada panjang konteks maksimum bagi mengesahkan ruang KV cache mencukupi; catat kelajuan token pertama dan keadaan stabil sebagai garis dasar pengembangan kapasiti seterusnya.

Memilih serving stack

Tiga pilihan serving meliputi kebanyakan keperluan, berbeza pada kawalan dan beban operasi:

Untuk pemasangan pertama, mulakan dengan Ollama bagi mengesahkan model sesuai dengan beban kerja, kemudian naik ke llama.cpp atau vLLM apabila konkurensi atau kecekapan kos menuntut. Ketiga-tiganya mendedahkan endpoint serasi OpenAI, jadi kod klien anda tidak berubah apabila lapisan serving bertukar.

Senarai semak ujian asap

Sebelum mengisytiharkan pemasangan siap, jalankan lima semakan:

1. Prob identiti: prompt mudah mengembalikan teks koheren — weights dimuat dan sampler waras
2. Prob konteks: beri dokumen panjang dan tanya bahagian tengahnya — mengesahkan tingkah laku konteks panjang, bukan sekadar prompt pendek
3. Prob daya pemprosesan: catat token per saat pada saiz kelompok yang dijangka — garis dasar perancangan kapasiti
4. Prob memori: nvidia-smi atau meter memori OS berbanding anggaran — jurang besar bermakna tetapan quantization atau konteks bukan seperti yang anda sangka
5. Prob lesen: baca semula lesen Kimi terhadap penggunaan yang dirancang, terutamanya jika anda mahu menawarkan model sebagai perkhidmatan

Lima belas minit prob mengelakkan mod kegagalan klasik: model yang lancar dalam demo tetapi runtuh di bawah beban sebenar.

Bila angka ini bertukar menjadi keputusan perniagaan

Anggaran VRAM memberi batas teknikal, bukan jawapan ekonomi. Tiga soalan menutup keputusannya: berapa jam sehari beban benar-benar berjalan, berapa tahun perkakasan akan digunakan, dan sama ada data boleh keluar dari rangkaian anda. Beban sporadik dengan data biasa hampir selalu lebih murah di awan; beban penuh berterusan dengan kewajiban residensi data sahaja yang memberi alasan kukuh untuk membeli perkakasan.

Kira juga kos yang tidak kelihatan: elektrik dan penyejukan, masa jurutera untuk menaik taraf rangka kerja, serta risiko versi GGUF yang berubah tingkah laku tanpa pemberitahuan. Catat semuanya dalam satu helaian kerja sebelum menempah GPU, kemudian bandingkan dengan bil awan sebenar selama sebulan percubaan. Angka nyata daripada beban anda sendiri sentiasa lebih baik daripada unjuran daripada spesifikasi.

FAQ

Apa yang dijawab artikel ini

• self-host K3 perlukan berapa VRAM
• memilih peringkat quantization untuk pemasangan tempatan
• apa yang dilakukan bila perkakasan kurang

Peta senario ringkas

Pandangan ke hadapan

Katalog dan weights terus berubah; konvensi integrasi dan panggilan di sini mengikut dokumen rasmi pada masa penerbitan.

Sumber dan pengesahan

Fakta utama dalam artikel ini datang daripada weights terbuka Kimi K3 (moonshotai) dan formula anggaran VRAM awam dan disahkan pada 2026-11-09. ID model, harga dan ketersediaan mengikut katalog langsung platform — sengaja tidak menulis angka tetap yang cepat lapuk. Contoh kod mengikut kontrak API pada masa penerbitan; semak dokumen rasmi sebelum menyambung ke produksi.

Skop dan khalayak

Khalayak: pasukan yang menilai self-host K3. Skop: perkakasan dan quantization untuk pemasangan tempatan. Tidak merangkumi: integrasi API awan atau fine-tuning.

Nota editorial dan pembetulan

Ditulis oleh pasukan kandungan EXAIV daripada fakta yang boleh disahkan, dengan sumber dan kod disemak sebelum penerbitan. Jika ada yang lapuk atau salah, halaman keluaran rasmi dan katalog langsung yang muktamad — maklumkan melalui saluran maklum balas halaman supaya kami membetulkannya.

Bacaan berkaitan

• kimi-k3-in-c: 2.8T pada komputer riba 8GB
• Buku panduan pemasangan tempatan
• Formula pengiraan VRAM
• Perbandingan quantizer GGUF
• Model kos pengkomputeran tempatan

Senarai semak sebelum membuat keputusan

Sebelum melabur, jawab tiga soalan dengan data sebenar dan bukannya andaian: berapa jam sehari mesin ini benar-benar berjalan, berapa banyak permintaan sejam, dan adakah data yang diproses dibenarkan keluar dari mesin. Jika penggunaan hanya beberapa jam seminggu, API awan hampir selalu lebih murah. Jika mesin berjalan hampir sepanjang hari dan data bersifat sulit, pelaburan tempatan mula masuk akal.

Sediakan juga satu set ujian kecil: 20-30 arahan biasa daripada beban kerja sebenar, dijalankan sebelum dan selepas sebarang pertukaran model atau tahap kuantisasi. Tanpa set ujian ini, penurunan kualiti berlaku secara senyap dan sukar dikesan. Kos storan model lama, masa muat turun versi baharu, dan masa jurutera untuk kemas kini pemacu perlu dimasukkan ke dalam anggaran jumlah kos, bukan sekadar harga kad grafik.