Panduan multimodal Kimi K3: apa yang bisa dan tidak bisa dipastikan dari config

Kimi K3 dan Moonshot adalah dua keluarga model terbuka Tiongkok yang menempuh jalur berbeda: satu menekankan the cloud catalog, yang lain menekankan local weights. Artikel ini membandingkan struktur keluarga, kuantisasi resmi, ekosistem komunitas, dan jalur penerapan nyata; semua angka diverifikasi lewat HuggingFace API dan konfigurasi resmi

Tabel perbandingan

Perbedaan paling nyata ada pada format bobot: hy4 dari Hunyuan adalah satu-satunya model 4B kelas Tiongkok yang sumbernya merilis FP8, GPTQ-Int4, dan AWQ-Int4 sekaligus, sementara kebanyakan keluarga lain hanya memberi FP8 lalu menyerahkan 4-bit ke komunitas. Memiliki GPTQ sekaligus AWQ berarti Anda bisa mengukur di stack sendiri lalu memilih

Jarak adopsi nyata di komunitas juga menjadi indikator yang jelas: 751,953 downloads for Kimi-K3 and 393,277 for K2.5 Angka-angka ini adalah unduhan 30 hari dari HuggingFace yang mencerminkan besarnya komunitas dan peluang menemukan berkas GGUF yang cocok dengan perangkat keras, bukan ukuran kualitas model, namun di produksi ia berdampak langsung pada waktu penyelesaian masalah

Untuk penerapan: hy4 memakai FP8 atau GPTQ-Int4 resmi bersama vLLM, atau GGUF Q4_K_M 2,61GB dari komunitas bersama llama.cpp dan Ollama pada kartu 6GB bahkan CPU. A13B adalah MoE 80,39 miliar parameter sehingga membutuhkan banyak kartu atau CPU offload, dan memiliki GGUF resmi Q4_K_M 48,8GB

Verified facts versus claims that need measurement

Pertanyaan yang lebih bernilai bukan siapa yang lebih kuat melainkan apa yang dibutuhkan pekerjaan Anda: butuh alat, dokumentasi, dan pilihan siap pakai maka ikuti Kimi K3; butuh kendali atas bobot, kuantisasi, dan data tetap di mesin sendiri maka ikuti Moonshot. Banyak sistem memakai keduanya dengan membagi alur berdasarkan jenis tugas

Pilih berdasarkan skenario

Penanganan error yang sering muncul

Gejala pertama adalah 401 Unauthorized, hampir selalu karena kunci kedaluwarsa, header salah, atau lupa prefiks Bearer; ambil nilai terbaru dari konsol lalu uji dengan permintaan pendek sebelum mencurigai model. Berikutnya adalah 404 atau pesan model tidak ditemukan, yang berarti ID yang dikirim tidak ada di katalog saat itu; buka halaman /models untuk melihat nama sebenarnya lalu perbaiki kolom model. Kode 429 adalah pembatasan laju, jadi tambahkan exponential backoff dan pisahkan permintaan yang aman diulang dari yang tidak boleh diulang

Untuk streaming, ingat bahwa hasilnya datang berupa potongan, bukan teks utuh; pihak client harus menggabungkan potongan itu dan menangani kasus chunk terakhir tanpa content. Untuk tool calling, pakai format OpenAI persis; jika alat tidak dipanggil, penyebabnya biasanya deskripsi fungsi yang kurang jelas atau system prompt yang belum mengizinkan penggunaan alat, bukan keterbatasan model

Biaya, kuota, dan catatan penting

Panggilan dihitung dari jumlah token masukan dan keluaran, bukan dari jumlah request, sehingga memasukkan seluruh dokumen panjang setiap kali akan menaikkan biaya dengan cepat. Cara yang disarankan adalah memotong atau merangkum bagian yang tidak relevan sebelum mengirim, dan mengaktifkan streaming hanya di tempat pengguna memang perlu melihat hasil segera. Harga serta paket kredit yang berlaku selalu lihat di halaman /pricing karena angka dalam artikel mana pun bisa menjadi usang

Sebaiknya simpan cache hasil untuk pertanyaan yang berulang, serta catat log berisi ID model, jumlah token, dan waktu respons sebagai dataset untuk rekonsiliasi kemudian. Ketika mengganti model dari kimi-k3 ke glm-5.3-flash atau sebaliknya, jalankan ulang kumpulan uji yang sama karena perilaku pemanggilan alat dan panjang jawaban berbeda, meski format permintaannya identik

Daftar periksa sebelum produksi

Tiga hal yang paling sering terlewat saat berpindah dari uji coba ke pemakaian harian.

Pertama, simpan versi berkas GGUF beserta tanggal konversinya. Komunitas terus merilis perbaikan konversi, dan tanpa catatan itu Anda tidak akan bisa kembali ke versi yang sudah terbukti stabil ketika rilis baru ternyata menurunkan kualitas. Catat juga nama penerbit, karena dua berkas dengan nama Q4_K_M dari penerbit berbeda bukanlah barang yang sama.

Kedua, ukur pemakaian memori pada beban nyata, bukan hanya dari rumus. Angka hasil perhitungan adalah perkiraan; pada beban sesungguhnya memori sering naik karena buffer tambahan, antrean batch, dan konteks yang lebih panjang dari dugaan. Jalankan tiga kali dengan prompt yang sama, ambil nilai tengah, dan simpan angka puncak dari nvidia-smi sebagai patokan.

Ketiga, siapkan jalur cadangan. Untuk layanan internal, sediakan model ringan lain yang bisa mengambil alih saat hy4 sedang sibuk atau sedang dimuat ulang. Lapisan routing sederhana ini biasanya jauh lebih murah daripada memaksa satu model menanggung seluruh lalu lintas, dan sekaligus memberi ruang untuk menguji kuantisasi baru tanpa menghentikan layanan.

Selain tiga hal itu, biasakan memeriksa templat percakapan setiap kali mengganti versi model. Templat yang tidak cocok tetap menghasilkan token yang terlihat lancar tetapi jawabannya melenceng, dan gejalanya sering salah didiagnosis sebagai bobot yang rusak. Menyimpan templat bersama berkas GGUF di satu folder yang sama membuat proses ini jauh lebih mudah diaudit.

Catatan istilah dan satuan

Beberapa istilah dalam panduan ini sering tertukar, jadi ada baiknya disamakan sejak awal. Parameter total adalah seluruh bobot yang harus dimuat ke memori, sedangkan parameter aktif adalah bagian yang ikut menghitung setiap token; pada model MoE keduanya bisa berbeda satu orde besaran. KV cache adalah memori tambahan yang tumbuh linear mengikuti panjang konteks, bukan mengikuti jumlah parameter. Quantization adalah proses menurunkan presisi bobot agar berkas lebih kecil, bukan proses memperkecil jumlah parameter.

Satuan yang dipakai: GB di sini adalah ukuran berkas hasil pengukuran pada repositori, sehingga angkanya bisa sedikit berbeza dari hasil perkalian parameter dengan byte per parameter karena ada metadata dan sebagian lapisan yang tetap disimpan pada presisi lebih tinggi. Token adalah satuan teks yang diproses model, dan satu token bahasa Inggris rata-rata sekitar empat karakter, sementara satu karakter Cina biasanya mendekati satu token. Semua angka unduhan yang disebut adalah penghitung publik 30 hari dari HuggingFace, bukan jumlah pengguna aktif.

Terakhir, bedakan nama berat di HuggingFace dengan ID model di katalog platform. Nama berat dipakai saat mengunduh dan memuat model secara lokal; ID katalog dipakai saat memanggil API. Keduanya adalah dua sistem penamaan yang berbeda, dan mencampurnya adalah sumber kesalahan yang paling sering muncul saat pertama kali menghubungkan model lokal ke aplikasi yang sudah ada.

Catatan tambahan: simpan juga konfigurasi batch dan panjang konteks yang dipakai saat pengukuran, karena keduanya menggerakkan jejak memori lebih jauh daripada pertukaran tingkat kuantisasi mana pun. Dengan begitu setiap perubahan di kemudian hari punya angka pembanding yang adil.

FAQ

Bacaan lanjutan

• Panduan API Kimi K3 — first API call
• Panduan konteks panjang Kimi K3 — 1M context practice
• Penerapan bobot terbuka Kimi K3 — local weights
• Integrasi alat Kimi K3 — editor and platform setup
• hy4 dan Kimi — lightweight versus flagship

Sumber data

• moonshotai on HuggingFace
• Kimi-K3 config on HuggingFace

Angka parameter dan ukuran berkas dari HuggingFace API serta konfigurasi resmi, disampel November 2026