Menghubungkan Kimi K3 dan GLM di EXAIV dengan satu endpoint

Kimi dan GLM adalah dua keluarga model terbuka Tiongkok yang menempuh jalur berbeda: satu menekankan long context, yang lain menekankan tool calling. Artikel ini membandingkan struktur keluarga, kuantisasi resmi, ekosistem komunitas, dan jalur penerapan nyata; semua angka diverifikasi lewat HuggingFace API dan konfigurasi resmi

The two flagships

Di antara model terbuka Tiongkok, Kimi dari Moonshot dan GLM dari Zhipu menempuh jalur berbeda: Kimi unggul pada konteks panjang dan penalaran, GLM menonjol pada pemanggilan alat dan agen. EXAIV memuat kimi-k3 dan glm-5.3-flash dalam katalog cloud, sehingga satu kunci dapat memanggil keduanya lewat endpoint standar OpenAI tanpa mengganti SDK

Tabel perbandingan

Integration steps

Tiga langkah koneksi: atur base_url ke https://exaiv.com/api/ai/v1, masukkan kunci pada header Authorization, lalu tentukan model kimi-k3 atau glm-5.3-flash. Keduanya mendukung streaming dan tool calling dalam format OpenAI sehingga kode lama langsung bisa dipindah. Selalu periksa katalog waktu nyata sebelum memakai karena ID dan harga dapat berubah

from openai import OpenAI

client = OpenAI(base_url="https://exaiv.com/api/ai/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="kimi-k3",
    messages=[{"role": "user", "content": "Summarise this document"}],
    stream=True,
)
for chunk in resp:
    print(chunk.choices[0].delta.content or "", end="")

Streaming, tool calling and bigger local versions

Jika membutuhkan versi lebih besar seperti Kimi-K3.1-Pro (penerus K3 dengan sekitar 742.400 unduhan) atau GLM-5.3 penuh, gunakan bobot terbuka di HuggingFace dan GGUF komunitas. Kimi-K3 memiliki 2,78 triliun parameter total dengan arsitektur MoE, sedangkan GLM-5.3-Flash memiliki 321,32 miliar parameter dan lisensi MIT, sehingga menjalankannya sendiri membutuhkan server multi-kartu

Ekosistem dan angka nyata

Jarak adopsi nyata di komunitas juga menjadi indikator yang jelas: 742,400 downloads for Kimi-K3 and 6,388,408 for GLM-5.3-Flash Angka-angka ini adalah unduhan 30 hari dari HuggingFace yang mencerminkan besarnya komunitas dan peluang menemukan berkas GGUF yang cocok dengan perangkat keras, bukan ukuran kualitas model, namun di produksi ia berdampak langsung pada waktu penyelesaian masalah

Pilih berdasarkan skenario

Kesimpulan

Pertanyaan yang lebih bernilai bukan siapa yang lebih kuat melainkan apa yang dibutuhkan pekerjaan Anda: butuh alat, dokumentasi, dan pilihan siap pakai maka ikuti Kimi; butuh kendali atas bobot, kuantisasi, dan data tetap di mesin sendiri maka ikuti GLM. Banyak sistem memakai keduanya dengan membagi alur berdasarkan jenis tugas

Penanganan error yang sering muncul

Gejala pertama adalah 401 Unauthorized, hampir selalu karena kunci kedaluwarsa, header salah, atau lupa prefiks Bearer; ambil nilai terbaru dari konsol lalu uji dengan permintaan pendek sebelum mencurigai model. Berikutnya adalah 404 atau pesan model tidak ditemukan, yang berarti ID yang dikirim tidak ada di katalog saat itu; buka halaman /models untuk melihat nama sebenarnya lalu perbaiki kolom model. Kode 429 adalah pembatasan laju, jadi tambahkan exponential backoff dan pisahkan permintaan yang aman diulang dari yang tidak boleh diulang

Untuk streaming, ingat bahwa hasilnya datang berupa potongan, bukan teks utuh; pihak client harus menggabungkan potongan itu dan menangani kasus chunk terakhir tanpa content. Untuk tool calling, pakai format OpenAI persis; jika alat tidak dipanggil, penyebabnya biasanya deskripsi fungsi yang kurang jelas atau system prompt yang belum mengizinkan penggunaan alat, bukan keterbatasan model

Biaya, kuota, dan catatan penting

Panggilan dihitung dari jumlah token masukan dan keluaran, bukan dari jumlah request, sehingga memasukkan seluruh dokumen panjang setiap kali akan menaikkan biaya dengan cepat. Cara yang disarankan adalah memotong atau merangkum bagian yang tidak relevan sebelum mengirim, dan mengaktifkan streaming hanya di tempat pengguna memang perlu melihat hasil segera. Harga serta paket kredit yang berlaku selalu lihat di halaman /pricing karena angka dalam artikel mana pun bisa menjadi usang

Sebaiknya simpan cache hasil untuk pertanyaan yang berulang, serta catat log berisi ID model, jumlah token, dan waktu respons sebagai dataset untuk rekonsiliasi kemudian. Ketika mengganti model dari kimi-k3 ke glm-5.3-flash atau sebaliknya, jalankan ulang kumpulan uji yang sama karena perilaku pemanggilan alat dan panjang jawaban berbeda, meski format permintaannya identik

Daftar periksa sebelum produksi

Tiga hal yang paling sering terlewat saat berpindah dari uji coba ke pemakaian harian.

Pertama, simpan versi berkas GGUF beserta tanggal konversinya. Komunitas terus merilis perbaikan konversi, dan tanpa catatan itu Anda tidak akan bisa kembali ke versi yang sudah terbukti stabil ketika rilis baru ternyata menurunkan kualitas. Catat juga nama penerbit, karena dua berkas dengan nama Q4_K_M dari penerbit berbeda bukanlah barang yang sama.

Kedua, ukur pemakaian memori pada beban nyata, bukan hanya dari rumus. Angka hasil perhitungan adalah perkiraan; pada beban sesungguhnya memori sering naik karena buffer tambahan, antrean batch, dan konteks yang lebih panjang dari dugaan. Jalankan tiga kali dengan prompt yang sama, ambil nilai tengah, dan simpan angka puncak dari nvidia-smi sebagai patokan.

Ketiga, siapkan jalur cadangan. Untuk layanan internal, sediakan model ringan lain yang bisa mengambil alih saat hy4 sedang sibuk atau sedang dimuat ulang. Lapisan routing sederhana ini biasanya jauh lebih murah daripada memaksa satu model menanggung seluruh lalu lintas, dan sekaligus memberi ruang untuk menguji kuantisasi baru tanpa menghentikan layanan.

Selain tiga hal itu, biasakan memeriksa templat percakapan setiap kali mengganti versi model. Templat yang tidak cocok tetap menghasilkan token yang terlihat lancar tetapi jawabannya melenceng, dan gejalanya sering salah didiagnosis sebagai bobot yang rusak. Menyimpan templat bersama berkas GGUF di satu folder yang sama membuat proses ini jauh lebih mudah diaudit.

Catatan istilah dan satuan

Beberapa istilah dalam panduan ini sering tertukar, jadi ada baiknya disamakan sejak awal. Parameter total adalah seluruh bobot yang harus dimuat ke memori, sedangkan parameter aktif adalah bagian yang ikut menghitung setiap token; pada model MoE keduanya bisa berbeda satu orde besaran. KV cache adalah memori tambahan yang tumbuh linear mengikuti panjang konteks, bukan mengikuti jumlah parameter. Quantization adalah proses menurunkan presisi bobot agar berkas lebih kecil, bukan proses memperkecil jumlah parameter.

Satuan yang dipakai: GB di sini adalah ukuran berkas hasil pengukuran pada repositori, sehingga angkanya bisa sedikit berbeza dari hasil perkalian parameter dengan byte per parameter karena ada metadata dan sebagian lapisan yang tetap disimpan pada presisi lebih tinggi. Token adalah satuan teks yang diproses model, dan satu token bahasa Inggris rata-rata sekitar empat karakter, sementara satu karakter Cina biasanya mendekati satu token. Semua angka unduhan yang disebut adalah penghitung publik 30 hari dari HuggingFace, bukan jumlah pengguna aktif.

Terakhir, bedakan nama berat di HuggingFace dengan ID model di katalog platform. Nama berat dipakai saat mengunduh dan memuat model secara lokal; ID katalog dipakai saat memanggil API. Keduanya adalah dua sistem penamaan yang berbeda, dan mencampurnya adalah sumber kesalahan yang paling sering muncul saat pertama kali menghubungkan model lokal ke aplikasi yang sudah ada.

Catatan tambahan: simpan juga konfigurasi batch dan panjang konteks yang dipakai saat pengukuran, karena keduanya menggerakkan jejak memori lebih jauh daripada pertukaran tingkat kuantisasi mana pun. Dengan begitu setiap perubahan di kemudian hari punya angka pembanding yang adil.

Catatan penutup: simpan juga konfigurasi batch dan panjang konteks yang dipakai saat pengukuran, karena keduanya menggerakkan jejak memori lebih jauh daripada pertukaran tingkat kuantisasi mana pun. Dengan begitu setiap perubahan di kemudian hari punya angka pembanding yang adil.

FAQ

Bacaan lanjutan

• Kimi K3 API guide — panduan memanggil
• Kimi K3 long context guide — konteks 1M
• Kimi K3 open weight deployment — bobot terbuka
• Kimi vs GLM — perbandingan

Sumber data

• moonshotai on HuggingFace
• zai-org on HuggingFace

Angka parameter dan ukuran berkas dari HuggingFace API serta konfigurasi resmi, disampel November 2026