Menyambungkan Kimi K3 dan GLM pada EXAIV dengan satu endpoint

Kimi dan GLM ialah dua keluarga model terbuka China yang melalui laluan berbeza: satu menekankan long context, satu lagi menekankan tool calling. Artikel ini membandingkan struktur keluarga, quantization rasmi, ekosistem komuniti dan laluan penggunaan sebenar; semua angka disahkan melalui HuggingFace API dan konfigurasi rasmi

The two flagships

Antara model terbuka China, Kimi daripada Moonshot dan GLM daripada Zhipu melalui dua laluan jelas: Kimi mendahului dalam konteks panjang dan penaakulan, GLM menonjol dalam panggilan alat dan ejen. EXAIV memuat kedua-dua kimi-k3 dan glm-5.3-flash dalam katalog cloud, jadi satu kunci boleh memanggil kedua-duanya melalui endpoint standard OpenAI tanpa menukar SDK

Jadual perbandingan

Integration steps

Tiga langkah sambungan: tetapkan base_url kepada https://exaiv.com/api/ai/v1, masukkan kunci pada header Authorization, kemudian tentukan model kimi-k3 atau glm-5.3-flash. Kedua-duanya menyokong streaming dan tool calling dalam format OpenAI jadi kod sedia ada boleh dipindah terus. Sentiasa semak katalog masa nyata sebelum guna kerana ID dan harga boleh berubah

from openai import OpenAI

client = OpenAI(base_url="https://exaiv.com/api/ai/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="kimi-k3",
    messages=[{"role": "user", "content": "Summarise this document"}],
    stream=True,
)
for chunk in resp:
    print(chunk.choices[0].delta.content or "", end="")

Streaming, tool calling and bigger local versions

Jika memerlukan versi lebih besar seperti Kimi-K3.1-Pro (pengganti K3 dengan kira-kira 742,400 muat turun) atau GLM-5.3 penuh, gunakan berat terbuka di HuggingFace dan GGUF komuniti. Kimi-K3 mempunyai 2.78 trilion parameter jumlah dengan seni bina MoE, manakala GLM-5.3-Flash mempunyai 321.32 bilion dan lesen MIT, jadi menjalankannya sendiri memerlukan pelayan berbilang kad

Ekosistem dan angka sebenar

Jarak penerimaan sebenar dalam komuniti juga menjadi penunjuk jelas: 742,400 downloads for Kimi-K3 and 6,388,408 for GLM-5.3-Flash Angka-angka ini ialah muat turun 30 hari daripada HuggingFace yang menggambarkan saiz komuniti dan peluang mencari fail GGUF yang sepadan dengan perkakasan, bukan ukuran kualiti model, namun dalam produksi ia memberi kesan langsung kepada masa menyelesaikan masalah

Pilih mengikut senario

Kesimpulan

Soalan yang lebih bernilai bukan siapa lebih kuat tetapi apa yang kerja anda perlukan: perlukan alatan, dokumentasi dan pilihan sedia ada maka ikut Kimi; perlukan kawalan ke atas berat, quantization dan data kekal dalam mesin maka ikut GLM. Banyak sistem menggunakan kedua-duanya dengan membahagikan aliran mengikut jenis tugas

Pengendalian ralat yang kerap berlaku

Gejala pertama ialah 401 Unauthorized, hampir selalu kerana kunci tamat tempoh, header salah, atau terlupa prefiks Bearer; ambil nilai terkini daripada konsol lalu uji dengan permintaan pendek sebelum menyalahkan model. Seterusnya ialah 404 atau mesej model tidak dijumpai, yang bermakna ID yang dihantar tiada dalam katalog pada masa itu; buka halaman /models untuk melihat nama sebenar lalu betulkan medan model. Kod 429 ialah had kadar, jadi tambahkan exponential backoff dan asingkan permintaan yang selamat diulang daripada yang tidak boleh diulang

Untuk streaming, ingat bahawa hasilnya tiba dalam bentuk cebisan bukan teks lengkap; pihak client mesti mencantumkan cebisan itu dan mengendalikan kes chunk terakhir tanpa content. Untuk tool calling, gunakan format OpenAI tepat; jika alat tidak dipanggil, puncanya biasanya huraian fungsi kurang jelas atau system prompt belum membenarkan penggunaan alat, bukan had model

Kos, kuota dan perkara penting

Panggilan dikira daripada jumlah token masukan dan keluaran, bukan daripada bilangan request, jadi memasukkan seluruh dokumen panjang setiap kali akan menaikkan kos dengan pantas. Cara yang disyorkan ialah memotong atau meringkaskan bahagian tidak berkaitan sebelum menghantar, dan mengaktifkan streaming hanya di tempat pengguna memang perlu melihat hasil serta-merta. Harga serta pakej kredit semasa sentiasa rujuk halaman /pricing kerana angka dalam mana-mana artikel boleh menjadi lapuk

Sebaiknya simpan cache hasil untuk soalan berulang, serta catat log mengandungi ID model, jumlah token dan masa respons sebagai dataset untuk semakan semula kemudian. Apabila menukar model daripada kimi-k3 kepada glm-5.3-flash atau sebaliknya, jalankan semula set ujian yang sama kerana tingkah laku panggilan alat dan panjang jawapan berbeza, walaupun format permintaannya serupa sepenuhnya

Senarai semak sebelum produksi

Tiga perkara yang paling kerap terlepas ketika berpindah daripada ujian kepada penggunaan harian.

Pertama, simpan versi fail GGUF bersama tarikh penukarannya. Komuniti terus mengeluarkan pembaikan penukaran, dan tanpa catatan itu anda tidak boleh kembali kepada versi yang sudah terbukti stabil apabila keluaran baharu ternyata menurunkan kualiti. Catat juga nama penerbit, kerana dua fail bernama Q4_K_M daripada penerbit berbeza bukanlah barangan yang sama.

Kedua, ukur penggunaan memori pada beban sebenar, bukan sekadar daripada formula. Angka hasil pengiraan hanyalah anggaran; pada beban sebenar memori sering naik kerana penimbal tambahan, baris gilir kelompok, dan konteks yang lebih panjang daripada jangkaan. Jalankan tiga kali dengan prompt yang sama, ambil nilai tengah, dan simpan angka puncak daripada nvidia-smi sebagai penanda aras.

Ketiga, sediakan laluan sandaran. Untuk perkhidmatan dalaman, sediakan model ringan lain yang boleh mengambil alih apabila hy4 sibuk atau sedang dimuatkan semula. Lapisan penghalaan ringkas ini biasanya jauh lebih murah daripada memaksa satu model menanggung semua trafik, dan pada masa yang sama memberi ruang untuk menguji quantization baharu tanpa menghentikan perkhidmatan.

Selain tiga perkara itu, biasakan menyemak templat perbualan setiap kali menukar versi model. Templat yang tidak sepadan tetap menghasilkan token yang kelihatan lancar tetapi jawabannya menyimpang, dan gejalanya sering disalah diagnosis sebagai berat yang rosak. Menyimpan templat bersama fail GGUF dalam satu folder yang sama menjadikan proses ini jauh lebih mudah diaudit.

Nota istilah dan unit

Beberapa istilah dalam panduan ini sering tertukar, jadi elok diselaraskan sejak awal. Parameter jumlah ialah keseluruhan berat yang mesti dimuatkan ke memori, manakala parameter aktif ialah bahagian yang turut mengira setiap token; pada model MoE kedua-duanya boleh berbeza satu tertib magnitud. KV cache ialah memori tambahan yang tumbuh secara linear mengikut panjang konteks, bukan mengikut bilangan parameter. Quantization ialah proses menurunkan ketepatan berat supaya fail lebih kecil, bukan proses mengecilkan bilangan parameter.

Unit yang digunakan: GB di sini ialah saiz fail hasil pengukuran pada repositori, jadi angkanya boleh sedikit berbeza daripada hasil darab parameter dengan byte per parameter kerana ada metadata dan sebahagian lapisan yang kekal disimpan pada ketepatan lebih tinggi. Token ialah unit teks yang diproses model, dan satu token bahasa Inggeris secara purata kira-kira empat aksara, manakala satu aksara Cina biasanya menghampiri satu token. Semua angka muat turun yang disebut ialah pembilang awam 30 hari daripada HuggingFace, bukan bilangan pengguna aktif.

Akhir sekali, bezakan nama berat di HuggingFace dengan ID model dalam katalog platform. Nama berat digunakan ketika memuat turun dan memuatkan model secara tempatan; ID katalog digunakan ketika memanggil API. Kedua-duanya ialah dua sistem penamaan yang berbeza, dan mencampurkannya ialah punca kesilapan yang paling kerap muncul apabila kali pertama menyambungkan model tempatan kepada aplikasi sedia ada.

Nota penutup: simpan juga konfigurasi kelompok dan panjang konteks yang digunakan semasa pengukuran, kerana kedua-duanya menggerakkan jejak memori lebih jauh daripada sebarang pertukaran peringkat quantization. Dengan itu setiap perubahan kemudian hari mempunyai angka pembanding yang adil.

FAQ

Bacaan lanjutan

• Kimi K3 API guide — panduan memanggil
• Kimi K3 long context guide — konteks 1M
• Kimi K3 open weight deployment — berat terbuka
• Kimi vs GLM — perbandingan

Sumber data

• moonshotai on HuggingFace
• zai-org on HuggingFace

Angka parameter dan saiz fail daripada HuggingFace API serta konfigurasi rasmi, disampel November 2026