Bukas na Timbang ng Kimi K2.5 at K2.6: gabay sa lokal na pagpapatakbo

Ang Kimi K3 at Moonshot ay dalawang pamilya ng bukas na modelong Tsina na dumadaan sa magkaibang landas: ang isa ay nakatuon sa the cloud catalog, ang isa naman sa local weights. Inihahambing ng artikulong ito ang istruktura ng pamilya, opisyal na quantization, ecosystem ng komunidad, at ang aktwal na landas ng pagpapatakbo; lahat ng numero ay napatunayan sa pamamagitan ng HuggingFace API at opisyal na config

Talahanayan ng paghahambing

Ang pinakamalinaw na pagkakaiba ay nasa format ng timbang: ang hy4 ng Hunyuan ang tanging 4B-class na modelo ng Tsina na sabay na inilalabas ang FP8, GPTQ-Int4, at AWQ-Int4 mula sa pinagmulan, samantalang karamihan ay nagbibigay lamang ng FP8 at ipinapasa ang 4-bit sa komunidad. Ang pagkakaroon ng GPTQ at AWQ ay nangangahulugang maaari kang sumukat sa sariling stack bago pumili

Ang agwat ng aktwal na paggamit sa komunidad ay malinaw ding palatandaan: 751,953 downloads for Kimi-K3 and 393,277 for K2.5 Ang mga numerong ito ay 30-araw na download mula sa HuggingFace na sumasalamin sa laki ng komunidad at sa tsansang makahanap ng GGUF na bagay sa iyong hardware, hindi ito sukatan ng kalidad ng modelo, ngunit sa production ay direktang naaapektuhan nito ang oras ng paglutas ng problema

Sa pagpapatakbo: ang hy4 ay gumagamit ng opisyal na FP8 o GPTQ-Int4 kasama ang vLLM, o ng komunidad na GGUF Q4_K_M na 2.61GB kasama ang llama.cpp at Ollama sa 6GB card o maging sa CPU. Ang A13B ay MoE na may 80.39 bilyong parameter kaya nangangailangan ito ng maraming card o CPU offload, at may opisyal na GGUF Q4_K_M na 48.8GB

Verified facts versus claims that need measurement

Ang mas mahalagang tanong ay hindi kung sino ang mas malakas kundi kung ano ang kailangan ng iyong gawain: kung kailangan mo ng mga tool, dokumentasyon, at handa nang opsyon, sundin ang Kimi K3; kung kailangan mo ng kontrol sa timbang, quantization, at mananatili ang data sa sariling makina, sundin ang Moonshot. Maraming sistema ang gumagamit ng dalawa sa pamamagitan ng paghahati ayon sa uri ng gawain

Pumili ayon sa senaryo

Paghawak sa mga karaniwang error

Ang unang sintomas ay 401 Unauthorized, halos palaging dahil sa expired na key, maling header, o nakalimutang Bearer prefix; kumuha ng pinakabagong halaga mula sa console at subukan muna gamit ang maikling kahilingan bago hinalahan ang modelo. Ang susunod ay 404 o mensaheng hindi natagpuan ang modelo, ibig sabihin ay wala sa katalogo ang ID na ipinadala sa oras na iyon; buksan ang /models para sa tunay na pangalan at itama ang field na model. Ang 429 ay rate limit kaya magdagdag ng exponential backoff at ihiwalay ang mga kahilingang ligtas na ulitin

Sa streaming, tandaan na ang resulta ay dumarating bilang mga piraso hindi buong teksto; kailangang pagsamahin ng client ang mga ito at pangasiwaan ang kaso na ang huling chunk ay walang content. Sa tool calling, gamitin nang eksakto ang format ng OpenAI; kung hindi tinawag ang tool, karaniwang dahilan ay hindi malinaw na paglalarawan ng function o hindi pa pinapayagan ito ng system prompt, hindi limitasyon ng modelo

Gastos, quota, at mahahalagang tala

Ang tawag ay sinusukat sa bilang ng input at output token, hindi sa bilang ng request, kaya ang pagpasok ng buong mahabang dokumento sa bawat tawag ay mabilis na magpapataas ng gastos. Ang iminumungkahing paraan ay putulin o ibuod ang hindi kaugnay na bahagi bago ipadala, at gamitin ang streaming lamang kung kailangan talagang makita agad ng user ang resulta. Ang kasalukuyang presyo at credit pack ay laging nasa /pricing dahil ang anumang numero sa artikulo ay maaaring maging luma

Mainam ding i-cache ang resulta para sa paulit-ulit na tanong at itala ang log na may ID ng modelo, bilang ng token, at oras ng pagtugon bilang dataset para sa reconciliation. Kapag nagpalit ng modelo mula kimi-k3 patungong glm-5.3-flash o pabalik, patakbuhin muli ang parehong hanay ng pagsubok dahil magkaiba ang ugali sa pagtawag ng tool at haba ng sagot, kahit magkapareho nang buo ang format ng kahilingan

Checklist bago ang produksyon

Tatlong bagay ang pinakamadalas na nakakalimutan kapag lumilipat mula sa pagsubok patungo sa pang-araw-araw na paggamit.

Una, itala ang bersyon ng GGUF kasama ang petsa ng conversion. Patuloy na naglalabas ang komunidad ng mga pinabuting conversion, at kung walang tala ay hindi ka makakabalik sa bersyong napatunayang matatag kapag ang bagong release ay nagpababa ng kalidad. Itala rin ang pangalan ng naglathala dahil ang dalawang file na parehong may label na Q4_K_M ngunit magkaiba ang pinagmulan ay hindi iisang bagay.

Pangalawa, sukatin ang paggamit ng memorya sa aktwal na load, hindi lamang sa formula. Ang numerong nakuha sa kalkulasyon ay tantya lamang; sa tunay na load ay madalas itong tumaas dahil sa karagdagang buffer, pila ng batch, at kontekstong mas mahaba kaysa inaasahan. Patakbuhin nang tatlong beses gamit ang parehong prompt, kunin ang median, at itabi ang pinakamataas na numero mula sa nvidia-smi bilang batayan.

Pangatlo, maghanda ng backup na landas. Para sa panloob na serbisyo, maglaan ng ibang magaan na modelo na maaaring pumalit kapag abala ang hy4 o kapag nagkakarga itong muli. Ang simpleng routing layer na ito ay karaniwang mas mura kaysa sa pagpilit sa iisang modelo na dalhin ang buong trapiko, at sabay na nagbibigay ng puwang para subukan ang bagong quantization nang hindi pinipigil ang serbisyo.

Bukod sa tatlong ito, gawing ugali ang suriin ang chat template tuwing magpapalit ng bersyon ng modelo. Ang maling template ay patuloy na gumagawa ng token na mukhang maayos ngunit lumilihis ang sagot, at ang sintomas nito ay madalas na maling na-diagnose bilang sirang timbang. Ang pagtabi ng template kasama ang GGUF sa iisang folder ay nagpapadali sa pag-audit ng buong proseso.

FAQ

Karagdagang pagbabasa

• Gabay sa API ng Kimi K3 — first API call
• Gabay sa mahabang konteksto ng Kimi K3 — 1M context practice
• Pag-deploy ng bukas na timbang ng Kimi K3 — local weights
• Pagsasama ng tool ng Kimi K3 — editor and platform setup
• hy4 at Kimi — lightweight versus flagship

Mga pinagmulan

• moonshotai on HuggingFace
• Kimi-K3 config on HuggingFace

Mga numero ng parameter at laki ng file mula sa HuggingFace API at opisyal na config, nakuha noong Nobyembre 2026