Gabay sa Production Readiness Checklist for EXAIV: Before You Point Real Traffic at the Gateway

Lahat ng numero tungkol sa Production Readiness Checklist for EXAIV: Before You Point Real Traffic at the Gateway sa pahinang ito ay direktang napatunayan laban sa HuggingFace API at sa orihinal na config.json ng kaukulang repositoryo, nakuha noong Nobyembre 2026. Walang imbentong benchmark score, presyo, o pangalan ng repositoryo; anumang hindi mapapatunayan ng config ay minarkahang kailangang sukatin.

Napatunayang ispesipikasyon

Ano ang mapapatunayan ng numero

Ang paghiwalay ng katotohanan sa pahayag ay pinakamahalaga sa wikang multimodal. Ang vision_config at image_placeholder sa opisyal na config ay nagpapatunay lamang ng arkitekturang conditional generation na kayang tumanggap ng larawan; hindi nito awtomatikong pinapatunayan ang paggawa ng video, isang partikular na format ng kahilingan, o anumang benchmark score. Ang tag na image-text-to-text ng HuggingFace ay naglalarawan ng direksyon ng input. Ang opisyal na model card ang laging huling sanggunian.

Configuration and troubleshooting

Ang pagpaplano ng memorya para sa MoE na may trilyong parameter ay gumagamit ng iisang panuntunan: ang compute ay sumusunod sa aktibong parameter, ang memorya sa kabuuang parameter. Ang 1T na modelo kahit sa 4-bit ay nangangailangan pa rin ng humigit-kumulang 500GB para sa timbang lamang, at ang 2.78T ay mas malaki pa, kaya ito ay gawain ng multi-GPU server hindi ng iisang consumer card. Para sa iisang card, tingnan ang magaan na pamilya. Ang lokal na landas ay vLLM o SGLang gamit ang opisyal na timbang, at dapat munang suriin ang pinagmulan at label ng quantization ng conversion ng komunidad.

Tunay na hangganan

Sa EXAIV, ang live na katalogong /models ang awtoritatibo: ngayon ay tanging kimi-k3 ang matawag, sa pamamagitan ng OpenAI-compatible endpoint sa https://exaiv.com/api/ai/v1. Ang integrasyon ay nagbabago lamang ng base_url, api_key, at model; ang streaming at tool calling ay nananatili sa karaniwang format ng OpenAI. Ang presyo ay laging nasa live na /pricing at hindi itinatakda rito. Itala ang ID ng modelo, bilang ng token, at latency upang ang pagpapalit ng modelo sa hinaharap ay may parehong baseline.

Paghawak sa mga karaniwang error

Ang unang sintomas ay 401 Unauthorized, halos palaging dahil sa expired na key, maling header, o nakalimutang Bearer prefix; kumuha ng pinakabagong halaga mula sa console at subukan muna gamit ang maikling kahilingan bago hinalahan ang modelo. Ang susunod ay 404 o mensaheng hindi natagpuan ang modelo, ibig sabihin ay wala sa katalogo ang ID na ipinadala sa oras na iyon; buksan ang /models para sa tunay na pangalan at itama ang field na model. Ang 429 ay rate limit kaya magdagdag ng exponential backoff at ihiwalay ang mga kahilingang ligtas na ulitin

Sa streaming, tandaan na ang resulta ay dumarating bilang mga piraso hindi buong teksto; kailangang pagsamahin ng client ang mga ito at pangasiwaan ang kaso na ang huling chunk ay walang content. Sa tool calling, gamitin nang eksakto ang format ng OpenAI; kung hindi tinawag ang tool, karaniwang dahilan ay hindi malinaw na paglalarawan ng function o hindi pa pinapayagan ito ng system prompt, hindi limitasyon ng modelo

Gastos, quota, at mahahalagang tala

Ang tawag ay sinusukat sa bilang ng input at output token, hindi sa bilang ng request, kaya ang pagpasok ng buong mahabang dokumento sa bawat tawag ay mabilis na magpapataas ng gastos. Ang iminumungkahing paraan ay putulin o ibuod ang hindi kaugnay na bahagi bago ipadala, at gamitin ang streaming lamang kung kailangan talagang makita agad ng user ang resulta. Ang kasalukuyang presyo at credit pack ay laging nasa /pricing dahil ang anumang numero sa artikulo ay maaaring maging luma

Mainam ding i-cache ang resulta para sa paulit-ulit na tanong at itala ang log na may ID ng modelo, bilang ng token, at oras ng pagtugon bilang dataset para sa reconciliation. Kapag nagpalit ng modelo mula kimi-k3 patungong glm-5.3-flash o pabalik, patakbuhin muli ang parehong hanay ng pagsubok dahil magkaiba ang ugali sa pagtawag ng tool at haba ng sagot, kahit magkapareho nang buo ang format ng kahilingan

Checklist bago ang produksyon

Tatlong bagay ang pinakamadalas na nakakalimutan kapag lumilipat mula sa pagsubok patungo sa pang-araw-araw na paggamit.

Una, itala ang bersyon ng GGUF kasama ang petsa ng conversion. Patuloy na naglalabas ang komunidad ng mga pinabuting conversion, at kung walang tala ay hindi ka makakabalik sa bersyong napatunayang matatag kapag ang bagong release ay nagpababa ng kalidad. Itala rin ang pangalan ng naglathala dahil ang dalawang file na parehong may label na Q4_K_M ngunit magkaiba ang pinagmulan ay hindi iisang bagay.

Pangalawa, sukatin ang paggamit ng memorya sa aktwal na load, hindi lamang sa formula. Ang numerong nakuha sa kalkulasyon ay tantya lamang; sa tunay na load ay madalas itong tumaas dahil sa karagdagang buffer, pila ng batch, at kontekstong mas mahaba kaysa inaasahan. Patakbuhin nang tatlong beses gamit ang parehong prompt, kunin ang median, at itabi ang pinakamataas na numero mula sa nvidia-smi bilang batayan.

Pangatlo, maghanda ng backup na landas. Para sa panloob na serbisyo, maglaan ng ibang magaan na modelo na maaaring pumalit kapag abala ang hy4 o kapag nagkakarga itong muli. Ang simpleng routing layer na ito ay karaniwang mas mura kaysa sa pagpilit sa iisang modelo na dalhin ang buong trapiko, at sabay na nagbibigay ng puwang para subukan ang bagong quantization nang hindi pinipigil ang serbisyo.

Bukod sa tatlong ito, gawing ugali ang suriin ang chat template tuwing magpapalit ng bersyon ng modelo. Ang maling template ay patuloy na gumagawa ng token na mukhang maayos ngunit lumilihis ang sagot, at ang sintomas nito ay madalas na maling na-diagnose bilang sirang timbang. Ang pagtabi ng template kasama ang GGUF sa iisang folder ay nagpapadali sa pag-audit ng buong proseso.

Terminolohiya at checklist bago mag-production

Ang kabuuang parameter, aktibong parameter, at KV cache ay tatlong magkaibang dami. Ang kabuuang parameter ay lahat ng timbang na kailangang i-load sa memorya; ang aktibong parameter ay ang bahaging kumukwenta sa isang token. Ang KV cache ay pansamantalang memorya na lumalaki nang linear ayon sa haba ng konteksto, kaya ang 1M na bintana ay kisame hindi libreng default. Binababa ng quantization ang precision ng nakaimbak na timbang upang paliitin ang file, hindi nito binabawasan ang bilang ng parameter. Ang vision_config sa config.json ay naglalarawan ng arkitektura, hindi ng format ng kahilingan na maaari mong imbentuhin.

Bago dalhin sa produksyon ang anumang itinayo mula sa mga talang ito, patakbuhin ang anim na pagsusuri. Basahin muli ang mga numero mula sa live na pinagmulan sa araw ng paglalathala dahil linggu-linggo ay nagbabago ang counter ng download. Buksan ang live na katalogong /models at kumpirmahin na naroon pa rin ang ID na tatawagin. Buksan ang /pricing sa halip na kopyahin ang presyo sa application. Huwag kailanman itakda nang permanente ang isang request body bago ito i-validate laban sa opisyal na sanggunian. Itala ang ID ng modelo, bilang ng input at output token, at latency sa isang kinatawang hanay ng prompt, at panatilihing hindi nagbabago ang hanay na iyon upang ang pagpapalit ng modelo sa hinaharap ay magbigay ng maihahambing na pagbasa. Basahin ang lisensya sa model card bago gamitin sa komersyo dahil ang vendor-specific na termino ay hindi permisibong default. Magdagdag ng exponential backoff para sa mga kahilingang ligtas na ulitin, magtakda ng timeout, at itala ang log ayon sa klase ng error upang ang 401, 404, at 429 ay hindi kailanman tratuhing magkapareho. Maghanda rin ng landas ng pag-ikot ng key: huwag itago ang key sa repository, at magkaroon ng plano ng rollback kapag lumipat sa sistema ng pamamahala ng key. Kung nag-load ang modelo ngunit magulo ang output, hinalahan muna ang chat template bago ang timbang; itabi ang template kasabay ng timbang upang madaling ma-audit nang magkasama. Ang ugaliing ito ay ilang minuto lamang ngunit humaharang sa pinakakaraniwang uri ng maling ulat ng bug.

FAQ

Karagdagang pagbabasa

• Kimi K3 API guide — first API call
• GLM family overview — callable catalog
• hy4 model selection guide — sizing and selection
• Claude Code third-party models — support boundary
• pricing — live credit packs

Mga pinagmulan

• EXAIV live model catalog

Ang data ng parameter at file ay nakuha noong Nobyembre 2026 at maaaring magbago.