Pagpapatakbo sa Hunyuan hy4 at A13B nang lokal

Ang Hunyuan at hy4 ay dalawang pamilya ng bukas na modelong Tsina na dumadaan sa magkaibang landas: ang isa ay nakatuon sa the lightweight line, ang isa naman sa the MoE flagship. Inihahambing ng artikulong ito ang istruktura ng pamilya, opisyal na quantization, ecosystem ng komunidad, at ang aktwal na landas ng pagpapatakbo; lahat ng numero ay napatunayan sa pamamagitan ng HuggingFace API at opisyal na config

The two product lines

Ang pinakamadalas na pagkakamali ay ang pangalan ng organisasyon sa HuggingFace: ang paghahanap sa Tencent-Hunyuan ay magbabalik lamang ng HunyuanDiT v1.1 at v1.2 kasama ang ControlNet para sa Pose, Depth, at Canny, lahat ay modelong gumagawa ng larawan nang walang kahit anong modelo ng teksto. Samantala ang teksto, OCR, 3D, video, at larawan ng bagong henerasyon ay nasa ilalim ng organisasyong tencent. Ang pagkalito rito ay karaniwang nauuwi sa pag-download ng muling-upload ng third party na hindi malinaw ang pinagmulan at hindi makokontrol ang antas ng quantization

Ang ispesipikasyon ng hy4 mula sa opisyal na config: 4,221,757,440 na parameter, arkitekturang HunYuanDenseV1ForCausalLM, 36 na layer, hidden 3072, 32 attention head / 8 KV head, pinakamataas na haba ng posisyon na 262144, at bokabularyo na 120,818. Ang orihinal na BF16 ay humigit-kumulang 8.4GB, samantalang ang GGUF Q4_K_M mula kay bartowski ay 2.61GB, ibig sabihin ay kasya ang buong modelo sa 6GB card kahit may inilaan na KV cache

The MoE flagship

Ang A13B ay gumagamit ng arkitekturang HunYuanMoEV1ForCausalLM na may 64 na expert, 32 layer, hidden 4096, pinakamataas na haba ng posisyon na 32768, at bokabularyo na 128,167. Bihira ang opisyal na GGUF para sa linyang ito sa mga bukas na modelo ng Tsina: Q4_0 ay 45.39GB, Q4_K_M ay 48.78GB, at ang Q8_0 ay nahahati sa dalawang file na 47.46GB at 37.99GB. Malinaw na hindi sapat ang iisang consumer card

Talahanayan ng paghahambing

Ang pinakamalinaw na pagkakaiba ay nasa format ng timbang: ang hy4 ng Hunyuan ang tanging 4B-class na modelo ng Tsina na sabay na inilalabas ang FP8, GPTQ-Int4, at AWQ-Int4 mula sa pinagmulan, samantalang karamihan ay nagbibigay lamang ng FP8 at ipinapasa ang 4-bit sa komunidad. Ang pagkakaroon ng GPTQ at AWQ ay nangangahulugang maaari kang sumukat sa sariling stack bago pumili

Sa pagpapatakbo: ang hy4 ay gumagamit ng opisyal na FP8 o GPTQ-Int4 kasama ang vLLM, o ng komunidad na GGUF Q4_K_M na 2.61GB kasama ang llama.cpp at Ollama sa 6GB card o maging sa CPU. Ang A13B ay MoE na may 80.39 bilyong parameter kaya nangangailangan ito ng maraming card o CPU offload, at may opisyal na GGUF Q4_K_M na 48.8GB

Deployment commands

./llama-server -m ./hunyuan4b/Q4_K_M.gguf --host 127.0.0.1 --port 8080 --ctx-size 32768 --jinja
ollama create hy4-local -f Modelfile
ollama run hy4-local "Explain MoE in three sentences"
vllm serve tencent/Hunyuan-A13B-Instruct-FP8 --tensor-parallel-size 4

Verify a community GGUF before trusting it

Bago magtiwala sa GGUF ng komunidad, suriin ang apat na bagay: sinabi ba ng naglathala ang pinagmulan ng conversion, sapat ba ang dami ng download, tugma ba ang label na Q4_K_M o Q5_K_M sa kailangan mo, at nababasa ba ang maikling sagot kapag ipinasok sa llama-cli. Kung lalabas ang kakaibang karakter, unang hinalahan ang chat template hindi ang sirang timbang, at itala ang pangalan ng file at petsa ng conversion bilang baseline

Ecosystem at tunay na numero

Ang agwat ng aktwal na paggamit sa komunidad ay malinaw ding palatandaan: 615,000 downloads for HunyuanOCR and 68,700 for A13B versus 982 for hy4 Ang mga numerong ito ay 30-araw na download mula sa HuggingFace na sumasalamin sa laki ng komunidad at sa tsansang makahanap ng GGUF na bagay sa iyong hardware, hindi ito sukatan ng kalidad ng modelo, ngunit sa production ay direktang naaapektuhan nito ang oras ng paglutas ng problema

Pumili ayon sa senaryo

Konklusyon

Ang mas mahalagang tanong ay hindi kung sino ang mas malakas kundi kung ano ang kailangan ng iyong gawain: kung kailangan mo ng mga tool, dokumentasyon, at handa nang opsyon, sundin ang Hunyuan; kung kailangan mo ng kontrol sa timbang, quantization, at mananatili ang data sa sariling makina, sundin ang hy4. Maraming sistema ang gumagamit ng dalawa sa pamamagitan ng paghahati ayon sa uri ng gawain

Checklist bago ang produksyon

Tatlong bagay ang pinakamadalas na nakakalimutan kapag lumilipat mula sa pagsubok patungo sa pang-araw-araw na paggamit.

Una, itala ang bersyon ng GGUF kasama ang petsa ng conversion. Patuloy na naglalabas ang komunidad ng mga pinabuting conversion, at kung walang tala ay hindi ka makakabalik sa bersyong napatunayang matatag kapag ang bagong release ay nagpababa ng kalidad. Itala rin ang pangalan ng naglathala dahil ang dalawang file na parehong may label na Q4_K_M ngunit magkaiba ang pinagmulan ay hindi iisang bagay.

Pangalawa, sukatin ang paggamit ng memorya sa aktwal na load, hindi lamang sa formula. Ang numerong nakuha sa kalkulasyon ay tantya lamang; sa tunay na load ay madalas itong tumaas dahil sa karagdagang buffer, pila ng batch, at kontekstong mas mahaba kaysa inaasahan. Patakbuhin nang tatlong beses gamit ang parehong prompt, kunin ang median, at itabi ang pinakamataas na numero mula sa nvidia-smi bilang batayan.

Pangatlo, maghanda ng backup na landas. Para sa panloob na serbisyo, maglaan ng ibang magaan na modelo na maaaring pumalit kapag abala ang hy4 o kapag nagkakarga itong muli. Ang simpleng routing layer na ito ay karaniwang mas mura kaysa sa pagpilit sa iisang modelo na dalhin ang buong trapiko, at sabay na nagbibigay ng puwang para subukan ang bagong quantization nang hindi pinipigil ang serbisyo.

Bukod sa tatlong ito, gawing ugali ang suriin ang chat template tuwing magpapalit ng bersyon ng modelo. Ang maling template ay patuloy na gumagawa ng token na mukhang maayos ngunit lumilihis ang sagot, at ang sintomas nito ay madalas na maling na-diagnose bilang sirang timbang. Ang pagtabi ng template kasama ang GGUF sa iisang folder ay nagpapadali sa pag-audit ng buong proseso.

FAQ

Karagdagang pagbabasa

• Buod ng pamilya ng Tencent Hunyuan — Lahat ng linya ng produkto sa iisang lugar
• Gabay sa pagpili ng hy4 — Paghahati ng trabaho sa pagitan ng mga bersyon
• Pag-deploy ng hy4 gamit ang GGUF — Mga antas ng quantization at mga utos
• Pahina ng modelong hy4 — Ispesipikasyon at matrix ng quantization
• hy4-preview — 1M context channel

Mga pinagmulan

• Tencent Hunyuan on HuggingFace
• Tencent-Hunyuan on HuggingFace

Mga numero ng parameter at laki ng file mula sa HuggingFace API at opisyal na config, nakuha noong Nobyembre 2026