Hunyuan A13B MoE: 80B kabuuang parameter, 64 na expert at mga trade-off sa deployment
Hunyuan A13B MoE: 80B kabuuang parameter, 64 na expert at mga trade-off sa deployment
Ang Hunyuan-A13B ay ang una at tanging MoE model sa pamilya ng Hunyuan na nagbubukas ng kabuuang timbang: ang opisyal na konfigurasyon ay nagtatala ng 80.39 bilyong kabuuang parameter, 64 na expert, 36 na layer, at ang A sa pangalan ay tumutukoy sa timbang ng parameter na kaaktibo bawat token Ang istrukturang ito ay nagpapakuha sa dalawang bagay na mukhang magkasalungat na sabay na totoo: ang gastos sa pagkompyot ay malapit sa isang dense model na katamtaman, ngunit ang kabuuang timbang ay nasa antas na 80 bilyon — lahat ay kailangang papasok sa memorya Sinusuri ng artikulong ito ang istruktura, ang memory ledger, ang tunay na gamit ng opisyal na GGUF, at ang paghahati ng trabaho sa hy4.
Buod sa 30 segundo
Ang A13B ay isang modelo na antas ng server, hindi antas ng workstation: ang opisyal na Q4_K_M GGUF ay 48.8GB at ang Q4_0 ay 45.4GB, kaya hindi ito kakasya sa isang consumer card. Kailangan nito ng maraming card, CPU offload, o isang makinang may malaking memorya. Ang hy4 ang modelo na tumatakbo sa isang makina. Kung nais mong patakbuhin ang Hunyuan nang lokal, ang panimulang punto ay dapat na hy4 at hindi A13B.
Liwanagin muna ang pangalan at istruktura
| Aytem | Halaga (mula sa opisyal na konfigurasyon) |
|---|---|
| Arkitektura | HunYuanMoEV1ForCausalLM |
| Kabuuang parameter | 80,393,183,232 (humigit-kumulang 80.39 bilyon) |
| Bilang ng expert | 64 |
| Bilang ng layer | 36 |
| Hidden size | 4096 |
| Attention / KV head | 32 / 8 (nakagrupong atensyon) |
| Intermediate size | 3072 |
| Pinakamataas na haba ng posisyon | 32768 |
| Laki ng bokabularyo | 128,167 |
Ang A sa A13B ay Active
Gumagamit ang Hunyuan ng kombensyong pampangalan kung saan ang numero sa unahan ay ang timbang ng parameter na kaaktibo bawat token (13B), habang ang kabuuang parameter ay hindi nakasulat sa pangalan. Ang tunay na kabuuang parameter ng A13B ay 80.39 bilyon. Ang pagkakaibang ito ang panimulang punto ng bawat desisyon sa deployment — ang gastos sa pagkompyot ay binibilang mula sa 13B, ngunit ang imbakan ay binibilang mula sa 80B.
Ang mekanismo ng MoE: ang MLP ng bawat layer ay hiniwa sa maraming expert, at ang router ay pumipili ng ilang expert para sa bawat token habang ang iba ay hindi sasali. Bunga nito:
- Ang gastos sa pagkompyot ay malapit sa dense model na 13B dahil ang bawat token ay dumadaan lamang sa ilang expert
- Ang imbakan ng timbang ay nananatili sa antas na 80B dahil lahat ng expert ay kailangang i-load
- Ang pagproseso ng batch ay makakabawas sa gastos dahil sa isang forward pass, ang iba't ibang token ay nag-aaktibo ng iba't ibang expert, kaya puno ang compute unit ng GPU
Ang MoE ay nagtitipid ng pagkompyot, hindi ng memorya
Ito ang pinakakaraniwang maling paghatol. Maraming tao ang nakakita ng "13B na aktibo" at nag-iisip na kasya ito sa memorya ng isang 13B modelo. Sa praktika bayad ka pa rin ng timbang na 80B: kahit sa 4-bit ay nasa 40GB pa rin, at ang opisyal na Q4_K_M GGUF ay sinusukat na 48.8GB sa disk. Kapag kulang ang memorya, ililipat ng engine ang bahagi ng mga layer papunta sa memorya ng sistema at babagsak ang bilis ng isang order — hindi ito "medyo nahuhuli" kundi "halos hindi magagamit."
Ang memory ledger: kailangang bilangin ang tatlong layer
Unang layer: timbang
| Anyo ng timbang | Laki (sinukat mula sa opisyal na GGUF) |
|---|---|
| Orihinal na BF16 | humigit-kumulang 161GB |
| Opisyal na FP8 repository | humigit-kumulang 80GB |
| Opisyal na GPTQ-Int4 repository | humigit-kumulang 20GB |
| GGUF Q4_0 | 45.4GB |
| GGUF Q4_K_M | 48.8GB |
| GGUF Q8_0 (dalawang bahagi) | 47.5GB + 38.0GB ≈ 85.5GB |
Bakit sulit ang pag-download ng opisyal na GGUF
Para sa 80B modelo, ang halaga ng opisyal na GGUF ay nasa pagiging posible ng paghahati-hati at CPU offload: ang Q8_0 ay nahahati sa dalawang bahagi kaya maaaring i-load nang paahon, at ang Q4_K_M ay may mas balanseng pagkawala ng kalidad kaysa sa Q4_0. Ang mga conversion ng komunidad ay karaniwang naglalabas lamang ng isang malaking file na may hindi gaanong magandang paghahati at paghawak ng metadata, kaya mas nahihirapan ang offload sa mismong oras na kailangan mo ito. Ito ay bihirang halimbawa ng isang modelo mula Tsina na naglalabas ng opisyal na GGUF bilang katumbas na artepakt.
Ikalawang layer: KV cache
KV cache ≈ 2 × 36 na layer × 8 KV head × 128 head dim × haba ng konteksto × 2 byte
≈ 144KB × haba ng konteksto
Ang buong 32K na bintana ay humigit-kumulang 4GB, at ang 8K na konteksto ay humigit-kumulang 1GB. Ang bahaging ito para sa A13B ay hindi ang pangunahing tension (ang timbang ang tunay na tension), ngunit lalaki ito kapag ginamit nang sabay: ang bilang ng kahilingan na pinaparami ng haba ng konteksto ang nagdedesisyon sa kabuuang bakas ng KV cache.
Ikatlong layer: gastos ng runtime
Ang konteksto ng CUDA, mga buffer ng komunikasyon sa maraming card, at mga intermediate tensor ng expert parallel; sa mga sitwasyong may maraming card, ang aytem na ito ay lumalaki nang malinaw.
Realidad ng hardware: tatlong anyo na magagawa
| Anyo | Konfigurasyon | Tala |
|---|---|---|
| Server na maraming card | 2×48GB o 4×24GB, tensor parallelism sa vLLM | ang pinakaortodoks na paraan, at ang opisyal na FP8 na timbang ang pinakaangkop |
| Isang card na may CPU offload | 1×24GB at malaking RAM, paglipat ng layer gamit ang llama.cpp | tumatakbo ngunit nagpapalit ng bilis para sa karanasan, angkop para sa beripikasyon |
| Cloud na serbisyo | gumamit ng serbisyong may A13B na | hindi gumagamit ng sariling card at hindi na kailangang mag-asikaso ng expert parallel |
Payong pang-engineering
Kung ang layunin ay "may Hunyuan na tumatakbo sa sariling makina," magsimula sa hy4 at hindi A13B. Kung ang layunin ay "sukatin ang talukay ng kakayahan ng A13B," gumamit ng maraming card o cloud na serbisyo at ituring ang A13B bilang isang reference generator: lumikha ng evaluation set, lumikha ng reference na sagot, at sukatin ang distansiyang kulang pa sa mas maliit na modelo. Huwag pilitin ito sa isang workstation card.
Mga bagay na dapat tandaan sa pag-deploy
Bersyon ng engine: ang MoE na arkitektura ay nangangailangan ng llama.cpp o vLLM na sumusuporta sa istruktura ng Hunyuan expert; i-upgrade muna ang engine kapag bigong magkarga.
Istratehiya ng pagkakasabay: gamitin ang tensor parallelism sa vLLM para bahagihin ang timbang. Ang expert parallel ay bihira ring kumikita sa consumer hardware.
Pagpili ng quantization:
| Ang iyong sitwasyon | Piliin |
|---|---|
| Server na maraming card, nagbabalanse sa bilis at kalidad | Opisyal na FP8 |
| Limitado ang memorya pero dapat mapanatili ang kalidad | Opisyal na GPTQ-Int4 |
| CPU offload o ekosistema ng llama.cpp | Opisyal na GGUF Q4_K_M |
| Bumubuo ng batayan ng katumpakan | Opisyal na GGUF Q8_0 (tandaan ang dalawang bahagi) |
Pagproseso ng batch: ang isang tunay na benepisyo ng MoE ay ang concurrency throughput. Ang mga kahilingang naka-batch ay pumupuno sa GPU nang mas buo kaysa sa magkakahiwalay na pagkakasunod na kahilingan, at iyan ang dahilan kung bakit angkop ito sa papel na server kaysa sa workstation.
Paghahati ng trabaho sa hy4
| Dimensyon | A13B | hy4 |
|---|---|---|
| Istraktura | MoE, 80.39 bilyong kabuuang parameter sa 64 na expert | Dense, 4.22 bilyong parameter |
| Laki ng timbang sa 4-bit | 48.8GB | 2.61GB |
| Pinakamataas na haba ng posisyong orihinal | 32768 | 262144 |
| KV cache bawat token | humigit-kumulang 128KB | humigit-kumulang 144KB |
| Hardware floor | server na maraming card | isang card, kahit CPU |
| Papel | talukay ng kakayahan, reference generation, kumplikadong gawain | workstation, edge device, mga magaan ngunit mataas ang dami |
Isang praktikal na pares
Gamitin ang A13B nang offline para lumikha ng isang lote ng mataas ang kalidad na tanong at sagot kasama ang mga reference na buod, pagkatapos hayaang ang hy4 ang humawak sa pag-uuri, pagsusulat muli, at routing sa produksyon. Hindi nagtatalo ang dalawang modelo: ang malaking modelo ang nagdedesisyon ng pamantayan, ang maliit na modelo ang nagdadala ng trapik.
FAQ
Magkano ang parameter ng A13B?
Kaya ng consumer card ang A13B?
May opisyal na GGUF ba ang Hunyuan?
Mas mabilis ba ang MoE model kaysa sa dense model na may parehong parameter?
Mas maikli ba ang konteksto ng A13B kaysa sa hy4?
Maaari bang tawagan ang Hunyuan sa pamamagitan ng API?
Karagdagang pagbabasa
- Pahina ng modelong hy4 — ispesipikasyon, quantization matrix at kalkulasyon ng memorya
- Tala sa channel na hy4-preview — ang channel na may 1M na konteksto
- Buod ng pamilya ng Tencent Hunyuan — lahat ng linya ng produkto ng Hunyuan
- Pag-deploy ng Hunyuan hy4 at A13B — mga detalye ng dalawang pangunahing linya
- Pag-deploy ng hy4 gamit ang GGUF — ang buong landas para sa modelong kakasya sa isang makina
- Gabay sa pagpili ng hy4 — mga laki at paghahati sa A13B
- Gabay sa pagkalkula ng VRAM — pangkalahatang matematika ng memorya
- Qwen kumpara sa Hunyuan — paghahambing ng ekosistema at format ng quantization
Mga pinagmulan
Ang istruktura at laki ng file ay sumusunod sa konfigurasyon at listahan ng file sa opisyal na imbakan, nakuha noong Nobyembre 2026; ang mga numerong pang-bilis ay dapat sukatin sa iyong sariling hardware.