Paano Pumili ng hy4: Apat na Varian ng Lightweight na Linya ng Hunyuan at ang Posisyon ng A13B
Paano Pumili ng hy4: Apat na Varian ng Lightweight na Linya ng Hunyuan at ang Posisyon ng A13B
Napakadalas na maling piliin dahil sa mga pangalan ng modelo ng Hunyuan: ang hy3, hy4, hy3-preview, hy4-preview at Hunyuan-A13B-Instruct ay mukhang magkakapatid, ngunit talaga'y nasa iba't ibang antas ng laki, henerasyon at release channel. Dagdag pa riyan, ang mga ID sa panig ng platform ay hindi one-to-one na map sa mga pangalan ng timbang sa HuggingFace, kaya ang pagpili ng modelo ay naging dalawang hakbang: una muna unawain ang mga pangalan, saka ang mismong gawain. Inilalatag ng artikulo na ito ang lahat ng laki ng Hunyuan nang sabay: ang posisyon ng bawat varian, ang opisyal na quantization, ang memory threshold, at ang sitwasyong kung saan ito ang tamang sagot.
Buod sa 30 segundo
Para sa edge at mga device sa gilid, kunin ang hy4 (4B); kapag memoryo ay sapat lang para sa antas 2B, pumili ng 1.8B o 0.5B; kapag kailangan ng mas mataas na limit ng kakayahan, kunin ang A13B (MoE); kapag kailangan ng 4-bit na timbang na pinananatili ng mismong pinagmulan, kunin ang hy4 (GPTQ-Int4 / AWQ-Int4); para sa pagsasaad, kunin ang Hunyuan-MT-7B. Ang hulip na preview ay isang channel na mas mahabang konteksto, hindi mas mah inferior na opisyal na bersyon.
Limang laki na magkatabi
| Laki | Anyo ng timbang | Karaniwang gamitin | Humigit-kumulang na footprint sa 4-bit | Aktibidad ng komunidad |
|---|---|---|---|---|
| Hunyuan-0.5B-Instruct | 0.5B dense | Pag-classify, pag-tag, pag-ruta | wala pang 1GB | humigit-kumulang 2,500 / buwan |
| Hunyuan-1.8B-Instruct | 1.8B dense | Mga assistant sa gilid, dulo ng pipeline | 1–2GB | humigit-kumulang 2,000 / buwan |
| Hunyuan-4B-Instruct (hy4) | 4B dense | Pangunahing magaan na linya, nakatuon sa Tsina | 3–4GB | humigit-kumulang 1,000 / buwan |
| Hunyuan-7B-Instruct | 7B dense | Pangkalahatang kakayahan ng katamtamang laki | 5–6GB | humigit-kumulang 5,200 / buwan |
| Hunyuan-A13B-Instruct | MoE | Ang flagship ng pamilya | 8GB pataas | humigit-kumulang 68,700 / buwan |
Ang mga footprint ng memoryo ay pagtataya para sa 4-bit na timbang; ang aktuwal na paggamit ay nangangailangan pa rin ng KV cache at ng gastos ng runtime. Ang detalyadong kalkulasyon ay nasa pag-deploy ng hy4 gamit ang GGUF.
Ang ID ng platform at ang pangalan ng timbang ay dalawang layer
Ginagamit ng katalogo ng platform ang mga ID na nasa gilid ng serbisyo tulad ng hy3, hy4, hy3-preview, hy4-preview. Ang mga timbang sa HuggingFace ay gumagamit ng mga pangalang tulad ng Hunyuan-4B-Instruct at Hunyuan-4B-Pretrain, kasama ang mga repository na -FP8, -GPTQ-Int4, -AWQ-Int4. Gamitin ang pangalawa para sa lokal na deployment at ang una para sa tawag sa API. Ang paghahalo ng dalawang layer na ito ang pinakamalaking pagkalugi ng oras.
hy3 at hy4: dalawang magkakahati na magaan na linya
Nasa antas ng Hunyuan-7B (7B dense) ang hy3 at nasa antas ng Hunyuan-4B (4B dense) ang hy4. Hindi ito isang malaki at isang maliit na bersyon ng iisang modelo, kundi dalawang magkSeparate na magaan na linya:
| Aspekto | hy3 | hy4 |
|---|---|---|
| Parametro | 7B dense | 4B dense |
| Memoryo (4-bit) | 5–6GB | 3–4GB |
| Label ng konteksto sa katalogo | 256K | kasalukuyang walang label |
| Opisyal na quantization | FP8 / AWQ-Int4 | FP8 / GPTQ-Int4 / AWQ-Int4 |
| Komunidad na GGUF | maraming naglalaman | maraming naglalaman, nangunguna ang bartowski |
Pumili batay sa natitirang memoryo ng card mo. Kapag kaya ng 6GB na card ang hy4 nang hindi nakikipag-away sa trabaho ng training para sa memoryo, nagbibigay ang hy3 ng mas mataas na limit ng kakayahan. Kapag 4GB-class ang card o kailangang magbahagi ng serbisyo, ang hy4 ang makatotohanang pagpipilian.
Hindi kasingkahulugan ng napakababa ng parameter ang kakayahan
Lalabas ang agwat sa pagitan ng 4B at 7B sa mahabang pagpapaliwanag, pagsunod sa masalimuut na tagubilin at saklaw ng kaalaman. Kapag ang gawain ay structured na pagkuha ng datos na may nakapirming output format, malapit ang hy4 sa inaasahan ng datos na sukat ng laki. Sa mahabang pagsulat o sunod-sunod na pagpapaliwanag, totoo ang benepisyo ng 7B.
Ano ang ibig sabihin ng preview
Hiwalay na mga entry ang hy3-preview at hy4-preview sa platform. Hindi ito pinaikling bersyon ng opisyal na release, kundi magkakahati na release channel:
| ID | Label ng konteksto ayon sa katalogo | Bagay na angkop |
|---|---|---|
| hy3-preview | 256K | matatag na channel na nangangailangan ng mahabang konteksto |
| hy4-preview | 1,048,576 (1M) | napakababang konteksto: buong repository, mahabang transcript, malaking lote ng PDF |
Ang label na 1M ang pinakamakapal na tanda ng hy4-preview. Dalawang bagay ang dapat bantayan:
- Hindi malalim ang konteksto sa pagiging kapaki-pakinabang. Kailangang sukatin nang hiwalay ang katumpakan ng retrieval, ang paglabas ng aktensyon at ang gastos ng inference sa antas na 1M; ang malaking bintana ay panatlang lamang.
- Nagbabago ang mga label. Ang haba ng konteksto at ang presyo ay sumusunod sa live na katalogo, kaya ang mga numero sa artikulo ay larawan lamang ng estado noong kinuha ang sampol.
Paano basahin ang isang preview ID nang tama
Dahilan sa "ang channel na ito ay nag-a-advertise ng mas mahabang konteksto", hindi sa "pambayag na bersyon na hindi matatag". Nakakatulong ba o hindi ay nakadepende sa tunay na pangangailangan ng iyong gawain na magpasok ng milyong-byte na materyal sa isang prompt. Kung wala, mas ligtas ang opisyal na hy4 channel.
Pagpili sa tatlong opisyal na quantization ng hy4
Ang hy4 lang ang modelo ng Hunyuan sa antas 4B na naglabas ng tatlong format ng quantization nang sabay:
| Quantization | Pagkalugi ng kalidad | Bagay na angkop |
|---|---|---|
| FP8 | halos wala | vLLM / SGLang, team na may iisang stack |
| GPTQ-Int4 | maliit | ecosystem ng AutoGPTQ, vLLM |
| AWQ-Int4 | maliit, aktibasyon-aware | ecosystem ng AutoAWQ, vLLM |
Magkaiba ang GPTQ at AWQ bilang algorithm: ginagawa ng GPTQ ang per-layer error compensation habang pinoprotektahan ng AWQ ang mga mahalagang channel batay sa distribusyon ng aktibasyon. Madalas magkaiba ang resulta sa parehong modelo, at ang paglabas ng dalawa ay para masukatan ka at pumili ka mismo.
Kumpleto rin ang komunidad na GGUF: may conversion ang bartowski, mradermacher, gabriellarson, DevQuasar at Disya para sa hy4, at ang bersyon ni bartowski ang pinakamataas sa bilang ng pag-download (higit 2,000). Mayroon ding 4bit na build ng mlx-community para sa Apple Silicon at ang bersyon MNN ng taobao-mnn para sa edge deployment.
Huwag mag-fine-tune mula sa 4-bit na naka-quantize na file
Kailangan ng fine-tune ng gradient, at ang naka-quantize na timbang ay naglilimita sa landas ng pagsasanay. Magsimula mula sa opisyal na FP8 o BF16 para sa pagsubok, tiyakin muna ang daloy ng trabaho, saka i-quantize para sa deployment.
Paano naghahati ng trabaho ang hy4 at A13B
Ito ang pinakamadalas na itatanong na pares sa loob ng pamilya ng Hunyuan.
| Aspekto | hy4 | A13B |
|---|---|---|
| Istruktura | 4B dense | MoE |
| Saan napupunta ang memoryo | sa mismong timbang | lahat ng kabuuang timbang ay kailangan pa ring nasa memoryo |
| Gastos ng inference | matatag at mahirapan hulaan | sumusunod sa aktibong parametro kaya nananatiling mababa |
| Limit ng kakayahan | antas na cost-effective para sa magaan gawain sa Tsina | flagship, mas matibay sa kumplikadong gawain |
| Opisyal na quantization | FP8 / GPTQ-Int4 / AWQ-Int4 | FP8 / GPTQ-Int4 / opisyal na GGUF |
| Bagay na angkop | edge, naka-embed, magaan ngunit malaking dami ng traffic | pangkalahatang usapan, kumplikadong pagpapaliwanag, pananaliksik |
Ang tuntunin ay simple: ang density ng halaga kada request ang nagpapasiya ng antas ng modelo. Kapag mahalaga ang isang kahilingan dahil malaki ang dami, panalo ang ekonomiya ng hy4. Kapag hindi malaki ang dami ngunit mahalaga ang bawat kahilingan, sulit ang kakayahan ng A13B.
Pumili ayon sa hardware
| Iyong hardware | Kunin | Bakit |
|---|---|---|
| 4GB VRAM, o CPU lamang | Hunyuan-1.8B-Instruct | magiging siksik ang 4B sa 4-bit kasama ang KV cache |
| 6–8GB VRAM | hy4 (Q4_K_M / Q5_K_M) | komportableng sona para sa 4B sa 4-bit |
| 12GB pataas | hy4 na mas mataas ang katumpakan o hy3 | nakadepende sa density ng halaga ng gawain |
| 16GB pataas | A13B (GGUF 4-bit) | nagsisimula ang kabuuang timbang ng MoE sa 8GB |
| Apple Silicon | hy4 MLX 4bit o A13B MLX 4bit | pinagsasama ang memoryo kaya diretso ang benepisyo ng quantization |
| Inference gamit ang CPU lamang | GGUF Q4/Q5 ng hy4 | 4B ang makatotohanang limit para sa CPU |
Mapa ng gawain
| Ang iyong gawain | Kunin |
|---|---|
| Assistant na nasa Tsina, deployment sa gilid | hy4 |
| Napakaliit sa gilid, pag-classify at pag-tag | Hunyuan-0.5B-Instruct |
| Kailangan ng 4-bit na pinananatili ng pinagmulan | hy4 (GPTQ-Int4 / AWQ-Int4) |
| Pinakamataas na limit ng kakayahan, bukas na MoE | A13B |
| Pagsasaad sa maraming wika | Hunyuan-MT-7B |
| Pagsusuri ng dokumento, pagbawi ng layout | HunyuanOCR |
| Kumplikadong pagpapaliwanag, tanong pananaliksik | A13B |
| Mahigpit na structured na output | hy4 (magandang paggalang sa format ang 4B) |
Tatlong karaniwang mali
- Ginagamit ang hy4 para sa trabahong para sa A13B — itutok ang 4B na modelo sa kumplikadong multi-step na gawain at saka sasabihing hindi maganda ang Hunyuan. Mali ito sa pagpili ng modelo, hindi sa modelo mismo.
- Inaasuman na hindi matatag ang preview channel — hiwalay itong entry na may mas mahabang label ng konteksto; ang kakayahan nito ay nakadepende sa iyong gawain, hindi sa hulip ng pangalan.
- Ipinapasa ang pangalan ng timbang sa HuggingFace bilang API ID — lokal na deployment ang
Hunyuan-4B-Instruct, ang tawag sa platform ay ang totoong ID mula sa katalogo, at hindi dapat maghalo ang dalawang layer na ito.
FAQ
Pareho ba ang hy4 at ang Hunyuan-4B-Instruct?
Ano ang kaibhan ng hy3-preview at hy3?
Para sa hy4 sa 4-bit, GPTQ ba o AWQ?
Kaya bang patakbuhin ang hy4 sa 4GB na card?
Kayang magpakiramdam ng larawan ang hy4?
Maaari ba akong tumawag sa Hunyuan sa pamamagitan ng API?
Karagdagang pagbabasa
- Pahina ng modelong hy4 — ispesipikasyon, quantization matrix at kalkulasyon ng memorya
- Tala sa channel na hy4-preview — ang channel na may 1M na konteksto
- Buod ng pamilya ng Tencent Hunyuan — lahat ng linya ng produkto ng Hunyuan sa isang artikulo
- Pag-deploy ng Hunyuan hy4 at A13B — detalye ng deployment ng dalawang pangunahing linya
- Pag-deploy ng hy4 gamit ang GGUF — antas ng quantization, kalkulasyon ng memoryo at mga utos
- Hunyuan A13B MoE — mga pagsasaalang-alang sa arkitektura ng MoE
- hy4 kumpara sa Qwen3.8-Flash — tuwirang paghahambing sa antas na magaan
- Direktoryo ng modelo — mga modelo na callable sa EXAIV ngayon
Mga pinagmulan
- Tencent Hunyuan sa HuggingFace
- Ang mga label ng konteksto at channel ay sumusunod sa live na katalogo ng modelo ng platform
Ang bilang ng pag-download ay pampublikong 30 araw na counter ng HuggingFace at kinuha noong Nobyembre 2026; ang espesipikasyon at lisensya ay sumusunod sa pinakabagong opisyal na model card.