hunyuanhy4a13bchinese-modelslocal-deploygguf

การใช้งาน Hunyuan hy4 และ A13B แบบโลคอล

8 พฤศจิกายน 2569by EXAIV Team

การใช้งาน Hunyuan hy4 และ A13B แบบโลคอล

Hunyuan และ hy4 เป็นสองตระกูลโมเดลเปิดของจีนที่เดินคนละทางอย่างชัดเจน ฝั่งหนึ่งเน้นthe lightweight line อีกฝั่งเน้นthe MoE flagship บทความนี้เปรียบเทียบโครงสร้างตระกูล ควอนไทเซชันทางการ ระบบนิเวศของชุมชน และเส้นทางการใช้งานจริง โดยตัวเลขทั้งหมดตรวจสอบจาก HuggingFace API และ config ทางการ

สรุปสั้น ๆ

hy4 คือ dense 4.22 พันล้านพารามิเตอร์ 36 ชั้น บริบท 256K พร้อม FP8, GPTQ-Int4 และ AWQ-Int4 ทางการ ไฟล์ GGUF Q4_K_M 2.61GB รันบนการ์ด 6GB ได้ ส่วน A13B คือ MoE 80.39 พันล้านพารามิเตอร์ 64 ผู้เชี่ยวชาญที่ต้องใช้เครื่องระดับเซิร์ฟเวอร์

The two product lines

จุดที่สับสนบ่อยที่สุดคือชื่อองค์กรบน HuggingFace: การค้น Tencent-Hunyuan จะได้เฉพาะ HunyuanDiT v1.1 และ v1.2 พร้อม ControlNet สำหรับ Pose, Depth และ Canny ซึ่งเป็นโมเดลสร้างภาพทั้งสิ้น ไม่มีโมเดลข้อความแม้แต่ตัวเดียว ขณะที่ข้อความ, OCR, 3D, วิดีโอ และภาพยุคใหม่ทั้งหมดอยู่ใต้องค์กร tencent การเข้าใจผิดตรงนี้มักลงเอยด้วยการดาวน์โหลดไฟล์ที่บุคคลที่สามอัปโหลดซ้ำโดยไม่รู้แหล่งที่มาและควบคุมระดับควอนไทเซชันไม่ได้

ข้อมูลจำเพาะของ hy4 จาก config ทางการ: พารามิเตอร์ 4,221,757,440 ตัว สถาปัตยกรรม HunYuanDenseV1ForCausalLM จำนวน 36 ชั้น hidden size 3072 หัว attention 32 หัว KV 8 หัว ระยะตำแหน่งสูงสุด 262144 และคำศัพท์ 120,818 คำ ไฟล์ BF16 ต้นฉบับมีขนาดราว 8.4GB ส่วน GGUF Q4_K_M จาก bartowski วัดได้ 2.61GB ซึ่งหมายความว่าโมเดลทั้งตัวอยู่ในการ์ด 6GB ได้สบาย ๆ แม้จะเผื่อ KV cache แล้ว

The MoE flagship

ฝั่ง A13B ใช้สถาปัตยกรรม HunYuanMoEV1ForCausalLM มีผู้เชี่ยวชาญ 64 คน 32 ชั้น hidden size 4096 ระยะตำแหน่งสูงสุด 32768 และคำศัพท์ 128,167 คำ GGUF ทางการของรุ่นนี้หาได้ยากในโมเดลเปิดของจีน โดย Q4_0 มีขนาด 45.39GB Q4_K_M 48.78GB และ Q8_0 แบ่งเป็นสองชิ้น 47.46GB กับ 37.99GB ดังนั้นการ์ดผู้บริโภคใบเดียวจึงไม่เพียงพออย่างชัดเจน

ตารางเปรียบเทียบ

มิติ	Hunyuan hy4	Hunyuan A13B
Parameters	4,221,757,440	80,393,183,232
Architecture	HunYuanDenseV1ForCausalLM	HunYuanMoEV1ForCausalLM
Layers	36	32
Hidden size	3072	4096
Attention / KV heads	32 / 8	32 / 8
Max position	262144	32768
Vocabulary	120,818	128,167
Official 4-bit	GPTQ-Int4, AWQ-Int4	GPTQ-Int4, GGUF

ความแตกต่างที่จับต้องได้มากที่สุดอยู่ที่รูปแบบน้ำหนัก: hy4 ของ Hunyuan เป็นโมเดล 4B ระดับจีนเพียงตัวเดียวที่ต้นฉบับปล่อย FP8, GPTQ-Int4 และ AWQ-Int4 พร้อมกัน ขณะที่หลายตระกูลให้เพียง FP8 แล้วปล่อยงาน 4 บิตให้ชุมชนแปลงเอง การมีทั้ง GPTQ และ AWQ หมายถึงคุณวัดผลบนสแต็กของตัวเองแล้วเลือกได้

สำหรับการ deploy: hy4 ใช้ FP8 หรือ GPTQ-Int4 ทางการคู่กับ vLLM ได้ หรือใช้ GGUF Q4_K_M ขนาด 2.61GB จากชุมชนคู่กับ llama.cpp และ Ollama บนการ์ด 6GB หรือ CPU ส่วน A13B ซึ่งเป็น MoE 80.39 พันล้านพารามิเตอร์ต้องใช้หลายการ์ดหรือ CPU offload และมี GGUF ทางการ Q4_K_M ขนาด 48.78GB

Deployment commands

bash

./llama-server -m ./hunyuan4b/Q4_K_M.gguf --host 127.0.0.1 --port 8080 --ctx-size 32768 --jinja
ollama create hy4-local -f Modelfile
ollama run hy4-local "Explain MoE in three sentences"
vllm serve tencent/Hunyuan-A13B-Instruct-FP8 --tensor-parallel-size 4

Verify a community GGUF before trusting it

ก่อนเชื่อไฟล์ GGUF จากชุมชน ให้ตรวจสี่อย่าง: ผู้เผยแพร่ระบุแหล่งที่มาของการแปลงหรือไม่ มียอดดาวน์โหลดมากพอหรือไม่ ป้าย Q4_K_M หรือ Q5_K_M ตรงกับที่ต้องการหรือไม่ และเมื่อโหลดด้วย llama-cli แล้วคำตอบสั้น ๆ อ่านออกหรือไม่ ถ้าได้อักขระแปลก ๆ ให้สงสัยเทมเพลตการสนทนาก่อนเสมอ ไม่ใช่น้ำหนักเสีย และควรบันทึกชื่อไฟล์กับวันที่แปลงไว้เป็นเส้นฐานสำหรับเปรียบเทียบรุ่นถัดไป

ระบบนิเวศและตัวเลขจริง

ช่องว่างของการใช้งานจริงในชุมชนก็เป็นตัวชี้วัดที่ชัดเจน: 615,000 downloads for HunyuanOCR and 68,700 for A13B versus 982 for hy4 ตัวเลขเหล่านี้เป็นยอดดาวน์โหลด 30 วันจาก HuggingFace ซึ่งสะท้อนขนาดชุมชนและโอกาสที่จะหาไฟล์ GGUF ที่ตรงกับฮาร์ดแวร์ได้ ไม่ใช่ค่าความสามารถของโมเดล แต่ในงาน production มันส่งผลโดยตรงต่อเวลาที่ใช้แก้ปัญหา

มิติ	Hunyuan hy4	Qwen lightweight	ERNIE lightweight
Official quantization	FP8 + GPTQ + AWQ	Mostly FP8	Paddle / FP8 / W4A8C8 / 2Bits
Community GGUF	Several publishers	Broadest	Some
Native context	262144	Model dependent	Model dependent
Strength	Official quant choice	Ecosystem and docs	Deployment format variety

เลือกตามสถานการณ์

สถานการณ์ของคุณ	ควรเลือก
A 6GB card, CPU, or edge device	hy4 (Q4_K_M)
Official 4-bit maintained by the source	hy4 (GPTQ-Int4 / AWQ-Int4)
A 256K native context	hy4
Multi-GPU server and highest capability	A13B (FP8)
Multilingual translation	Hunyuan-MT-7B
Document OCR	HunyuanOCR
3D and video generation	Hunyuan3D / HunyuanVideo

บทสรุป

คำถามที่ควรถามไม่ใช่ว่าใครแข็งแรงกว่า แต่งานของคุณต้องการอะไร ถ้าต้องการเครื่องมือ เอกสาร และตัวเลือกสำเร็จรูปให้ไปทาง Hunyuan ถ้าต้องการควบคุมน้ำหนัก ควอนไทเซชัน และให้ข้อมูลอยู่ในเครื่องให้ไปทาง hy4 หลายระบบใช้งานทั้งคู่โดยแบ่งตามประเภทงาน

FAQ

Hunyuan กับ hy4 ต่างกันตรงไหน?

ความต่างหลักอยู่ที่ปรัชญาผลิตภัณฑ์ ระบบนิเวศ และสแต็กการ deploy: the lightweight line ปะทะ the MoE flagship ไม่ใช่เรื่องคะแนน benchmarks รายการเดียว

hy4 มีควอนไทเซชันทางการอะไรบ้าง?

FP8, GPTQ-Int4 และ AWQ-Int4 พร้อมกันสามแบบ ซึ่งหาได้ยากในโมเดล 4B ระดับจีน และ A13B ยังมี GGUF ทางการอีกด้วย

ควรเลือกควอนไทเซชันแบบไหน?

ใช้ vLLM เลือก GPTQ-Int4 หรือ AWQ-Int4 ทางการ ใช้ llama.cpp หรือ Ollama เลือก GGUF Q4_K_M จากผู้เผยแพร่ที่มียอดดาวน์โหลดสูง ใช้ Mac เลือก MLX 4bit

โมเดลเหล่านี้เรียกผ่าน API ได้ไหม?

ให้ยึดแคตตาล็อกโมเดลแบบเรียลไทม์เป็นหลัก เพราะรายชื่อ ราคา และการมีอยู่ของแต่ละรุ่นเปลี่ยนได้ตามการตัดสินใจของแพลตฟอร์ม

ตัวเลขดาวน์โหลดเชื่อถือได้แค่ไหน?

เป็นตัวเลขสาธารณะ 30 วันของ HuggingFace ณ เดือนพฤศจิกายน 2026 ซึ่งเปลี่ยนแปลงได้ตลอดเวลา ควรใช้เป็นสัญญาณเปรียบเทียบ ไม่ใช่ค่าสัมบูรณ์

คำถาม hy4

hy4 uses 4,221,757,440 dense parameters with a native 262144 context and three official quantizations FP8, GPTQ-Int4 and AWQ-Int4.

คำถาม A13B

A13B is an MoE with 80,393,183,232 total parameters and 64 experts, and it needs a multi-GPU server or CPU offload.

อ่านต่อ

ภาพรวมครอบครัว Tencent Hunyuan — ทุกสายผลิตภัณฑ์ในที่เดียว
คู่มือเลือกโมเดล hy4 — การแบ่งงานระหว่างรุ่น
hy4 GGUF local deployment — ระดับควอนไทเซชันและคำสั่ง
หน้าโมเดล hy4 — สเปกและเมทริกซ์ควอนไทเซชัน
hy4-preview — 1M context channel

แหล่งข้อมูล

ตัวเลขพารามิเตอร์และขนาดไฟล์จากการตรวจ HuggingFace API และ config ทางการ เก็บข้อมูลเมื่อพฤศจิกายน 2026

คีย์เดียวเรียกโมเดลจีนได้ทั้งชุด

EXAIV ให้บริการ Qwen, DeepSeek, Kimi และ GLM ผ่าน endpoint แบบ OpenAI compatible สมัครใช้งานแล้วเรียกได้ทันที

ดูแพ็กเครดิต

← กลับไปที่บล็อก

hunyuanhy4a13bchinese-modelslocal-deploygguf

การใช้งาน Hunyuan hy4 และ A13B แบบโลคอล

8 พฤศจิกายน 2569by EXAIV Team

การใช้งาน Hunyuan hy4 และ A13B แบบโลคอล

สรุปสั้น ๆ

The two product lines

The MoE flagship

ตารางเปรียบเทียบ

มิติ	Hunyuan hy4	Hunyuan A13B
Parameters	4,221,757,440	80,393,183,232
Architecture	HunYuanDenseV1ForCausalLM	HunYuanMoEV1ForCausalLM
Layers	36	32
Hidden size	3072	4096
Attention / KV heads	32 / 8	32 / 8
Max position	262144	32768
Vocabulary	120,818	128,167
Official 4-bit	GPTQ-Int4, AWQ-Int4	GPTQ-Int4, GGUF

Deployment commands

bash

./llama-server -m ./hunyuan4b/Q4_K_M.gguf --host 127.0.0.1 --port 8080 --ctx-size 32768 --jinja
ollama create hy4-local -f Modelfile
ollama run hy4-local "Explain MoE in three sentences"
vllm serve tencent/Hunyuan-A13B-Instruct-FP8 --tensor-parallel-size 4

Verify a community GGUF before trusting it

ระบบนิเวศและตัวเลขจริง

มิติ	Hunyuan hy4	Qwen lightweight	ERNIE lightweight
Official quantization	FP8 + GPTQ + AWQ	Mostly FP8	Paddle / FP8 / W4A8C8 / 2Bits
Community GGUF	Several publishers	Broadest	Some
Native context	262144	Model dependent	Model dependent
Strength	Official quant choice	Ecosystem and docs	Deployment format variety

เลือกตามสถานการณ์

สถานการณ์ของคุณ	ควรเลือก
A 6GB card, CPU, or edge device	hy4 (Q4_K_M)
Official 4-bit maintained by the source	hy4 (GPTQ-Int4 / AWQ-Int4)
A 256K native context	hy4
Multi-GPU server and highest capability	A13B (FP8)
Multilingual translation	Hunyuan-MT-7B
Document OCR	HunyuanOCR
3D and video generation	Hunyuan3D / HunyuanVideo