Triển khai Hunyuan hy4 và A13B tại chỗ

Hunyuan và hy4 là hai gia đình mô hình mở của Trung Quốc đi theo hai hướng khác nhau rõ rệt: một bên nhấn mạnh the lightweight line, bên kia nhấn mạnh the MoE flagship. Bài này so sánh cấu trúc gia đình, quantization chính thức, hệ sinh thái cộng đồng và đường triển khai thực tế; mọi con số đều được kiểm chứng qua HuggingFace API và config chính thức

The two product lines

Điểm dễ nhầm nhất là tên tổ chức trên HuggingFace: tìm Tencent-Hunyuan chỉ thấy HunyuanDiT v1.1 và v1.2 cùng ControlNet cho Pose, Depth, Canny, tức toàn bộ là mô hình tạo ảnh, không có mô hình văn bản nào. Trong khi đó văn bản, OCR, 3D, video và ảnh thế hệ mới đều nằm trong tổ chức tencent. Nhầm chỗ này thường dẫn tới việc tải file re-upload của bên thứ ba không rõ nguồn gốc và không kiểm soát được mức quantization

Thông số hy4 từ config chính thức: 4.221.757.440 tham số, kiến trúc HunYuanDenseV1ForCausalLM, 36 lớp, hidden 3072, 32 đầu attention / 8 KV head, độ dài vị trí tối đa 262144 và từ vựng 120.818. File BF16 gốc khoảng 8.4GB, còn GGUF Q4_K_M của bartowski đo được 2.61GB, nghĩa là toàn bộ mô hình nằm gọn trong card 6GB ngay cả sau khi chừa KV cache

The MoE flagship

A13B dùng kiến trúc HunYuanMoEV1ForCausalLM với 64 chuyên gia, 32 lớp, hidden 4096, độ dài vị trí tối đa 32768 và từ vựng 128.167. GGUF chính thức của dòng này rất hiếm ở mô hình mở Trung Quốc: Q4_0 45.39GB, Q4_K_M 48.78GB, Q8_0 chia hai mảnh 47.46GB và 37.99GB. Vì vậy một card tiêu dùng đơn lẻ rõ ràng không đủ

Bảng so sánh

Khác biệt dễ thấy nhất nằm ở định dạng trọng số: hy4 của Hunyuan là model 4B cấp Trung Quốc duy nhất được nguồn phát hành đồng thời FP8, GPTQ-Int4 và AWQ-Int4, trong khi hầu hết các gia đình khác chỉ có FP8 rồi giao phần 4-bit cho cộng đồng chuyển đổi. Có cả GPTQ lẫn AWQ nghĩa là bạn có thể đo trên stack của mình rồi chọn

Về triển khai: hy4 dùng FP8 hoặc GPTQ-Int4 chính thức với vLLM, hoặc GGUF Q4_K_M 2.61GB từ cộng đồng với llama.cpp và Ollama trên card 6GB hay thậm chí CPU. A13B là MoE 80,39 tỷ tham số nên cần nhiều card hoặc CPU offload, và có GGUF chính thức Q4_K_M 48,8GB

Deployment commands

./llama-server -m ./hunyuan4b/Q4_K_M.gguf --host 127.0.0.1 --port 8080 --ctx-size 32768 --jinja
ollama create hy4-local -f Modelfile
ollama run hy4-local "Explain MoE in three sentences"
vllm serve tencent/Hunyuan-A13B-Instruct-FP8 --tensor-parallel-size 4

Verify a community GGUF before trusting it

Trước khi tin vào file GGUF cộng đồng, hãy kiểm tra bốn điều: tác giả có ghi rõ nguồn chuyển đổi không, lượt tải có đủ lớn không, nhãn Q4_K_M hay Q5_K_M có đúng thứ bạn cần không, và khi nạp bằng llama-cli thì câu trả lời ngắn có đọc được không. Nếu ra ký tự lạ, hãy nghi ngờ chat template trước, không phải trọng số hỏng, đồng thời ghi lại tên file và ngày chuyển đổi làm đường cơ sở

Hệ sinh thái và số liệu thực

Khoảng cách về mức độ dùng thực tế trong cộng đồng cũng là chỉ báo rõ ràng: 615,000 downloads for HunyuanOCR and 68,700 for A13B versus 982 for hy4 Các con số là lượt tải 30 ngày từ HuggingFace, phản ánh quy mô cộng đồng và khả năng tìm được file GGUF khớp với phần cứng, không phải thước đo chất lượng mô hình, nhưng trong production nó ảnh hưởng trực tiếp tới thời gian xử lý sự cố

Chọn theo tình huống

Kết luận

Câu hỏi đáng giá không phải ai mạnh hơn mà là công việc của bạn cần gì: cần công cụ, tài liệu và lựa chọn có sẵn thì đi theo Hunyuan; cần kiểm soát trọng số, quantization và giữ dữ liệu trong máy thì đi theo hy4. Nhiều hệ thống dùng cả hai và phân luồng theo loại tác vụ

FAQ

Đọc tiếp

• Tổng quan gia đình Tencent Hunyuan — Mọi dòng sản phẩm trong một bài
• Hướng dẫn chọn model hy4 — Phân chia giữa các phiên bản
• Triển khai hy4 với GGUF — Mức quantization và lệnh
• Trang model hy4 — Thông số và ma trận quantization
• hy4-preview — 1M context channel

Nguồn dữ liệu

• Tencent Hunyuan on HuggingFace
• Tencent-Hunyuan on HuggingFace

Số liệu tham số và kích thước file từ HuggingFace API và config chính thức, lấy mẫu tháng 11 năm 2026