Chọn hy4 thế nào: bốn phiên bản dòng nhẹ của Hunyuan và vị trí của A13B
Chọn hy4 thế nào: bốn phiên bản dòng nhẹ của Hunyuan và vị trí của A13B
Các tên model của Hunyuan rất dễ khiến người ta chọn sai: hy3, hy4, hy3-preview, hy4-preview và Hunyuan-A13B-Instruct trông như những người họ hàng thân thiết, nhưng thực ra chúng nằm ở các bậc kích thước khác nhau, các thế hệ khác nhau và các kênh phát hành khác nhau. Hơn nữa, ID phía nền tảng không ánh xạ một-một với tên trọng số trên HuggingFace, nên việc chọn model trở thành hai bước: hiểu cách đặt tên trước, rồi mới hiểu bài toán. Bài viết này trải ra mọi bậc kích thước của Hunyuan cùng lúc: vị trí của từng bậc, các quantization chính thức, ngưỡng bộ nhớ, và tình huống nào thì nó mới là đáp án đúng.
Tóm tắt trong 30 giây
Thiết bị biên và edge thì chọn hy4 (4B); khi bộ nhớ chỉ đủ cho mức 2B thì chọn 1.8B hoặc 0.5B; cần trần năng lực cao hơn thì chọn A13B (MoE); cần trọng số 4-bit do chính nguồn bảo trì thì chọn hy4 (GPTQ-Int4 / AWQ-Int4); cần dịch thuật thì chọn Hunyuan-MT-7B. Hậu tố preview là một kênh riêng có ngữ cảnh dài hơn, không phải phiên bản chính thức kém hơn.
Cả năm kích thước cạnh nhau
| Kích thước | Dạng trọng số | Công dụng điển hình | Dung lượng xấp xỉ ở 4-bit | Hoạt động cộng đồng |
|---|---|---|---|---|
| Hunyuan-0.5B-Instruct | 0.5B dense | Phân loại, gắn nhãn, định tuyến | dưới 1GB | khoảng 2.500 / tháng |
| Hunyuan-1.8B-Instruct | 1.8B dense | Trợ lý biên, đầu pipeline | 1–2GB | khoảng 2.000 / tháng |
| Hunyuan-4B-Instruct (hy4) | 4B dense | Dòng nhẹ chủ lực, ưu tiên tiếng Trung | 3–4GB | khoảng 1.000 / tháng |
| Hunyuan-7B-Instruct | 7B dense | Năng lực tổng quát cỡ trung bình | 5–6GB | khoảng 5.200 / tháng |
| Hunyuan-A13B-Instruct | MoE | Flagship của gia đình | từ 8GB trở lên | khoảng 68.700 / tháng |
Dung lượng là ước tính theo trọng số 4-bit; mức dùng thực tế còn phải cộng KV cache và chi phí runtime. Cách tính chính xác nằm trong bài triển khai hy4 với GGUF.
ID nền tảng và tên trọng số là hai lớp đặt tên
Danh mục nền tảng dùng ID phía dịch vụ như hy3, hy4, hy3-preview, hy4-preview. Trọng số trên HuggingFace mang tên như Hunyuan-4B-Instruct, Hunyuan-4B-Pretrain, kèm các kho -FP8, -GPTQ-Int4, -AWQ-Int4. Dùng tên sau để triển khai cục bộ và tên trước để gọi API. Trộn hai lớp này là cách phí thời gian nhiều nhất.
hy3 và hy4: hai dòng nhẹ độc lập
hy3 ứng với bậc Hunyuan-7B (7B dense), hy4 ứng với bậc Hunyuan-4B (4B dense). Mối quan hệ giữa chúng không phải là một model lớn và một model nhỏ, mà là hai dòng nhẹ riêng biệt:
| Tiêu chí | hy3 | hy4 |
|---|---|---|
| Số tham số | 7B dense | 4B dense |
| Bộ nhớ (4-bit) | 5–6GB | 3–4GB |
| Nhãn ngữ cảnh trong danh mục | 256K | hiện chưa ghi |
| Quantization chính thức | FP8 / AWQ-Int4 | FP8 / GPTQ-Int4 / AWQ-Int4 |
| GGUF cộng đồng | nhiều nhà phát hành | nhiều nhà phát hành, bartowski dẫn đầu |
Chọn dựa theo bộ nhớ còn trống trên card của bạn: nếu card 6GB chạy được hy3 mà không tranh giành bộ nhớ với job huấn luyện, hy3 cho năng lực cao hơn. Nếu card chỉ ở mức 4GB hoặc phải chia sẻ với dịch vụ khác, hy4 là lựa chọn thực tế hơn.
Ít hơn một nửa tham số không có nghĩa kém hơn một nửa
Khoảng cách giữa 4B và 7B lộ ra rõ ở suy luận dài, tuân thủ chỉ dẫn phức tạp và độ phủ kiến thức. Nếu nhiệm vụ là trích xuất có cấu trúc với định dạng đầu ra cố định, hy4 thường cho kết quả gần với dự đoán theo chênh lệch kích thước. Nếu là viết bài dài hay suy luận nhiều bước, lợi ích của 7B là có thật.
Hậu tố preview nghĩa là gì
Nền tảng liệt kê hy3-preview và hy4-preview như các mục riêng biệt. Chúng không phải bản chính thức bị cắt bớt, mà là những kênh phát hành khác nhau:
| ID | Nhãn ngữ cảnh theo danh mục | Hợp với |
|---|---|---|
| hy3-preview | 256K | Một kênh ổn định cần ngữ cảnh dài |
| hy4-preview | 1,048,576 (1M) | Ngữ cảnh cực dài: cả repository, biên bản họp dài, lô tài liệu lớn |
Nhãn 1M là dấu hiệu dễ nhận nhất của hy4-preview. Nhưng cần lưu ý hai điều:
- Cửa sổ dài không đồng nghĩa dài thì dùng tốt. Độ chính xác truy hồi, loãng chú ý và chi phí suy luận ở mức 1M đều cần đánh giá riêng; cửa sổ lớn chỉ là trần.
- Nhãn có thay đổi. Độ dài ngữ cảnh và hệ số tính phí đi theo danh mục thời gian thực, các con số trong bài chỉ phản ánh trạng thái lúc lấy mẫu.
Cách đọc đúng một ID preview
Hãy hiểu nó là "kênh này quảng bá ngữ cảnh dài hơn", chứ không phải "bản thử nghiệm không ổn định". Nó có giúp hay không phụ thuộc vào việc nhiệm vụ của bạn có thật sự cần đưa hàng megabyte tài liệu vào một prompt hay không. Nếu không, kênh hy4 chính thức thường an tâm hơn.
Chọn giữa ba quantization chính thức của hy4
hy4 là model Hunyuan duy nhất ở cấp 4B phát hành đủ ba định dạng quantization:
| Quantization | Mất chất lượng | Phù hợp với |
|---|---|---|
| FP8 | gần như không | vLLM / SGLang, team chuẩn hoá một stack |
| GPTQ-Int4 | nhỏ | hệ sinh thái AutoGPTQ, vLLM |
| AWQ-Int4 | nhỏ, nhạy với activation | hệ sinh thái AutoAWQ, vLLM |
GPTQ và AWQ là hai thuật toán 4-bit khác nhau: GPTQ bù sai số theo từng lớp, còn AWQ bảo vệ các kênh quan trọng dựa trên phân bố activation. Trên cùng một model, kết quả thường khác nhau, và ý nghĩa của việc phát hành cả hai là bạn có thể đo rồi chọn.
Tuyến GGUF cộng đồng cũng đầy đủ: bartowski, mradermacher, gabriellarson, DevQuasar, Disya đều có bản convert của hy4, trong đó bản của bartowski được tải nhiều nhất (hơn 2.000). Người dùng Apple Silicon còn có thể dùng bản 4bit của mlx-community, hoặc bản MNN của taobao-mnn cho triển khai ở thiết bị biên.
Đừng fine-tune từ file đã lượng tử hóa 4-bit
Fine-tune cần gradient, còn trọng số đã lượng tử hóa giới hạn đường đi huấn luyện. Hãy bắt đầu thử nghiệm từ FP8 hoặc BF16 chính thức, chạy thông suốt quy trình rồi mới lượng tử hóa để triển khai.
hy4 và A13B chia việc ra sao
Đây là cặp model hay được hỏi nhất trong gia đình Hunyuan.
| Tiêu chí | hy4 | A13B |
|---|---|---|
| Cấu trúc | 4B dense | MoE |
| Bộ nhớ nằm ở đâu | chính trọng số | toàn bộ tổng trọng số vẫn vào bộ nhớ |
| Chi phí suy luận | ổn định, dự đoán được | theo tham số kích hoạt nên vẫn khiêm tốn |
| Trần năng lực | bậc tiết kiệm cho công việc nhẹ tiếng Trung | flagship, mạnh hơn ở tác vụ phức tạp |
| Quantization chính thức | FP8 / GPTQ-Int4 / AWQ-Int4 | FP8 / GPTQ-Int4 / GGUF chính thức |
| Phù hợp với | biên, nhúng, tác vụ nhẹ lưu lượng lớn | chat tổng quát, suy luận phức tạp, nghiên cứu |
Quy tắc chọn rất đơn giản: mật độ giá trị trên mỗi request quyết định bậc model. Nếu một request rẻ hơn có ý nghĩa vì lưu lượng cực lớn, kinh tế của hy4 sẽ thắng. Nếu lưu lượng không lớn nhưng từng request đều quan trọng, năng lực của A13B đáng tiền hơn.
Chọn theo phần cứng
| Phần cứng của bạn | Nên chọn | Lý do |
|---|---|---|
| 4GB VRAM, hoặc chỉ CPU | Hunyuan-1.8B-Instruct | 4B ở 4-bit cộng KV cache sẽ quá sát |
| 6–8GB VRAM | hy4 (Q4_K_M / Q5_K_M) | Vùng thoải mái cho 4B ở 4-bit |
| 12GB trở lên | hy4 bản độ chính xác cao hơn hoặc hy3 | Tùy mật độ giá trị của tác vụ |
| 16GB trở lên | A13B (GGUF 4-bit) | Tổng trọng số của MoE bắt đầu từ 8GB |
| Apple Silicon | hy4 MLX 4bit hoặc A13B MLX 4bit | Bộ nhớ thống nhất, lợi ích lượng tử hóa trực tiếp |
| Chỉ suy luận bằng CPU | GGUF Q4/Q5 của hy4 | 4B là trần thực tế cho CPU |
Ánh xạ nhiệm vụ
| Nhiệm vụ của bạn | Nên chọn |
|---|---|
| Chăm sóc khách hàng, hỏi đáp tiếng Trung | hy4 |
| Triển khai biên hoặc thiết bị nhúng | hy4 hoặc 1.8B |
| Phân loại ý định, định tuyến | Hunyuan-0.5B-Instruct |
| Hoàn thành mã, sinh hàm nhỏ | hy4 |
| Phân tích tài liệu dài (hàng trăm nghìn token) | hy4-preview (kênh 1M) |
| Dịch đa ngôn ngữ | Hunyuan-MT-7B |
| Suy luận phức tạp, hỏi đáp kiểu nghiên cứu | A13B |
| Đầu ra có cấu trúc nghiêm ngặt | hy4 (4B tuân thủ ràng buộc định dạng khá tốt) |
Ba lỗi thường gặp
- Dùng hy4 cho việc của A13B — chỉ định một model 4B vào tác vụ suy luận nhiều bước rồi kết luận "Hunyuan không được". Đó là lỗi chọn model, không phải lỗi model.
- Coi kênh preview là kênh thiếu ổn định — nó là một mục riêng có nhãn ngữ cảnh dài hơn; khả năng của nó phụ thuộc vào nhiệm vụ chứ không phải hậu tố.
- Đưa tên trọng số HuggingFace làm API ID — triển khai cục bộ dùng
Hunyuan-4B-Instruct, gọi nền tảng dùng ID thật trong danh mục, hai lớp đặt tên không lẫn vào nhau.
FAQ
hy4 và Hunyuan-4B-Instruct có phải là một không?
hy3-preview khác hy3 thế nào?
Với hy4 ở 4-bit nên dùng GPTQ hay AWQ?
Card 4GB có chạy được hy4 không?
hy4 có xử lý hình ảnh được không?
Có gọi Hunyuan qua API được không?
Đọc tiếp
- Trang model hy4 — thông số, ma trận quantization và cách tính bộ nhớ
- Ghi chú kênh hy4-preview — kênh ngữ cảnh 1M
- Tổng quan gia đình Tencent Hunyuan — mọi dòng sản phẩm của Hunyuan trong một bài
- Triển khai Hunyuan hy4 và A13B — chi tiết triển khai hai dòng chính
- Triển khai hy4 với GGUF — bậc quantization, cách tính bộ nhớ và lệnh chạy
- Hunyuan A13B MoE thực chiến — đánh đổi kỹ thuật của MoE
- hy4 so với Qwen3.8-Flash — so sánh trực diện ở bậc nhẹ
- Danh mục model — các model gọi được trên EXAIV hiện nay
Nguồn dữ liệu
- Tencent Hunyuan trên HuggingFace
- Nhãn ngữ cảnh và kênh theo danh mục model thời gian thực của nền tảng
Số lượt tải là bộ đếm công khai 30 ngày của HuggingFace, lấy mẫu tháng 11 năm 2026; thông số và giấy phép theo model card chính thức.