MoE của Hunyuan A13B: 80B tổng tham số, 64 chuyên gia và cân nhắc triển khai
MoE của Hunyuan A13B: 80B tổng tham số, 64 chuyên gia và cân nhắc triển khai
Hunyuan-A13B là mô hình MoE đầu tiên và duy nhất của gia đình Hunyuan mở nặng tổng kết: cấu hình chính thức ghi 80,39 tỷ tổng tham số, 64 chuyên gia, 32 lớp, và chữ A trong tên chỉ lượng tham số kích hoạt cho mỗi token. Cấu trúc này khiến hai điều tưởng như mâu thuẫn cùng đúng: chi phí tính toán gần như ở mức model dense vừa, nhưng tổng trọng lượng thì ở mức 80 tỷ — vẫn phải nạp toàn bộ vào bộ nhớ. Bài này nói rõ cấu trúc, dung lượng bộ nhớ, cách dùng thực tế của GGUF chính thức, và phân chia công việc với hy4.
Tóm tắt 30 giây
A13B là model cấp máy chủ, không phải model cấp máy trạm: file GGUF chính thức Q4_K_M có 48,8GB, Q4_0 là 45,4GB, nên card đồ hoạ tiêu dùng đơn lẻ không chứa được. Nó cần nhiều card, CPU offload, hoặc máy có bộ nhớ lớn. hy4 mới là model chạy được trên một máy. Nếu bạn muốn chạy Hunyuan tại chỗ, điểm bắt đầu phải là hy4 chứ không phải A13B.
Làm rõ tên gọi và cấu trúc
| Hạng mục | Giá trị (từ config chính thức) |
|---|---|
| Kiến trúc | HunYuanMoEV1ForCausalLM |
| Tổng tham số | 80,393,183,232 (khoảng 80,39 tỷ) |
| Số chuyên gia | 64 |
| Số lớp | 32 |
| Kích thước ẩn | 4096 |
| Đầu attention / KV | 32 / 8 (attention theo nhóm truy vấn) |
| Kích thước trung gian | 3072 |
| Độ dài vị trí tối đa | 32768 |
| Kích thước từ vựng | 128.167 |
Chữ A trong A13B là Active
Hunyuan dùng quy ước đặt tên: con số đứng đầu là lượng tham số được kích hoạt cho mỗi token (13B), còn tổng tham số không được ghi trong tên. Tổng tham số thật của A13B là 80,39 tỷ. Khác biệt này là điểm xuất phát của mọi quyết định triển khai — chi phí tính toán tính theo 13B, nhưng lưu trữ tính theo 80B.
Cơ chế MoE: mỗi lớp MLP được tách thành nhiều chuyên gia, và bộ định tuyến chọn một vài chuyên gia cho mỗi token trong khi phần còn lại không tham gia. Hệ quả:
- Chi phí tính toán gần với model dense 13B vì mỗi token chỉ đi qua một số ít chuyên gia
- Lưu trữ trọng số vẫn ở mức 80B vì tất cả chuyên gia đều phải được nạp
- Xử lý hàng loạt có thể làm giảm chi phí vì trong một lần forward, các token khác nhau kích hoạt các chuyên gia khác nhau nên đơn vị tính toán của GPU được lấp đầy hơn
MoE tiết kiệm tính toán, không phải bộ nhớ
Đây là chẩn đoán sai phổ biến nhất. Nhiều người thấy "13B kích hoạt" rồi nghĩ nó vừa với bộ nhớ của model 13B. Trên thực tế bạn vẫn phải trả giá cho 80B trọng số: dù ở mức 4-bit cũng là khoảng 40GB, và file GGUF chính thức Q4_K_M đo được 48,8GB trên đĩa. Khi bộ nhớ không đủ, engine sẽ trút một phần lớp xuống bộ nhớ hệ thống và tốc độ giảm một bậc — đó không phải "chậm hơn một chút" mà là "gần như không dùng được".
Dung lượng bộ nhớ: cả ba lớp đều phải tính
Lớp một: trọng số
| Dạng trọng số | Dung lượng (đo trên GGUF chính thức) |
|---|---|
| BF16 gốc | khoảng 161GB |
| Kho FP8 chính thức | khoảng 80GB |
| Kho GPTQ-Int4 chính thức | khoảng 20GB |
| GGUF Q4_0 | 45,4GB |
| GGUF Q4_K_M | 48,8GB |
| GGUF Q8_0 (hai phần) | 47,5GB + 38,0GB ≈ 85,5GB |
Vì sao GGUF chính thức đáng để tải riêng
Với model 80B, giá trị của GGUF chính thức nằm ở khả năng phân đoạn và CPU offload: Q8_0 được chia thành hai phần nên nạp từng mảnh được; Q4_K_M cho mức mất mát chất lượng cân bằng hơn so với Q4_0. Bản chuyển đổi cộng đồng thường chỉ xuất một file lớn, phân đoạn và xử lý siêu dữ liệu kém thân thiện hơn, khiến offload khó hơn đúng lúc bạn cần. Đây là ví dụ hiếm gặp của việc model mở nguồn Trung Quốc xuất bản GGUF chính thức như một sản phẩm bình đẳng.
Lớp hai: KV cache
KV cache ≈ 2 × 32 lớp × 8 KV head × 128 head dim × độ dài ngữ cảnh × 2 byte
≈ 128KB × độ dài ngữ cảnh
Cửa sổ đầy 32K khoảng 4GB, còn ngữ cảnh 8K khoảng 1GB. Phần này đối với A13B không phải mâu thuẫn chính (trọng số mới là), nhưng sẽ được khuếch đại khi xử lý đồng thời: số yêu cầu cộng độ dài ngữ cảnh quyết định tổng dung lượng KV cache.
Lớp ba: chi phí chạy
Ngữ cảnh CUDA, bộ đệm giao tiếp đa card, và các tensor trung gian của expert parallel; trong trường hợp đa card, hạng mục này phình rõ rệt.
Thực tế phần cứng: ba dạng khả thi
| Dạng | Cấu hình | Ghi chú |
|---|---|---|
| Máy chủ đa card | 2×48GB hoặc 4×24GB, tensor parallel trong vLLM | cách làm chínhống, trọng số FP8 chính thức phù hợp nhất |
| Một card + CPU offload | 1×24GB và bộ nhớ lớn, trút lớp bằng llama.cpp | chạy được nhưng đổi tốc độ lấy trải nghiệm, chỉ hợp kiểm chứng |
| Dịch vụ cloud | dùng dịch vụ đã có sẵn A13B | không tốn card, không phải lo expert parallel |
Khuyến nghị kỹ thuật
Nếu mục tiêu là "có một bản Hunyuan chạy được trên máy mình", hãy bắt đầu từ hy4 chứ không phải A13B. Nếu mục tiêu là "đo trần năng lực của A13B", hãy dùng nhiều card hoặc dịch vụ cloud, và coi A13B như một bộ sinh tham chiếu: tạo bộ đánh giá, tạo câu trả lờời tham chiếu, đo khoảng cách mà các model nhỏ còn thiếu. Đừng cố nhồi nó vào một card máy trạm.
Điểm cần lưu ý khi triển khai
Phiên bản engine: kiến trúc MoE cần llama.cpp hoặc vLLM hỗ trợ cấu trúc chuyên gia Hunyuan; nâng engine trước nếu nạp thất bại.
Chiến lược song song: dùng tensor parallel trong vLLM để chia trọng số. Expert parallel hiếm khi đáng trên phần cứng tiêu dùng.
Chọn quantization:
| Tình huống | Lựa chọn |
|---|---|
| Máy chủ đa card, cân bằng tốc độ và chất lượng | FP8 chính thức |
| Bộ nhớ hạn chế nhưng cần giữ chất lượng | GPTQ-Int4 chính thức |
| CPU offload hoặc hệ sinh thái llama.cpp | GGUF chính thức Q4_K_M |
| Tạo đường cơ sở độ chính xác | GGUF chính thức Q8_0 (lưu ý hai phần) |
Xử lý hàng loạt: một lợi ích thật của MoE là thông lượng đồng thời. Yêu cầu theo lô lấp đầy GPU đầy hơn so với gọi đơn tuần tự, và đó chính là lý do nó hợp với vai trò máy chủ hơn máy trạm.
Phân chia công việc với hy4
| Chiều | A13B | hy4 |
|---|---|---|
| Cấu trúc | MoE, 80,39 tỷ tổng tham số qua 64 chuyên gia | Dense, 4,22 tỷ tham số |
| Dung lượng trọng số ở 4-bit | 48,8GB | 2,61GB |
| Độ dài vị trí tối đa gốc | 32768 | 262144 |
| KV cache mỗi token | khoảng 128KB | khoảng 144KB |
| Ngưỡng phần cứng | máy chủ đa card | một card, thậm chí CPU |
| Vai trò | trần năng lực, sinh tham chiếu, tác vụ phức tạp | máy trạm, thiết bị biên, tác vụ nhẹ lưu lượng cao |
Một cặp kết hợp thực tế
Dùng A13B ngoại tuyến để tạo một lô câu hỏi và trả lờời chất lượng cao cùng các bản tóm tắt tham chiếu, rồi để hy4 xử lý phân loại, viết lại và định tuyến trên đường sản xuất. Hai model không xung đột: model lớn định nghĩa tiêu chuẩn, model nhỏ gánh lưu lượng.
FAQ
A13B có bao nhiêu tham số?
A13B chứa được trong card đồ hoạ tiêu dùng không?
Hunyuan có GGUF chính thức không?
Model MoE có nhanh hơn model dense cùng số tham số không?
Ngữ cảnh của A13B ngắn hơn hy4 phải không?
Gọi Hunyuan qua API được không?
Đọc tiếp
- Trang model hy4 — thông số, ma trận quantization và cách tính bộ nhớ
- Ghi chú kênh hy4-preview — kênh ngữ cảnh 1M
- Tổng quan gia đình Tencent Hunyuan — mọi dòng sản phẩm của Hunyuan
- Hunyuan hy4 và A13B dùng tại chỗ — chi tiết triển khai hai dòng chính
- Triển khai hy4 với GGUF — đường đi đầy đủ cho model chạy được trên một máy
- Hướng dẫn chọn model hy4 — các kích thước và phân chia với A13B
- Hướng dẫn tính bộ nhớ VRAM — phép tính bộ nhớ tổng quát
- Qwen so với Hunyuan — so sánh hệ sinh thái và định dạng quantization
Nguồn dữ liệu
Cấu trúc và dung lượng file theo config và danh sách file trong kho chính thức, lấy mẫu tháng 11 năm 2026; số liệu tốc độ nên được đo trên phần cứng của chính bạn.