hy4Trang model hy4: dense 4,22 tỷ tham số, ngữ cảnh gốc 256K, quantization chính thức FP8/GPTQ-Int4/AWQ-Int4 và cách tính bộ nhớ
Khác biệt dễ thấy nhất nằm ở định dạng trọng số: hy4 của Hunyuan là model 4B cấp Trung Quốc duy nhất được nguồn phát hành đồng thời FP8, GPTQ-Int4 và AWQ-Int4, trong khi hầu hết các gia đình khác chỉ có FP8 rồi giao phần 4-bit cho cộng đồng chuyển đổi. Có cả GPTQ lẫn AWQ nghĩa là bạn có thể đo trên stack của mình rồi chọn
| Tiêu chí | Value | Notes |
|---|---|---|
| Model ID | hy4 | Platform side ID |
| HuggingFace weights | tencent/Hunyuan-4B-Instruct | Instruct and Pretrain |
| Parameters | 4,221,757,440 | Dense |
| Architecture | HunYuanDenseV1ForCausalLM | 36 layers, hidden 3072 |
| Attention / KV heads | 32 / 8 | Head dim 128 |
| Max position | 262144 | 256K native context |
| Vocabulary | 120,818 | BF16 original about 8.4GB |
| Official 4-bit | GPTQ-Int4, AWQ-Int4 | Plus FP8 |
| Community GGUF Q4_K_M | 2.61GB | Q5_K_M 3.03GB, Q8_0 4.49GB |
| KV cache | about 144KB per token | 4K context about 0.56GB |
Về triển khai: hy4 dùng FP8 hoặc GPTQ-Int4 chính thức với vLLM, hoặc GGUF Q4_K_M 2.61GB từ cộng đồng với llama.cpp và Ollama trên card 6GB hay thậm chí CPU. A13B là MoE 80,39 tỷ tham số nên cần nhiều card hoặc CPU offload, và có GGUF chính thức Q4_K_M 48,8GB
Câu hỏi đáng giá không phải ai mạnh hơn mà là công việc của bạn cần gì: cần công cụ, tài liệu và lựa chọn có sẵn thì đi theo the cloud catalog; cần kiểm soát trọng số, quantization và giữ dữ liệu trong máy thì đi theo local weights. Nhiều hệ thống dùng cả hai và phân luồng theo loại tác vụ
Số liệu tham số và kích thước file từ HuggingFace API và config chính thức, lấy mẫu tháng 11 năm 2026
| Tên mô hình API | hy4 |
| Nhà cung cấp | Tencent Hunyuan |
| Cửa sổ ngữ cảnh | — |
Tính phí theo token bằng tín dụng. Giá trực tiếp tại trang giá mô hình.
Mô hình này được phục vụ qua API hợp nhất tương thích OpenAI (xác thực Bearer). Endpoint: POST /api/ai/v1/chat/completions · tài liệu API →
from openai import OpenAI
client = OpenAI(
api_key="YOUR_API_KEY",
base_url=" echo exaiv.com;; *) echo https://exaiv.com;; esac)/api/ai/v1"
)
response = client.chat.completions.create(
model="hy4",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello, introduce yourself"}
]
)
print(response.choices[0].message.content)stream = client.chat.completions.create(
model="hy4",
messages=[{"role": "user", "content": "Write a short poem about autumn"}],
stream=True,
)
for chunk in stream:
print(chunk.choices[0].delta.content or "", end="")curl echo exaiv.com;; *) echo https://exaiv.com;; esac)/api/ai/v1/chat/completions \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "hy4",
"messages": [{"role": "user", "content": "Hello"}],
"stream": false
}'The API domain in the examples is auto-filled with this site’s injected gateway — no manual replacement needed.
Specialized audio model — not applicable.
Tính phí theo token bằng tín dụng, giảm giá khi cache. Giá trực tiếp tại trang giá mô hình.
Không. Một API Key AI Gateway dùng được cho mô hình này và mọi mô hình trên trang.