hy4Halaman model hy4: dense 4.22 bilion parameter, konteks native 256K, quantization rasmi FP8/GPTQ-Int4/AWQ-Int4, dan pengiraan memori
Perbezaan paling ketara terletak pada format berat: hy4 daripada Hunyuan ialah satu-satunya model 4B kelas China yang sumbernya mengeluarkan FP8, GPTQ-Int4 dan AWQ-Int4 serentak, manakala kebanyakan keluarga lain hanya memberi FP8 lalu menyerahkan kerja 4-bit kepada komuniti. Mempunyai kedua-dua GPTQ dan AWQ bermakna anda boleh mengukur pada stack sendiri kemudian memilih
| Dimensi | Value | Notes |
|---|---|---|
| Model ID | hy4 | Platform side ID |
| HuggingFace weights | tencent/Hunyuan-4B-Instruct | Instruct and Pretrain |
| Parameters | 4,221,757,440 | Dense |
| Architecture | HunYuanDenseV1ForCausalLM | 36 layers, hidden 3072 |
| Attention / KV heads | 32 / 8 | Head dim 128 |
| Max position | 262144 | 256K native context |
| Vocabulary | 120,818 | BF16 original about 8.4GB |
| Official 4-bit | GPTQ-Int4, AWQ-Int4 | Plus FP8 |
| Community GGUF Q4_K_M | 2.61GB | Q5_K_M 3.03GB, Q8_0 4.49GB |
| KV cache | about 144KB per token | 4K context about 0.56GB |
Untuk pemasangan: hy4 menggunakan FP8 atau GPTQ-Int4 rasmi bersama vLLM, atau GGUF Q4_K_M 2.61GB daripada komuniti bersama llama.cpp dan Ollama pada kad 6GB malah CPU. A13B ialah MoE 80.39 bilion parameter justeru memerlukan berbilang kad atau CPU offload, dan mempunyai GGUF rasmi Q4_K_M 48.8GB
Soalan yang lebih bernilai bukan siapa lebih kuat tetapi apa yang kerja anda perlukan: perlukan alatan, dokumentasi dan pilihan sedia ada maka ikut the cloud catalog; perlukan kawalan ke atas berat, quantization dan data kekal dalam mesin maka ikut local weights. Banyak sistem menggunakan kedua-duanya dengan membahagikan aliran mengikut jenis tugas
Angka parameter dan saiz fail daripada HuggingFace API serta konfigurasi rasmi, disampel November 2026
| ID model API | hy4 |
| Penyedia | Tencent Hunyuan |
| Tetingkap konteks | — |
Pengebilan kredit per token. Harga langsung di halaman harga model.
Model ini disajikan melalui API serasi OpenAI yang disatukan (auth Bearer). Endpoint: POST /api/ai/v1/chat/completions · dokumen API →
from openai import OpenAI
client = OpenAI(
api_key="YOUR_API_KEY",
base_url=" echo exaiv.com;; *) echo https://exaiv.com;; esac)/api/ai/v1"
)
response = client.chat.completions.create(
model="hy4",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello, introduce yourself"}
]
)
print(response.choices[0].message.content)stream = client.chat.completions.create(
model="hy4",
messages=[{"role": "user", "content": "Write a short poem about autumn"}],
stream=True,
)
for chunk in stream:
print(chunk.choices[0].delta.content or "", end="")curl echo exaiv.com;; *) echo https://exaiv.com;; esac)/api/ai/v1/chat/completions \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "hy4",
"messages": [{"role": "user", "content": "Hello"}],
"stream": false
}'The API domain in the examples is auto-filled with this site’s injected gateway — no manual replacement needed.
Specialized audio model — not applicable.
Pengebilan kredit per token, dengan diskaun cache. Harga langsung di halaman harga model.
Tidak. Satu API Key AI Gateway meliputi model ini dan semua model lain di laman.