hy4混元 hy4 是腾讯开源的 4.22 亿级稠密对话模型,原生 262144 上下文,官方提供 FP8、GPTQ-Int4、AWQ-Int4 三种量化,社区提供 GGUF 与 MLX 转换。本页是它的本地部署选型参考。
hy4 是腾讯混元文本线里的轻量主力:42.2 亿参数的稠密模型,原生 262144 的上下文窗口,官方把 FP8、GPTQ-Int4、AWQ-Int4 三种量化一次性发布,社区又补上了 GGUF、MLX 与 MNN 转换。它的定位很清楚——用一台普通机器就能跑的中文模型,适合内网、端侧和高频轻任务。
EXAIV 云端目录以实时为准
本页是混元 hy4 的本地部署选型参考。EXAIV 云端目录是否已上架混元,请以模型目录的实时列表为准;本文不使用 HF 权重名当 API ID,也不提供云端调用示例。
| 项目 | 数值 |
|---|---|
| 模型 ID(平台侧) | hy4 |
| HuggingFace 权重 | tencent/Hunyuan-4B-Instruct |
| 参数量 | 4,221,757,440(约 42.2 亿) |
| 架构 | HunYuanDenseV1ForCausalLM(稠密) |
| 层数 | 36 |
| 隐藏维度 | 3072 |
| 注意力头 / KV 头 | 32 / 8 |
| 中间层维度 | 8192 |
| 最大位置长度 | 262144(256K) |
| 词表大小 | 120,818 |
| 权重形态 | 提供方 | 体积 | 适合 |
|---|---|---|---|
| BF16 原始 | 官方 | 约 8.4GB | 微调、FP16 推理栈 |
| FP8 | 官方 | 约 4.3GB | vLLM / SGLang 服务化 |
| GPTQ-Int4 | 官方 | 约 2.4GB | AutoGPTQ、vLLM 的 4-bit 路线 |
| AWQ-Int4 | 官方 | 约 2.4GB | AutoAWQ、vLLM 的 4-bit 路线 |
| GGUF Q4_K_M | 社区 | 2.61GB | llama.cpp / Ollama 的默认选择 |
| GGUF Q5_K_M | 社区 | 3.03GB | 显存够时的质量档 |
| GGUF Q8_0 | 社区 | 4.49GB | 精度对照基准 |
| MLX 4bit | 社区 | 约 2.4GB | Apple Silicon |
| MNN | 社区 | 视量化而定 | 移动与嵌入式设备 |
官方给齐三种量化意味着什么
GPTQ 与 AWQ 是两种不同的 4-bit 算法,官方同时发布意味着你可以按自己的推理栈实测后选,而不是被社区转换的单一版本绑死。社区 GGUF 则覆盖了 llama.cpp 生态的全部档位,bartowski、mradermacher、gabriellarson、DevQuasar、Disya 等都有。
总显存 ≈ 权重占用 + KV cache + 运行时开销
KV cache ≈ 2 × 36 层 × 8 KV 头 × 128 头维度 × 上下文长度 × 2 字节
≈ 144KB × 上下文长度
| 组合 | 估算占用 |
|---|---|
| Q4_K_M + 4K 上下文 | 约 3.7GB |
| Q4_K_M + 32K 上下文 | 约 7.7GB |
| Q5_K_M + 8K 上下文 | 约 4.6GB |
| FP8 + 4K 上下文 | 约 5.4GB |
| 场景 | 路径 |
|---|---|
| 单卡消费级 GPU | 官方 GPTQ-Int4 或 AWQ-Int4 + vLLM |
| CPU / Mac / 无 GPU | 社区 GGUF 或 MLX + llama.cpp / Ollama |
| Apple Silicon | mlx-community 的 4bit 转换 + mlx-lm |
| 端侧嵌入式 | taobao-mnn 的 MNN 版本 |
| 私有化推理服务 | 官方 FP8,保留精度余量 |
这些任务可以看混元 A13B(MoE 旗舰)或云端大模型。
| API 模型名 | hy4 |
| 厂商 | 腾讯混元 |
| 上下文窗口 | — |
| 类型 | chat |
| 开源状态 | 权重按厂商许可发布,官方提供 BF16 / FP8 / GPTQ-Int4 / AWQ-Int4;社区提供 GGUF、MLX 与 MNN 转换。 |
价格按 Token 积分实时计费,实时单价见 模型价格页。
中文问答、客服、摘要等日常对话任务,4B 级模型的性价比区间。
数据不出环境的私有化场景,或显存受限的边缘设备。
查询改写、意图路由、片段摘要这类轻量环节,配合向量检索使用。
本模型通过全站统一的 OpenAI 兼容 API 提供(Bearer 鉴权)。端点: POST /api/ai/v1/chat/completions · API 文档 →
from openai import OpenAI
client = OpenAI(
api_key="YOUR_API_KEY",
base_url=" echo exaiv.com;; *) echo https://exaiv.com;; esac)/api/ai/v1"
)
response = client.chat.completions.create(
model="hy4",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "你好,介绍一下你自己"}
]
)
print(response.choices[0].message.content)stream = client.chat.completions.create(
model="hy4",
messages=[{"role": "user", "content": "写一首关于秋天的小诗"}],
stream=True,
)
for chunk in stream:
print(chunk.choices[0].delta.content or "", end="")curl echo exaiv.com;; *) echo https://exaiv.com;; esac)/api/ai/v1/chat/completions \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "hy4",
"messages": [{"role": "user", "content": "Hello"}],
"stream": false
}'示例中的 API 域名已按当前站点动态填入(构建时注入的网关地址),无需手动替换,可直接使用。
音频等特殊模型,不适用文本上下文窗口。
按 Token 用量以积分计费,缓存命中更低。实时单价见模型价格页。
不需要。一个 AI Gateway API Key 即可调用本模型及站内全部其他模型。
权重按厂商许可发布,官方提供 BF16 / FP8 / GPTQ-Int4 / AWQ-Int4;社区提供 GGUF、MLX 与 MNN 转换。