hy4 怎么选:混元 4B 轻量线的四个版本与 A13B 的分工
hy4 怎么选:混元 4B 轻量线的四个版本与 A13B 的分工
混元家族的模型名很容易让人选错:hy3、hy4、hy3-preview、hy4-preview、Hunyuan-A13B-Instruct 看起来像四个近亲,实际上它们分属不同的尺寸档、不同代际和不同的发布阶段。再加上平台目录里的 ID 与 HuggingFace 权重名并不一一对应,选型就变成了「先搞懂命名,再搞懂场景」。本文把混元可用的大小档位一次摊开:每一档的定位、官方量化、显存门槛、以及在什么场景下它才是最优解。
30 秒版本
端侧和边缘设备选 hy4(4B);显存只够 2B 级时选 1.8B 或 0.5B;需要更高能力上限选 A13B(MoE);要官方维护的 4-bit 权重选 hy4(GPTQ-Int4 / AWQ-Int4);要翻译选 Hunyuan-MT-7B。preview 后缀是平台侧的预览通道,不是「更差的正式版」。
五个尺寸摊开看
| 尺寸 | 权重形态 | 典型用途 | 4-bit 后的显存量级 | 社区热度 |
|---|---|---|---|---|
| Hunyuan-0.5B-Instruct | 0.5B dense | 分类、打标签、路由决策 | 不到 1GB | 约 2,500 次/月 |
| Hunyuan-1.8B-Instruct | 1.8B dense | 端侧助手、流水线前置 | 1–2GB | 约 2,000 次/月 |
| Hunyuan-4B-Instruct(hy4) | 4B dense | 轻量主力,中文优先 | 3–4GB | 约 1,000 次/月 |
| Hunyuan-7B-Instruct | 7B dense | 中量级通用能力 | 5–6GB | 约 5,200 次/月 |
| Hunyuan-A13B-Instruct | MoE | 家族旗舰 | 8GB 以上 | 约 68,700 次/月 |
显存量级按 4-bit 权重的经验值估算,实际占用还要加 KV cache 与运行时开销。精确测算见 hy4 GGUF 本地部署。
平台 ID 和权重名是两套命名
平台目录里的 hy3 / hy4 / hy3-preview / hy4-preview 是服务侧的模型 ID;HuggingFace 上的权重叫 Hunyuan-4B-Instruct、Hunyuan-4B-Pretrain 这类名字,还有 -FP8 / -GPTQ-Int4 / -AWQ-Int4 后缀的量化仓库。做本地部署时用后者,调 API 时用前者,把两套名字混着传是最常见的踩坑方式。
hy3 与 hy4:两代轻量线差在哪
hy3 对应的 Hunyuan-7B 一档(7B dense),hy4 对应的 Hunyuan-4B 一档(4B dense)。两者的关系不是「同一个模型的小版本和大版本」,而是两条独立的轻量线:
| 维度 | hy3 | hy4 |
|---|---|---|
| 参数量 | 7B dense | 4B dense |
| 显存(4-bit) | 5–6GB | 3–4GB |
| 平台目录上下文标注 | 256K | 当前未标注 |
| 官方量化 | FP8 / AWQ-Int4 | FP8 / GPTQ-Int4 / AWQ-Int4 |
| 社区 GGUF | 多作者 | 多作者,bartowski 版本最热 |
选哪条看你卡上还有多少显存余量:如果 6GB 显存的卡能跑 hy3 且不与训练任务抢显存,hy3 的能力上限更高;如果卡是 4GB 级别或者要和别的服务共享,hy4 是更现实的选项。
参数少一半不等于能力少一半
4B 与 7B 的差距主要体现在长文本推理、复杂指令遵循和知识覆盖上。如果你的任务是「结构化抽取 + 固定格式输出」,hy4 的表现往往比体积差距暗示的更好;如果是「写长文、做多步推理」,那 7B 的收益是实打实的。
preview 后缀意味着什么
平台侧有 hy3-preview 和 hy4-preview 两个独立条目,它们不是「正式版的缩水版」,而是不同的发布通道:
| ID | 平台标注的上下文 | 适合什么 |
|---|---|---|
| hy3-preview | 256K | 需要大上下文的稳定通道 |
| hy4-preview | 1,048,576(1M) | 超长上下文:整库代码、长会议纪要、大 PDF 批次 |
1M 上下文是 hy4-preview 最有辨识度的标签。但要注意两点:
- 长上下文不等于长上下文都好用。1M 窗口下的检索命中率、注意力稀释和推理成本都要单独评测,窗口大只是上限。
- 标注会变。上下文长度、计费系数都跟目录实时信息走,本文的数字只反映采样时状态。
preview ID 的正确用法
把它当成「这条通道标注了超长上下文」来用,而不是当成「实验性不可靠版本」。真正要判断的是你的任务里有没有大段材料必须一次性放进上下文——如果有,1M 通道值得试;如果没有,hy4 正式通道通常更省心。
hy4 的三种官方量化怎么选
hy4 是混元里唯一把三种量化格式都给齐的 4B 模型:
| 量化 | 精度损失 | 适合的栈 |
|---|---|---|
| FP8 | 几乎无 | vLLM / SGLang,团队要统一栈 |
| GPTQ-Int4 | 小 | AutoGPTQ 生态、vLLM |
| AWQ-Int4 | 小,激活感知 | AutoAWQ 生态、vLLM |
GPTQ 与 AWQ 是两种不同的 4-bit 量化算法:GPTQ 是逐层误差补偿,AWQ 是按激活分布保护重要通道。同一模型上两者的效果常有差异,官方都给的意义就是你可以实测后选。
社区 GGUF 路线同样是多作者:bartowski、mradermacher、gabriellarson、DevQuasar、Disya 都有 hy4 的转换,其中 bartowski 的下载量最高(超过 2,000 次)。Apple Silicon 用户还可以走 mlx-community 的 4bit 转换,或者用 taobao-mnn 的 MNN 版本做端侧部署。
不要从 4-bit 量化件开始微调
微调需要梯度,量化后的权重会限制训练路径。实验性微调从官方 FP8 或 BF16 权重起步,跑通流程后再考虑量化部署。
hy4 与 A13B 的分工
这是混元内部最常被问的一组问题。
| 维度 | hy4 | A13B |
|---|---|---|
| 结构 | 4B dense | MoE |
| 显存吃在哪 | 权重本身 | 全部总权重都要进显存 |
| 推理开销 | 稳定可预测 | 按激活参数计,波动更小 |
| 能力上限 | 中文轻量任务的性价比档 | 家族旗舰,复杂任务更强 |
| 官方量化 | FP8 / GPTQ-Int4 / AWQ-Int4 | FP8 / GPTQ-Int4 / 官方 GGUF |
| 适合 | 端侧、边缘、高并发轻任务 | 通用对话、复杂推理、研究 |
判断方法很简单:任务的价值密度决定模型档位。一次请求省下的成本乘以请求量,如果流量大到成本敏感,hy4 的性价比会赢;如果请求量不大但每次都很重要,A13B 的能力收益更值钱。
按硬件选
| 你的硬件 | 推荐 | 理由 |
|---|---|---|
| 4GB 显存,或纯 CPU | Hunyuan-1.8B-Instruct | 4B 的 4-bit 加 KV cache 会顶到边 |
| 6–8GB 显存 | hy4(Q4_K_M / Q5_K_M) | 4B 4-bit 舒适区,留足 KV cache |
| 12GB 以上 | hy4 高精度档 或 hy3 | 视任务价值密度选 |
| 16GB 以上 | A13B(4-bit GGUF) | MoE 总权重 8GB 起步 |
| Apple Silicon | hy4 MLX 4bit 或 A13B MLX 4bit | 统一内存,量化收益直接 |
| 纯 CPU 推理 | hy4 的 Q4/Q5 GGUF | 4B 是 CPU 推理的现实上限 |
场景映射
| 你的任务 | 推荐 |
|---|---|
| 中文客服、问答助手 | hy4 |
| 端侧 / 边缘设备 | hy4 或 1.8B |
| 意图分类、路由 | Hunyuan-0.5B-Instruct |
| 代码补全、小函数生成 | hy4 |
| 长文档分析(几十万 token 级) | hy4-preview(1M 通道) |
| 多语言翻译 | Hunyuan-MT-7B |
| 复杂推理、研究型问答 | A13B |
| 需要严格结构化输出 | hy4(4B 对格式约束的服从度足够) |
三个常见误用
- 把 hy4 当 A13B 用——拿 4B 模型做需要多步推理的任务,然后归咎于「混元不行」。选型错误,不是模型问题。
- 把 preview 通道当不稳定通道——它是标注了更长上下文的独立条目,能力取决于你的任务而不是后缀。
- 把 HF 权重名当 API ID 用——本地部署用
Hunyuan-4B-Instruct,调平台 API 用目录里真实的 ID,两套名字不能混。
FAQ
hy4 和 Hunyuan-4B-Instruct 是同一个东西吗?
hy3-preview 和 hy3 有什么区别?
hy4 的 4-bit 量化选 GPTQ 还是 AWQ?
4GB 显存的卡能跑 hy4 吗?
hy4 能处理图像吗?
混元能通过 API 调用吗?
相关阅读
- hy4 模型页 — 规格、量化矩阵与显存估算
- hy4-preview 通道说明 — 1M 上下文通道的定位
- 腾讯混元全系盘点 — 混元所有产品线一次摊开
- 混元 hy4 与 A13B 本地部署 — 两条主力线的部署详解
- hy4 GGUF 本地部署实操 — 量化档位、显存测算与命令
- 混元 A13B MoE 实战 — MoE 结构的工程取舍
- hy4 vs Qwen3.8-Flash — 轻量线的横向对比
- 模型目录 — EXAIV 当前可调用模型
数据来源
- Tencent Hunyuan on HuggingFace
- 上下文与通道标注以平台模型目录实时信息为准
下载量为 HuggingFace 公开统计的近 30 天区间,采样于 2026 年 11 月;具体参数与许可以官方模型卡为准。