腾讯混元 hy4 与 A13B 本地部署：Hunyuan-4B 轻量线与 A13B MoE 旗舰
腾讯混元 hy4 与 A13B 本地部署：Hunyuan-4B 轻量线与 A13B MoE 旗舰
腾讯混元的开源文本模型有一个容易被忽略的细节：它们不在 Tencent-Hunyuan 组织下（那里主要是 HunyuanDiT 图像模型），而是在 tencent 组织下。这条文本线包括两个主力：Hunyuan-4B（社区常简称 hy4）轻量线，和 Hunyuan-A13B-Instruct MoE 旗舰（68K 下载）。两条线都有官方 FP8/GPTQ-Int4/AWQ-Int4 量化，社区还有 GGUF 转换。本文讲清它们的定位、怎么部署、以及和 Qwen/ERNIE 轻量线的对比。
30 秒版本
hy4 = Hunyuan-4B-Instruct，轻量端侧线，4B 参数，有 FP8/GPTQ/AWQ 和社区 GGUF。A13B = Hunyuan-A13B-Instruct，MoE 架构（13B 激活），旗舰线，68K 下载。本地跑：4B 直接 GGUF 上 Ollama；A13B 走 llama.cpp 或 vLLM（MoE 需要 MoE 支持的推理引擎）。
两条线的定位
| 模型 | 架构 | 定位 | 下载 |
|---|---|---|---|
| Hunyuan-4B-Instruct | Dense 4B | 轻量端侧 | 约 1K |
| Hunyuan-4B-Pretrain | Dense 4B | 微调底座 | 628 |
| Hunyuan-A13B-Instruct | MoE 13B 激活 | 旗舰通用 | 68K |
| Hunyuan-A13B-Pretrain | MoE 13B 激活 | 微调底座 | 491 |
A13B 是什么意思
和 Qwen 的 A3B/A95B 同一套命名法：A 代表 Active，13B 表示每 token 激活约 130 亿参数。混元 A13B 是总参数更大、但每 token 只激活 13B 的 MoE，推理开销接近 13B dense 模型。
量化格式怎么选：GPTQ 还是 AWQ
hy4 官方同时放出 GPTQ-Int4 和 AWQ-Int4 两种 4-bit 量化，两者的差异在实际使用中体现在：
| 维度 | GPTQ-Int4 | AWQ-Int4 |
|---|---|---|
| 量化算法 | 逐层最小化量化误差 | 激活感知加权量化 |
| 推理引擎 | vLLM、AutoGPTQ 生态 | vLLM、AutoAWQ 生态 |
| 适用硬件 | NVIDIA GPU 为主 | NVIDIA GPU 为主 |
| 质量差异 | 因模型而异，需实测 | 同左 |
务实建议：如果不确定选哪个，先用 AWQ 跑一组真实任务样本，再跑 GPTQ 对比；两者在大多数场景下差异可接受。本地 llama.cpp 用户则直接用社区 GGUF（Q4_K_M 等），不需要在这两者里选。
Hunyuan-4B：轻量端侧线
hy4 是 4B 参数的 dense 模型，官方提供了四种变体：
| 变体 | 说明 |
|---|---|
Hunyuan-4B-Instruct | BF16 原始权重 |
Hunyuan-4B-Instruct-FP8 | 8-bit 浮点，体积减半 |
Hunyuan-4B-Instruct-GPTQ-Int4 | 4-bit 权重，显存再降 |
Hunyuan-4B-Instruct-AWQ-Int4 | AWQ 4-bit，另一种量化算法 |
4B 级别的模型，Int4 量化后通常能在 4-6GB 显存或纯 CPU 内存里跑起来，是树莓派级设备、旧笔记本、或嵌入式场景的候选。社区 GGUF（如 gabriellarson/Hunyuan-4B-Instruct-GGUF、Disya/Hunyuan-4B-Instruct-Q8_0-GGUF）可以直接配 Ollama/llama.cpp。
Hunyuan-A13B：MoE 旗舰线
A13B-Instruct 是混元开源里的旗舰，68K 下载说明它有不少生产使用者。它有三种官方变体：
| 变体 | 说明 |
|---|---|
Hunyuan-A13B-Instruct | BF16 原始权重 |
Hunyuan-A13B-Instruct-FP8 | FP8 量化，服务端部署友好 |
Hunyuan-A13B-Instruct-GPTQ-Int4 | 4-bit 权重，显存受限场景 |
MoE 模型部署的注意点：推理引擎必须支持 MoE 路由。llama.cpp 近年版本已支持混元 MoE 架构，vLLM 也支持。用 Ollama 跑 A13B 前，先确认其底层 llama.cpp 版本支持该架构，否则会加载失败或输出乱码。
社区 GGUF 方面，bullerwins/Hunyuan-A13B-Instruct-GGUF 等仓库提供多档位转换；Apple Silicon 用户还有 mlx-community/Hunyuan-A13B-Instruct-4bit 的 MLX 版本，在 M 系芯片上跑得很顺。
部署命令速查
Hunyuan-4B 走 Ollama：
# 下载社区 GGUF 后写 Modelfile
# FROM ./models/Hunyuan-4B-Instruct-Q4_K_M.gguf
ollama create hy4 -f Modelfile
ollama run hy4 "用一句话解释什么是 KV cache"
A13B 走 llama.cpp：
./build/bin/llama-cli \
-m ./models/Hunyuan-A13B-Instruct-Q4_K_M.gguf \
-ngl 40 \
-p "用一句话解释什么是 KV cache"
GGUF 转换版本要核对时间
混元的社区 GGUF 来自多个转换者，质量和架构支持随 llama.cpp 版本演进。下载前看模型卡的转换日期和说明；如果加载失败，优先更新 llama.cpp 再试。
和 Qwen/ERNIE 轻量线怎么比
把混元放进国产轻量线的坐标系：
| 模型 | 参数 | 量化变体 | 特点 |
|---|---|---|---|
| Hunyuan-4B | 4B dense | FP8/GPTQ/AWQ/GGUF | 官方量化最全的 4B 级 |
| Qwen3.8-Flash-Next | 轻量旗舰 | 官方 FP8 + 社区 GGUF | 生态最大 |
| ERNIE-4.5-0.3B | 0.3B dense | Paddle 原生 | 极端端侧 |
混元 4B 的差异化在于官方量化变体最全——FP8、GPTQ、AWQ 三种算法官方都放出来了，适合需要特定量化格式对接自有推理栈的团队。生态热度上 Qwen 更大，但「官方四种精度可选」是混元的实际优势。
EXAIV 云端目录以实时为准
本文发布时，EXAIV 云端目录未接入混元系列（当前在售国产为 Qwen/Kimi/GLM，以平台目录实时为准）。混元要本地跑，走社区 GGUF 或官方量化；不要把 HF 权重名当 API ID 用。
选型速查
| 你的场景 | 推荐混元 |
|---|---|
| 端侧/嵌入式/旧设备 | Hunyuan-4B-Instruct（GPTQ-Int4 或 GGUF） |
| 自有推理栈需特定量化格式 | 4B 或 A13B 的 FP8/GPTQ/AWQ 官方变体 |
| 私有化通用对话（资源充足） | Hunyuan-A13B-Instruct（FP8 或 GGUF） |
| Apple Silicon 本地跑 | mlx-community 的 MLX 4-bit 版本 |
| 自己微调 | Pretrain 版（4B-Pretrain / A13B-Pretrain） |
FAQ
hy4 是什么模型？
混元文本模型在哪个 HF 组织？
A13B 能用 Ollama 跑吗？
4B 和 A13B 怎么选？
混元能通过 API 调用吗？
mlx-community 的版本是什么？
相关阅读
- hy4 模型页 — 规格、量化矩阵与显存估算
- hy4-preview 通道说明 — 1M 上下文通道的定位
- 腾讯混元全系盘点 — 混元所有产品线一次摊开
- hy4 选型指南 — hy3 / hy4 / preview / A13B 的分工
- hy4 GGUF 本地部署实操 — 量化档位、显存测算与命令
- 混元 A13B MoE 实战 — 80B MoE 的部署账
- hy4 模型页 — 规格、量化矩阵与显存估算
- hy4 本地 RAG 实战 — 把本地模型接进知识库
- hy4 Ollama 接入 — 接进 Dify / Cursor 等工具
- 百度 ERNIE 全系盘点 — 百度开源家族
- DeepSeek V4 全系盘点 — 下载量最高的国产家族
- Kimi K3 与 GLM 接入指南 — EXAIV 可调用的两家
- Qwen GGUF 本地部署入门 — 本地部署通识
- Qwen 模型架构 — 理解 MoE 架构