Qwen AgentWorld-35B-A3B 本地 GGUF 部署：35B-A3B MoE 与智能体编码场景
Qwen AgentWorld-35B-A3B 本地 GGUF 部署：35B-A3B MoE 与智能体编码场景
Qwen-AgentWorld-35B-A3B 是通义千问家族里一个值得单独拿出来说的模型：它是 35B-A3B 的 MoE（混合专家）架构，命名指向智能体与工具调用（agent / tool-use）场景。对想在本地搭一个「能跑工具、能写代码」的私有智能体、又不想把代码和数据送上云端的开发者来说，这类模型很有吸引力。这篇指南讲清它是什么、为什么适合本地、以及怎么用 GGUF 在本地跑起来。
30 秒版本
AgentWorld-35B-A3B 是一个 35B 总参数、3B 激活的 MoE 开源模型，定位偏向智能体/工具调用。本地跑：从 HuggingFace 下载它的 GGUF，用 Ollama 或 llama.cpp 加载。MoE 的激活参数量小，本地推理比同总参数量的稠密模型更省显存。
35B-A3B 是什么架构
模型名里的数字有固定含义：35B 是总参数量，A3B 是每处理一个 token 实际激活的参数量。这正是 MoE（混合专家）架构的特征——模型由多个「专家」子网络组成，每个 token 只激活其中一小部分。
MoE 为什么对本地友好
稠密模型每个 token 都要过全部参数；MoE 每个 token 只激活一小部分专家。所以同样是 35B 总参数，MoE 的激活量可能只有 3B 量级，推理时的显存和计算压力更接近 3B 模型，但保留了大总参数带来的知识容量。这对本地部署是实实在在的优势。
需要提醒：模型卡上的具体能力描述（支持哪些工具调用格式、上下文长度、是否原生支持某种 agent 协议）会随版本更新，且不同量化作者的 GGUF 可能略有差异。本文只讲架构常识和部署方法，具体能力以你下载的模型卡为准。
为什么适合智能体编码场景
「AgentWorld」这个命名指向智能体与工具调用。在本地搭智能体时，这类模型的价值在于：
- 代码与数据不出机：把私有代码库、内部文档接进智能体做检索或改写时，模型在本地推理，敏感内容不离开你的硬件。
- 可反复试错：本地零调用成本，智能体的多轮工具调用、重试、回放都不花 API 费用。
- 可控延迟：在自己的 GPU 上跑，延迟只取决于本机配置，不受云端排队影响。
能力以模型卡为准
是否「开箱即用」支持某种特定工具调用格式或 agent 协议，取决于模型训练数据和提示词约定。接入真实智能体前，先用几个代表性工具调用样本在本地回放，确认输入/输出格式符合你的框架预期，再写进工作流。
量化档位怎么选
和其他 Qwen 模型一样，AgentWorld-35B-A3B 的 GGUF 也提供多档量化。由于 MoE 激活量较小，它在中低档位下的可用体积通常比同总参数量的稠密模型更友好。
| 档位 | 体积 | 质量 | 适用 |
|---|---|---|---|
Q2_K | 最小 | 明显损失 | 仅验证能加载 |
Q3_K_M | 小 | 可接受 | 显存紧张 |
Q4_K_M | 中等 | 接近全精度 | 默认推荐 |
Q5_K_M | 中偏大 | 很好 | 显存宽裕、要保质量 |
Q6_K / Q8_0 / F16 | 大 | 极接近全精度 | 基准对照 |
默认从 Q4_K_M 起步。具体文件尺寸以模型卡 README 为准；MoE 模型不同档位的体积差异同样显著，下载前核对显存/内存能否装下。
Ollama 路线
# 下载某个量化作者的 Q4_K_M 文件（文件名以模型卡为准）
huggingface-cli download <量化作者>/Qwen-AgentWorld-35B-A3B-GGUF \
Qwen-AgentWorld-35B-A3B-Q4_K_M.gguf --local-dir ./models
# Modelfile: FROM ./models/Qwen-AgentWorld-35B-A3B-Q4_K_M.gguf
ollama create agentworld -f Modelfile
ollama run agentworld "写一个快速排序的 Python 实现"
llama.cpp 路线
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && make -j
./build/bin/llama-cli \
-m ./models/Qwen-AgentWorld-35B-A3B-Q4_K_M.gguf \
-ngl 40 \
-p "写一个快速排序的 Python 实现"
-ngl 40 把 40 层卸载到 GPU；MoE 的层数与激活结构特殊，具体每层显存占用视实现和上下文长度而定，建议先用小上下文跑通再逐步拉大。
在本地智能体工作流里怎么接
把本地模型接进智能体框架（如 LangChain、LlamaIndex、或自研循环）时，常见做法是把它当作一个 OpenAI 风格的本地推理端点：
from llama_cpp import Llama
# 本地 GGUF 当作 chat 模型
llm = Llama(
model_path="./models/Qwen-AgentWorld-35B-A3B-Q4_K_M.gguf",
n_gpu_layers=40,
n_ctx=16384, # 智能体常需要较长上下文装工具说明与历史
)
# 工具调用的具体格式以模型卡约定的提示词模板为准
messages = [
{"role": "system", "content": "你是一个可以使用工具的编程助手。"},
{"role": "user", "content": "读取 ./src 下所有 .py 文件，找出未使用的导入"},
]
out = llm.create_chat_completion(messages=messages)
print(out["choices"][0]["message"]["content"])
上下文是关键
智能体要装下工具说明、调用历史和中间结果，上下文窗口通常比普通对话大。MoE 模型在中长上下文下的显存压力会随上下文长度上升，部署前按你真实需要的上下文长度规划，而不是只按默认 4096 估。
本地 vs 云端
| 场景 | 建议 | 原因 |
|---|---|---|
| 私有代码、内部数据、离线 | 本地 GGUF | 数据不出机，零调用成本 |
| 多人共享、线上服务 | 云端 API | 不用维护硬件，弹性扩容 |
| 智能体开发期试验 | 本地 GGUF | 多轮工具调用随便试，不花 API 费 |
一个实用模式：开发期用本地 AgentWorld 跑通智能体的工具调用循环、验证提示词，等要对外稳定服务时再切到云端端点，提示词与工具定义大体可复用。
常见排查
加载失败 / OOM。 先降量化档位（Q4_K_M → Q3_K_M）或减小 -ngl、走纯 CPU 确认能加载。
工具调用格式不对。 MoE 模型的工具调用约定以模型卡提示词模板为准。先按官方模板构造几个样本回放，确认输入/输出格式，再接框架。
长上下文变慢。 智能体上下文越长，显存/内存占用越大。按需设置 n_ctx，不要盲目开到最大值。
模型卡才是真相来源
AgentWorld-35B-A3B 的具体命名、可用量化档位、文件尺寸、工具调用约定都会随官方更新变化。下载和写代码前，先到 HuggingFace 模型卡核对当前可用的文件和版本。
FAQ
AgentWorld-35B-A3B 是什么架构？
它适合跑智能体吗？
MoE 比稠密模型本地更省吗？
GGUF 选哪个档位？
Ollama 和 llama.cpp 怎么选？
价格和计费在哪里看？
相关阅读
- Qwen GGUF 本地部署入门 — GGUF、量化档位、Ollama/llama.cpp 通识
- Qwen 3.8 27B 本地 GGUF 部署 — 更大参数模型的本地实践
- Qwen 系列模型怎么选 — 云端三个 Qwen 模型的选型
- 模型目录 — 核对当前可用的 Qwen 模型 ID
- 定价 — 实时价格与充值套餐