qwen图像生成diffusers本地部署rgba开源模型

Qwen-Image-2.1 本地部署：7B 图像生成与编辑模型的 diffusers 实践

2026年11月8日by EXAIV Team

Qwen-Image-2.1 本地部署：7B 图像生成与编辑模型的 diffusers 实践

Qwen-Image-2.1 是通义千问开源的统一图像生成与图像编辑模型。它最受关注的特点是体积：视觉生成部分只有 7B 参数（32 层 Single-Stream DiT），却同时覆盖文生图、图像编辑和原生透明图（RGBA）生成三条能力线。HuggingFace 上主版本已有约 24.9 万下载、3,582 个点赞，2026 年 10 月发布的 Turbo 变体也积累了约 4.7 万下载。对想自己动手的开发者来说，这篇讲清两件事：它到底是什么，以及怎么用 diffusers 在本地跑起来。

30 秒版本

Qwen-Image-2.1 用 diffusers 的 QwenImage21Pipeline 本地运行：支持文生图（最高 2048×2048）、单图编辑（改背景、换风格）、通过特定提示词格式生成 RGBA 透明图，最多可参考 10 张图做编辑。显存不足加一行 enable_model_cpu_offload()。注意它不走 GGUF 工具链——图像模型和文本模型的本地部署是两套体系。

媒体在说什么

这条模型近期进入了英文科技媒体的视野。有报道称，这个「极小体量的 7B 参数模型」在部分图像基准上表现与 OpenAI、Meta 的图像模型可比，并被拿来与 Google 的图像模型横向比较。这类横向对比属于媒体报道的口径，具体基准、测试条件和结论请以报道原文和官方发布为准——本文不引用未经核实的跑分数字，只把「小体量开源图像模型正在被主流媒体认真比较」当作今天值得写它的信号。

同期还有一条相关新闻：阿里的股价因 Qwen 的 iPhone 分发测试上涨——说明 Qwen 系列的生态热度正在从文本模型外溢到整个产品线，图像模型是其中被低估的一环。

为什么「7B 参数」值得单独说

文本模型动辄几十上百 B 参数，而 Qwen-Image-2.1 的视觉生成组件只有 7B。参数小意味着显存门槛低、推理更快、本地部署更容易——这正是它在开源社区获得大量下载的原因。模型卡特别提到它用了混合粒度注意力和 prefix KV cache 复用两项技术来平衡质量与效率。

模型事实速览

项目	Qwen-Image-2.1	Qwen-Image-2.1-Turbo
发布日期	2026-09-14	2026-10-09
HuggingFace 下载	约 24.9 万	约 4.7 万
点赞	3,582	1,126
视觉生成参数	7B（32 层 Single-Stream DiT）	同上
能力线	文生图 / 编辑 / RGBA 透明图	同架构的加速变体
许可	Qwen Research License Agreement	同上

模型卡列出的四项核心改进：紧凑高效的架构；原生透明图与统一的生成/编辑；支持最多 10 张参考图的多样编辑；更好的文字渲染与细节质感。

本地部署：diffusers 路线

图像模型的本地部署和文本模型的 GGUF 工具链完全不同：文本模型用 llama.cpp / Ollama 加载量化文件，图像模型用 diffusers 库直接加载 safetensors 权重。以下步骤来自官方模型卡。

先装依赖：

bash

pip install torch>=2.4.0
pip install transformers>=5.17
pip install git+https://github.com/huggingface/diffusers
pip install accelerate pillow

文生图：

python

import torch
from diffusers import QwenImage21Pipeline

pipe = QwenImage21Pipeline.from_pretrained(
    "Qwen/Qwen-Image-2.1", torch_dtype=torch.bfloat16
).to("cuda")

image = pipe(
    prompt="A neon shop sign that reads QWEN IMAGE 2.1, rainy night, reflections on wet pavement",
    width=2048, height=2048,
    num_inference_steps=40,
    generator=torch.Generator("cuda").manual_seed(42),
).images[0]

image.save("t2i_example.png")

图像编辑（改背景、换风格等，传入输入图和编辑指令）：

python

import torch
from PIL import Image
from diffusers import QwenImage21Pipeline

pipe = QwenImage21Pipeline.from_pretrained(
    "Qwen/Qwen-Image-2.1", torch_dtype=torch.bfloat16
).to("cuda")

input_image = Image.open("input.png")

image = pipe(
    prompt="Change the background to a sunset beach",
    image=input_image,
    num_inference_steps=40,
    generator=torch.Generator("cuda").manual_seed(42),
).images[0]

image.save("edit_example.png")

RGBA 透明图：需要按模型卡推荐的提示词格式声明透明意图：

python

image = pipe(
    prompt="This is an RGBA image with transparency. A cute cartoon dragon sticker. The image has alpha channel and the background is transparent.",
    width=2048, height=2048,
    num_inference_steps=40,
    generator=torch.Generator("cuda").manual_seed(42),
).images[0]

image.save("transparent_example.png")

透明图必须按推荐格式写提示词

生成透明背景不是「默认行为」，需要在提示词里明确声明这是 RGBA 图、有 alpha 通道、背景透明（如上例），否则模型会按普通不透明图生成。具体措辞以模型卡为准。

支持的宽高比与显存优化

模型卡给出了七档标准宽高比，直接按像素值传入即可：

比例	宽×高
1:1	2048 × 2048
4:3	2400 × 1792
3:4	1792 × 2400
3:2	2528 × 1696
2:3	1696 × 2528
16:9	2752 × 1536
9:16	1536 × 2752

显存不够时，模型卡给出的方案是 CPU offload——多加一行即可把权重按需换入换出：

python

pipe = QwenImage21Pipeline.from_pretrained(
    "Qwen/Qwen-Image-2.1", torch_dtype=torch.bfloat16
)
pipe.enable_model_cpu_offload()

显存门槛参考

模型卡没有直接给出最低显存要求，但给了 CPU offload 作为显存不足时的官方方案。实践建议：先在目标机器上跑一张 1:1、40 步的图观察占用，再决定是否降分辨率或启用 offload。图像生成的显存峰值出现在单张图推理期间，和文本模型的长上下文压力不同。

和文本模型部署的工具链差异

这是很多从文本模型转过来的开发者最容易困惑的地方：

维度	文本模型（Qwen3.8 等）	图像模型（Qwen-Image-2.1）
权重格式	GGUF 量化文件为主	safetensors 原始权重
加载工具	llama.cpp / Ollama	diffusers（Python）
服务化	llama-server（OpenAI 兼容）	Python 脚本 / FastAPI 自建
显存优化	量化档位（Q4/Q5/Q8）	CPU offload、bfloat16
速度优化	投机解码	Turbo 变体、蒸馏

两套体系可以并存：文本任务走 GGUF + Ollama，图像任务走 diffusers + Python 服务。如果你的应用同时需要两类能力，通常是两个服务分别部署，再由业务层组合。

云端 API 现状

EXAIV 云端目录当前以文本模型为主（以 /models 页面实时数据为准），Qwen-Image 系列尚未在目录中提供。当前想用 Qwen-Image-2.1，本地 diffusers 部署是最直接的路径；如果后续平台接入图像模型，会在模型目录实时更新。文本模型的调用仍然走标准 OpenAI 兼容端点：

python

from openai import OpenAI

client = OpenAI(
    api_key="你的APIKey",
    base_url="https://exaiv.com/api/ai/v1",
)

# 文本模型 ID 以 /models 目录实时为准
resp = client.chat.completions.create(
    model="kimi-k3",
    messages=[{"role": "user", "content": "把这段产品描述改写成图片生成提示词"}],
)
print(resp.choices[0].message.content)

一个实用组合

用云端文本模型把需求改写成高质量图像提示词（文本模型的强项），再喂给本地 Qwen-Image-2.1 出图——这是把「云端文本 API + 本地图像模型」组合起来的最小工作流，两边各自发挥所长。

FAQ

Qwen-Image-2.1 能用 llama.cpp 或 Ollama 跑吗？

不能直接跑。它是图像扩散模型，权重是 safetensors 格式，需要用 diffusers 库加载；llama.cpp 和 Ollama 面向文本模型（GGUF 格式）。图像模型和文本模型的本地部署是两套独立工具链。

最低需要多少显存？

模型卡没有给出硬性最低值，并提供 enable_model_cpu_offload() 作为显存不足时的官方优化方案。建议按目标分辨率先实测单张生成的峰值占用，再决定分辨率与是否开启 offload。

透明背景图需要特殊设置吗？

需要。要在提示词中按模型卡推荐的格式明确声明这是 RGBA 图、有 alpha 通道、背景透明，模型才会生成透明背景；否则按普通图处理。

能参考多张图做编辑吗？

模型卡说明最多支持 10 张参考图，并支持通过圈选、涂鸦标注、独立遮罩等方式指定局部编辑区域，同时保持人物和产品的身份一致性。

商用有什么限制？

模型采用 Qwen Research License Agreement 许可。使用前请自行阅读并确认许可条款是否满足你的使用场景——本文不构成法律意见。

Turbo 版和标准版怎么选？

Turbo 是 2026-10 发布的加速变体，适合对生成速度敏感的批量和交互场景；标准版适合对质量要求更高的场景。两者都以官方模型卡说明为准，建议用自己的提示词分别实测再决定。

Qwen-Image-2.1 本地部署：7B 图像生成与编辑模型的 diffusers 实践

2026年11月8日by EXAIV Team

Qwen-Image-2.1 本地部署：7B 图像生成与编辑模型的 diffusers 实践

30 秒版本

媒体在说什么

为什么「7B 参数」值得单独说

模型事实速览

项目	Qwen-Image-2.1	Qwen-Image-2.1-Turbo
发布日期	2026-09-14	2026-10-09
HuggingFace 下载	约 24.9 万	约 4.7 万
点赞	3,582	1,126
视觉生成参数	7B（32 层 Single-Stream DiT）	同上
能力线	文生图 / 编辑 / RGBA 透明图	同架构的加速变体
许可	Qwen Research License Agreement	同上

模型卡列出的四项核心改进：紧凑高效的架构；原生透明图与统一的生成/编辑；支持最多 10 张参考图的多样编辑；更好的文字渲染与细节质感。

本地部署：diffusers 路线

先装依赖：

bash

pip install torch>=2.4.0
pip install transformers>=5.17
pip install git+https://github.com/huggingface/diffusers
pip install accelerate pillow

文生图：

python

import torch
from diffusers import QwenImage21Pipeline

pipe = QwenImage21Pipeline.from_pretrained(
    "Qwen/Qwen-Image-2.1", torch_dtype=torch.bfloat16
).to("cuda")

image = pipe(
    prompt="A neon shop sign that reads QWEN IMAGE 2.1, rainy night, reflections on wet pavement",
    width=2048, height=2048,
    num_inference_steps=40,
    generator=torch.Generator("cuda").manual_seed(42),
).images[0]

image.save("t2i_example.png")

图像编辑（改背景、换风格等，传入输入图和编辑指令）：

python

import torch
from PIL import Image
from diffusers import QwenImage21Pipeline

pipe = QwenImage21Pipeline.from_pretrained(
    "Qwen/Qwen-Image-2.1", torch_dtype=torch.bfloat16
).to("cuda")

input_image = Image.open("input.png")

image = pipe(
    prompt="Change the background to a sunset beach",
    image=input_image,
    num_inference_steps=40,
    generator=torch.Generator("cuda").manual_seed(42),
).images[0]

image.save("edit_example.png")

RGBA 透明图：需要按模型卡推荐的提示词格式声明透明意图：

python

image = pipe(
    prompt="This is an RGBA image with transparency. A cute cartoon dragon sticker. The image has alpha channel and the background is transparent.",
    width=2048, height=2048,
    num_inference_steps=40,
    generator=torch.Generator("cuda").manual_seed(42),
).images[0]

image.save("transparent_example.png")

透明图必须按推荐格式写提示词

支持的宽高比与显存优化

模型卡给出了七档标准宽高比，直接按像素值传入即可：

比例	宽×高
1:1	2048 × 2048
4:3	2400 × 1792
3:4	1792 × 2400
3:2	2528 × 1696
2:3	1696 × 2528
16:9	2752 × 1536
9:16	1536 × 2752

显存不够时，模型卡给出的方案是 CPU offload——多加一行即可把权重按需换入换出：

python

pipe = QwenImage21Pipeline.from_pretrained(
    "Qwen/Qwen-Image-2.1", torch_dtype=torch.bfloat16
)
pipe.enable_model_cpu_offload()

显存门槛参考

和文本模型部署的工具链差异

这是很多从文本模型转过来的开发者最容易困惑的地方：

维度	文本模型（Qwen3.8 等）	图像模型（Qwen-Image-2.1）
权重格式	GGUF 量化文件为主	safetensors 原始权重
加载工具	llama.cpp / Ollama	diffusers（Python）
服务化	llama-server（OpenAI 兼容）	Python 脚本 / FastAPI 自建
显存优化	量化档位（Q4/Q5/Q8）	CPU offload、bfloat16
速度优化	投机解码	Turbo 变体、蒸馏

云端 API 现状

python

from openai import OpenAI

client = OpenAI(
    api_key="你的APIKey",
    base_url="https://exaiv.com/api/ai/v1",
)

# 文本模型 ID 以 /models 目录实时为准
resp = client.chat.completions.create(
    model="kimi-k3",
    messages=[{"role": "user", "content": "把这段产品描述改写成图片生成提示词"}],
)
print(resp.choices[0].message.content)

一个实用组合

FAQ

Qwen-Image-2.1 能用 llama.cpp 或 Ollama 跑吗？

最低需要多少显存？

透明背景图需要特殊设置吗？

需要。要在提示词中按模型卡推荐的格式明确声明这是 RGBA 图、有 alpha 通道、背景透明，模型才会生成透明背景；否则按普通图处理。

能参考多张图做编辑吗？

模型卡说明最多支持 10 张参考图，并支持通过圈选、涂鸦标注、独立遮罩等方式指定局部编辑区域，同时保持人物和产品的身份一致性。

商用有什么限制？

模型采用 Qwen Research License Agreement 许可。使用前请自行阅读并确认许可条款是否满足你的使用场景——本文不构成法律意见。

Turbo 版和标准版怎么选？

Qwen-Image-2.1 本地部署：7B 图像生成与编辑模型的 diffusers 实践

Qwen-Image-2.1 本地部署：7B 图像生成与编辑模型的 diffusers 实践

媒体在说什么

模型事实速览

本地部署：diffusers 路线

支持的宽高比与显存优化

和文本模型部署的工具链差异

云端 API 现状

FAQ

相关阅读

Qwen-Image-2.1 本地部署：7B 图像生成与编辑模型的 diffusers 实践

Qwen-Image-2.1 本地部署：7B 图像生成与编辑模型的 diffusers 实践

媒体在说什么

模型事实速览

本地部署：diffusers 路线

支持的宽高比与显存优化

和文本模型部署的工具链差异

云端 API 现状

FAQ

相关阅读