海外开放权重:本地部署核实地图
海外开放权重:本地部署核实地图
本文关于Open Overseas Weights: A Verified Local Deployment Map的所有数字,都直接对照 HuggingFace API 与对应仓库的原始 config.json 核实,采样时间为 2026 年 11 月。不编造跑分、价格或仓库名;config 无法证明的部分一律标注「需实测」。
30 秒版本
google/gemma-3-27b-it: 27,432,406,640 parameters, 356,979 downloads, licence:gemma. Licences differ per repository; read each model card before commercial use
已核实的规格
| Item | Value | Notes |
|---|---|---|
| google/gemma-3-27b-it | 356,979 downloads | 27,432,406,640 params, licence:gemma |
| meta-llama/Llama-4-Scout-17B-16E-Instruct | 111,251 downloads | 108,641,793,536 params, license:other |
| meta-llama/Llama-3.3-70B-Instruct | 349,408 downloads | 70,553,706,496 params, license:llama3.3 |
| mistralai/Mistral-7B-Instruct-v0.3 | 1,750,168 downloads | 7,248,023,552 params, apache-2.0 |
| openai/whisper-large-v3 | 3,560,236 downloads | 1,543,490,560 params, apache-2.0 |
| xai-org/grok-1 | 3,159 downloads | apache-2.0 |
| EXAIV cloud catalog | Claude and GPT IDs | These open weights are not listed |
| Licence check | Per model card | Vendor-specific terms vary |
数字能证明什么
多模态措辞最容易夸大,所以事实与断言必须分开:官方 config 里的 vision_config 与 image_placeholder 能证明这是带视觉输入能力的条件生成架构,但本身不能证明视频生成、某种具体请求格式或某项跑分。HuggingFace 的 image-text-to-text 标签描述的是输入方向。最终以官方模型卡为准。
Configuration and deployment reality
显存规划对所有万亿级 MoE 一样:算力按激活参数算,显存按总参数算。1T 模型即使 4-bit,权重本身也约需 500GB,2.78T 更大,属于多卡服务器场景,不是单张消费卡能跑的。单卡请看轻量家族。本地路径是 vLLM 或 SGLang 配官方权重;社区转换文件先核对来源与量化标签。
可用边界
在 EXAIV 上,一切以 /models 实时目录为准:目前只有 kimi-k3 可调用,端点是 https://exaiv.com/api/ai/v1 的 OpenAI 兼容接口。接入只改 base_url、api_key、model 三项,流式与工具调用保持标准格式。价格一律以实时 /pricing 为准,本文不写死。建议记录模型 ID、token 数与延迟,日后换模型才有同一套基线。
读目录与许可
家族盘点只有在区分「可调用」与「可下载」时才有用。EXAIV 的 /models 实时目录里目前只有上表列出的 ID;某模型在 HuggingFace 上有开放权重,不等于它在云端 API 上可用。下载量是 2026 年 11 月采样的 30 天公开计数,持续变化,应视为社区规模的相对信号,不是质量评分。许可同样关键:GLM-5.3-Flash 的 license:mit 是宽松基线,家族里其它版本是厂商自定义条款,商用前必须逐条读模型卡。建议记录模型 ID、token 数与延迟,之后在版本之间切换时才有同一套提示词基线可比。
上线前检查清单
有六件事能让这类文章和它背后的接入保持诚实。第一,发布当天重新从 HuggingFace API 核对数字,下载计数每周都在变,本文所有数值都是 2026 年 11 月的采样,不是永久事实。第二,打开 /models 实时目录,确认 kimi-k3 仍是当前可调用的 ID;目录一变,所有写死模型名的说明都会失效。第三,价格去 /pricing 看,不要把数字抄进应用或文档里写死。
第四,凡是没有对照官方模型卡验证过的多模态请求体,一律不要写死。config 字段证明的是架构,不是线上报文格式。第五,用一组有代表性的提示词记录模型 ID、输入输出 token 数与延迟,并固定这组用例,之后换模型才有可比结果。第六,商用前读官方模型卡里的许可条款,license:other 是厂商自定义条件,不等于宽松许可。
本地权重同理。下载社区转换文件时要看清发布者、是否写明转换来源、量化标签是否与目标文件一致;两个不同发布者都叫 Q4_K_M 的文件不能互换。模型能加载却输出乱码,先怀疑聊天模板,不要先怪权重。把模板和权重放在同一个文件夹里便于一起审计,这个习惯只花几分钟,却能挡掉最常见的一类误报。
场景选择
| 场景 | 建议 |
|---|---|
| A 7B-class local assistant | Mistral-7B-Instruct-v0.3 |
| A 27B multimodal-capable line | gemma-3-27b-it |
| A 70B dense build | Llama-3.3-70B-Instruct |
| A MoE build | Llama-4-Scout-17B-16E-Instruct |
| Speech recognition | whisper-large-v3 |
| Study an early MoE release | xai-org/grok-1 |
| Need a callable cloud model | Claude or GPT IDs on EXAIV |
| Confirm a licence | The official model card |
FAQ
EXAIV 上该用哪个模型 ID?
本文数字核实过吗?
config 能证明视频生成吗?
需要换 SDK 吗?
价格在哪里看?
能用本地权重吗?
相关阅读
- Claude family overview — callable IDs and endpoint
- GPT family overview — ID families
- Open overseas weights — local open weights
- Claude Code third-party models — support boundary
- pricing — live credit packs
数据来源
参数与文件数据为 2026 年 11 月采样,随时间变化。
附:常见误区
把「平台在售 ID」当成「HuggingFace 权重名」是最常见的混淆:前者用于 API 请求,后者用于本地下载,二者属于两套命名体系,不能互换。ID 里的渠道后缀只是平台自己的分层标记,不代表可以据此推断参数量、跑分或官方能力;本文只写目录里可核对的 ID 与端点,不编造任何规格数字。另一个误区是把下载量当质量评分,它只反映社区规模与可参考资料的多寡。第三,看到 config 里的字段就推断线上请求格式,很容易写出跑不通的示例;可运行的最小验证永远比看起来完整的示例可靠。建议把每次验证的模型 ID、请求体摘要与响应状态一起记进日志:401 先查密钥与 header,404 先查 ID 是否还在实时目录里,429 先做退避重试,不要先改模型配置。