Qwen3.6-35B-A3B 本地 GGUF · UD-Q4_K_XL
代码 / Agent · Qwen3.6 35B-A3B · UD-Q4_K_XL
模型文件由第三方社区提供,贤紫精选模型市场仅提供索引与下载便利;使用请遵守该模型开源协议。
Qwen3.6-35B-A3B 社区 UD-Q4_K_XL GGUF(Unsloth):阿里开源 多模态 + 混合思考 MoE(35B 总参 / 约 3B 激活),侧重 Agent 编码、工具调用与视觉任务,适配自研底座、小紫 AI 工作台与贤紫 AI 代码编辑器。
本 SKU 规格
| 项目 | 说明 |
|---|---|
| 主文件 | Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf |
| 量化 | UD-Q4_K_XL(Unsloth Dynamic 2.0) |
| 主文件体积 | 约 20.8 GB |
| 视觉投影 | mmproj-F16.gguf(约 0.84 GB,多模态须与主文件一并加载) |
| 基座 | Qwen/Qwen3.6-35B-A3B |
| 上下文 | 原生约 262K(可经 YaRN 等扩展;实际上限取决于内存与底座) |
| 内存建议 | 显存 + 系统内存合计 ≥ 约 23~24 GB(4-bit 档参考 Unsloth 指南) |
| 后端 | 较新版本 llama.cpp / llama-server(建议 --jinja) |
适合做什么
- Agent / 仓库级编码、前端工作流、工具调用(含嵌套 JSON 解析改进)
- 混合思考模式(thinking / 非 thinking;支持 Preserve Thinking 保留历史推理上下文)
- 图像 / 文档 / 视频类多模态(需 mmproj)
不太适合:合计内存明显低于 4-bit 建议仍拉满 262K;未更新后端导致乱码(可尝试提高 ctx 或 --cache-type-k/v bf16)。
本地提示(Unsloth 参考)
思考模式(通用):temperature=1.0, top_p=0.95, top_k=20
思考模式(精细编码/WebDev):temperature=0.6, top_p=0.95, top_k=20
输出长度多数场景 32K token 内足够;presence_penalty 可按需 0~2 抑制重复。
llama.cpp 示例思路:主模型 + --mmproj mmproj-F16.gguf,上下文可从 16K~32K 起按显存上调。
MTP 草稿加速(可选):另下 unsloth/Qwen3.6-35B-A3B-MTP-GGUF,按 Unsloth 文档配置 draft-MTP,与本 SKU 主权重分开维护。
同仓库其它量化(可另建 SKU)
| 思路 | 文件 | 体积约 |
|---|---|---|
| 略小 | Qwen3.6-35B-A3B-UD-Q4_K_M.gguf | 20.6 GB |
| 更省 | UD-Q3_K_XL / UD-Q2_K_XL | 按魔搭文件列表 |
| 更高质量 | UD-Q6_K_XL / UD-Q8_K_XL | 约 29.7 / 35.8 GB |
mmproj 同仓另有 mmproj-BF16.gguf,一般 F16 即可。
下载与合规
见右侧 「下载」(免登录,将跳转至魔搭第三方源)。
- 上游:ModelScope ·
unsloth/Qwen3.6-35B-A3B-GGUF - 开源协议:Apache-2.0
- 贤紫精选市场仅提供 索引与下载入口,不提供云端算力;权重由第三方源提供。