M 贤紫精选模型市场
返回模型市场

Qwen3.6-35B-A3B 本地 GGUF · UD-Q4_K_XL

代码 / Agent · Qwen3.6 35B-A3B · UD-Q4_K_XL

Qwen3.6 MoE Agent 多模态 代码 GGUF

Qwen3.6-35B-A3B 社区 UD-Q4_K_XL GGUF(Unsloth):阿里开源 多模态 + 混合思考 MoE(35B 总参 / 约 3B 激活),侧重 Agent 编码、工具调用与视觉任务,适配自研底座、小紫 AI 工作台与贤紫 AI 代码编辑器。

本 SKU 规格

项目说明
主文件Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf
量化UD-Q4_K_XL(Unsloth Dynamic 2.0)
主文件体积约 20.8 GB
视觉投影mmproj-F16.gguf(约 0.84 GB,多模态须与主文件一并加载)
基座Qwen/Qwen3.6-35B-A3B
上下文原生约 262K(可经 YaRN 等扩展;实际上限取决于内存与底座)
内存建议显存 + 系统内存合计 ≥ 约 23~24 GB(4-bit 档参考 Unsloth 指南)
后端较新版本 llama.cpp / llama-server(建议 --jinja)

适合做什么

  • Agent / 仓库级编码、前端工作流、工具调用(含嵌套 JSON 解析改进)
  • 混合思考模式(thinking / 非 thinking;支持 Preserve Thinking 保留历史推理上下文)
  • 图像 / 文档 / 视频类多模态(需 mmproj)

不太适合:合计内存明显低于 4-bit 建议仍拉满 262K;未更新后端导致乱码(可尝试提高 ctx 或 --cache-type-k/v bf16)。

本地提示(Unsloth 参考)

思考模式(通用):temperature=1.0, top_p=0.95, top_k=20

思考模式(精细编码/WebDev):temperature=0.6, top_p=0.95, top_k=20

输出长度多数场景 32K token 内足够;presence_penalty 可按需 0~2 抑制重复。

llama.cpp 示例思路:主模型 + --mmproj mmproj-F16.gguf,上下文可从 16K~32K 起按显存上调。

MTP 草稿加速(可选):另下 unsloth/Qwen3.6-35B-A3B-MTP-GGUF,按 Unsloth 文档配置 draft-MTP,与本 SKU 主权重分开维护。

同仓库其它量化(可另建 SKU)

思路文件体积约
略小Qwen3.6-35B-A3B-UD-Q4_K_M.gguf20.6 GB
更省UD-Q3_K_XL / UD-Q2_K_XL按魔搭文件列表
更高质量UD-Q6_K_XL / UD-Q8_K_XL约 29.7 / 35.8 GB

mmproj 同仓另有 mmproj-BF16.gguf,一般 F16 即可。

下载与合规

见右侧 「下载」(免登录,将跳转至魔搭第三方源)。

  • 上游:ModelScope · unsloth/Qwen3.6-35B-A3B-GGUF
  • 开源协议:Apache-2.0
  • 贤紫精选市场仅提供 索引与下载入口,不提供云端算力;权重由第三方源提供。