M 贤紫精选模型市场
返回模型市场

Qwen3.5-35B-A3B 本地 GGUF · UD-Q4_K_XL

代码 / Agent · Qwen3.5 35B-A3B · UD-Q4_K_XL

Qwen3.5 MoE Agent 多模态 代码 GGUF

Qwen3.5-35B-A3B 社区 UD-Q4_K_XL GGUF(Unsloth):阿里 Qwen3.5 多模态 MoE(35B 总参 / 约 3B 激活),面向 Agent 编码、工具调用与视觉理解,适配自研底座、小紫 AI 工作台与贤紫 AI 代码编辑器。

本 SKU 规格

项目说明
主文件Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf
量化UD-Q4_K_XL(Unsloth Dynamic 2.0)
主文件体积约 20.7 GB
视觉投影mmproj-F16.gguf(约 858 MB,多模态须与主文件一并加载)
基座Qwen/Qwen3.5-35B-A3B
上下文原生 长上下文(通常 256K 级;实际上限取决于内存与底座)
内存建议显存 + 系统内存合计 ≥ 约 23~24 GB(4-bit 档)
后端较新版本 llama.cpp / llama-server(建议 --jinja)

适合做什么

  • Agent / 代码任务、工具调用、多轮对话
  • 图像 / 文档等多模态(需 mmproj)
  • 已上架 Qwen3.6-35B-A3B 时:3.5 可作为 略低配置或对照 版本

不太适合:内存明显不足仍拉满超长上下文;后端过旧导致乱码或模板不匹配。

本地提示(Unsloth / Qwen 参考)

  • 混合思考模型:按任务区分 thinking / 非 thinking 采样(通用任务可 temperature≈1.0, top_p≈0.95, top_k≈20;精细编码可略降 temperature)
  • llama.cpp:--model 主 GGUF + --mmproj mmproj-F16.gguf,ctx 从 16K~32K 起按显存上调
  • 与 Qwen3.6 同系列:3.6 在 Agent 与思考保留等能力上更新,新部署可优先 3.6

同仓库其它量化(可另建 SKU)

思路文件体积约
标准 Q4Qwen3.5-35B-A3B-Q4_K_M.gguf20.5 GB
UD 中间档Qwen3.5-35B-A3B-UD-Q4_K_L.gguf18.8 GB
更省UD-Q2_K_XL / UD-Q3_K_XL见魔搭文件列表
更高质量UD-Q6_K_XL / UD-Q8_K_XL约 29.9 / 45.3 GB

下载与合规

见右侧 「下载」(免登录,将跳转至魔搭第三方源)。

  • 上游:ModelScope · unsloth/Qwen3.5-35B-A3B-GGUF
  • 开源协议:Apache-2.0
  • 贤紫精选市场仅 索引与下载入口,不提供云端算力。