NVIDIA Nemotron 3.5 Lightning 30B-A3B(GGUF Q4_K_M)
代码 / Agent · Nemotron 3.5 Lightning · Q4_K_M
模型文件由第三方社区提供,贤紫精选模型市场仅提供索引与下载便利;使用请遵守该模型开源协议。
模型概要
NVIDIA Nemotron 3.5 Lightning 30B-A3B 为 NVIDIA 发布的混合 MoE 大模型:总参约 30B,激活约 3B(A3B),架构为 Mamba-2 / MoE / Attention 混合,面向 Agent、长任务编排与代码/推理 等场景。本条目为社区 GGUF 量化 Q4_K_M,便于在 自研底座 / llama.cpp 类栈本地或内网部署。
文件信息
- 文件名:
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Q4_K_M.gguf - 体积:约 24.5 GB
- 上游:魔搭 lmstudio-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF
- 原始权重:NVIDIA
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16
适用场景(贤紫生态)
- 小紫 AI 代码编辑器 / 工作台:接自研底座或 Ollama 兼容端点,作为 Agent / 改仓 后端(需底座支持 Nemotron MoE / 较新 llama.cpp)。
- 长任务、多步推理:Lightning 系列侧重效率与 Agent 工作流;配合 SRX 引擎 做编排与验收,可更好发挥本地模型价值。
部署提示
- 下载 GGUF 后放入产品文档约定的模型目录。
- 显存:整卡加载建议 24GB+;显存不足可部分层放 CPU,速度会下降。
- 运行时:Nemotron 新架构需 较新版本 llama.cpp / 自研底座;加载失败请先升级底座与推理组件。
- 采样参考(官方 NIM 卡片常见建议,可按实际微调):Temperature ≈ 1.0,Top-P ≈ 0.95。
协议与合规
使用须遵守权重包及 NVIDIA 提供的 OpenMDW-1.1 等协议条款;商业与再分发请以 LICENSE 全文 为准。
贤紫精选模型市场仅提供索引与下载跳转,文件由 第三方社区 托管。