M 贤紫精选模型市场
返回模型市场

LFM2.5-24b-a2b

代码 / Agent · LFM2.5-24b-a2b · Q6_K_XL

MoE Agent 工具调用 长上下文 中文 GGUF 端侧推理

LFM2.5-24B-A2B

LFM2.5-24B-A2B 是一个拥有 240 亿参数但仅激活 20 亿参数的推理模型,专为设备端快速、私密的智能体而构建。它是 LFM2.5 系列中最大也是最后一个模型,该系列现在跨越了两个数量级:从 LFM2.5-230M 到 LFM2.5-24B-A2B。

✨ 亮点特性

  • 同类最佳智能体能力:在智能体和工具使用任务上,可与 Qwen3.6-35B-A3B(一个总参数和激活参数多出约 50% 的模型)相媲美,在 LiveClaw 上得分为 48.09,而后者为 38.19。
  • MoE 极速推理:始终先思考再回答。每个 token 仅激活 20 亿参数,使得每个推理 token 的成本极低。
  • 高效端侧运行:在设备端运行速度比同类 MoE 模型快达 1.7 倍,在 Apple M5 Max 上达到 184 tok/s,在单张 NVIDIA B300 GPU 上高达 21K 输出 tok/s。

? 模型参数

  • 总参数量:240 亿
  • 激活参数量:24.5 亿
  • 层数:40 层(30 个双门控短卷积块 + 10 个 GQA)
  • 专家数:每个 MoE 块 64 个专家,Top-4 路由
  • 训练数据量:36 万亿 token
  • 词表大小:128,000
  • 上下文长度:131,072 token
  • 支持语言:英语、阿拉伯语、中文、法语、德语、意大利语、日语、韩语、葡萄牙语、西班牙语、越南语、泰语、印尼语、印地语、俄语、波兰语

⚙️ 推荐生成参数

temperature: 0.1
top_k: 50