OctoNews

24B 总参数,每个 token 只激活 2B。这是 Liquid AI 刚开源权重的 LFM2.5-24B-A2B,官方定位很直白:在端侧跑的快速智能体。

技术和认知提升大模型Agent

24B 总参数,每个 token 只激活 2B。这是 Liquid AI 刚开源权重的 LFM2.5-24B-A2B,官方定位很直白:在端侧跑的快速智能体。

这个比例的意思是,每生成一个 token,计算量接近一个 2B 的小模型,背后能调用的却是 24B 的容量。端侧 agent 要连续调工具、多轮推理,速度主要卡在每个 token 要算多少,MoE 省的正是这一块。代价也在这里:24B 的权重还是得整个放进设备内存,算得少不等于占得少。

Hugging Face 博客的标题是 Run fast, private agents on-device。fast 靠 2B 激活,private 靠不上云,两件事都押在端侧上。目前它在 Hugging Face 上有 185 个赞。

Liquid AI 官方博客,讲 LFM2.5-24B-A2B 的定位和设计:www.liquid.ai/blog/lfm2-5-24b-a2b