HN 上 Janas 57 分，24 条评论。标题就一件事：模型比内存大也能跑，专家层扔 SSD，用到再读。

HN 上 Janas 57 分，24 条评论。标题就一件事：模型比内存大也能跑，专家层扔 SSD，用到再读。

整模塞进 RAM 的跑法，内存不够直接起不来。Janas 内存里只留当前这几个专家，其余的放在 SSD 上。

流进来的是 experts，这摆明是冲着 MoE 模型设计的。一个 token 用不到全部专家，剩下的不用占着内存。

内存那关过了，下一关是 SSD 读得够不够快，还有专家换得有多勤。要是几乎每个 token 都换一批专家，每一步都得等磁盘，这套方案就很难用。

Janas 的仓库，从 SSD 流式加载专家层来跑比内存还大的模型：github.com/prabanta-dev/janas