OctoNews

vLLM v0.31.0 发布了,717 次提交,307 位贡献者,其中 96 位是第一次贡献。Highlights 第一条是 DeepSeek-V4.1-Flash。通读下来,这一版在这个模型上做的事可以概括成一句话:能合并的步骤都尽量合

AI 工具技术和认知提升大模型模型部署

vLLM v0.31.0 发布了,717 次提交,307 位贡献者,其中 96 位是第一次贡献。Highlights 第一条是 DeepSeek-V4.1-Flash。通读下来,这一版在这个模型上做的事可以概括成一句话:能合并的步骤都尽量合并,SM100 上的默认注意力路径也换成了新方案。

第一个证据是默认路径变了。FlashMLA mega attention 配合 V4.1 的 NVFP4 压缩 KV cache,现在是 SM100 上的默认方案(#56935)。改的是默认值,用户不调参数也会走这条路,影响的人比加一个可选开关多得多。

第二个是融合很密集。Mega-Gate 把 gate GEMM 和专家选择合成一步(#56266)。decoder 边界上,TP all-reduce 和 mHC 输入准备(#57643)、MoE finalize(#58586)融在了一起。MXFP8 的 wo_b GEMM 和序列并行的 reduce-scatter 合并了(#57428)。SM100/SM103 上还多了一个小 batch 的 WO-A 融合,把反向 RoPE 和 MXFP8 量化一起做掉(#58634)。gate、decoder 边界、WO-A、wo_b,同一个模型在一个版本里动了这么多处融合,可以看出这一版在 V4.1-Flash 上投入了不少。

第三个是省资源。Engram 的 wkv 按 TP rank 切分(#58678)。同一台机器上的多个 DP 副本,现在默认共享 Engram host tables(#57651)。在一台机器上跑多个副本的团队,这条值得看一下。

有两点我不确定。release notes 没给提速数字,这些融合加起来能快多少、在哪种 batch 规模下最明显,现有材料看不出来。另外,明确标了架构的只有两项:默认路径写的是 SM100,WO-A 融合写的是 SM100/SM103。其余融合在哪些卡上生效,没有说明。

v0.31.0 完整的 release notes,每项改动都附了 PR 编号:github.com/vllm-project/vllm/releases/tag/v0.31.0

提到的仓库