SoloQ 这篇论文瞄准的是扩散语言模型部署里一个很具体的卡点:现有给 dLLM 做的训练后量化,都还要靠校准数据。它要做的就是把校准数据这一步去掉。
SoloQ 这篇论文瞄准的是扩散语言模型部署里一个很具体的卡点:现有给 dLLM 做的训练后量化,都还要靠校准数据。它要做的就是把校准数据这一步去掉。
先看 dLLM 的开销在哪。它用双向的扩散方式生成 token,不像自回归模型那样一个一个往后吐。摘要里点出两种开销。第一种是计算:全序列去噪要反复调用计算量很大的前向传播。第二种是内存:block-diffusion 模型在此之上还多了一份很占内存的 KV cache。计算和内存两头都紧,模型又越做越大,所以论文认为低比特的权重加激活一起量化值得做。
再看它改的是哪一步。摘要的说法是,现有的 dLLM 训练后量化方法都依赖校准数据。SoloQ 的标题直接写了 Calibration-Free,也就是在同样的低比特权重加激活量化里,不再用这份数据。
有一点我不确定:素材里的摘要正好断在 "despite activation distributions" 这半句,激活分布到底哪里让校准数据不可靠,这段没有交代。具体用什么替代校准、能压到几比特、精度掉多少,也都要看论文正文才知道。
论文在 Hugging Face Papers 上,摘要和全文入口都在这里:huggingface.co/papers/2610.07121