上海交大邓志杰：扩散语言模型，怎样才能又快又好

写作往往伴随着整体构思、局部推敲和反复修改。一句话中的用词，既取决于前文，也可能受到后文的影响。由此出发，语言模型的生成过程，是否也可以在多个位置同时展开，再逐步补全文本？

在前不久的CNCC 2026上，上海交通大学副教授邓志杰以“扩散大语言模型方法及应用”为题，围绕一个核心问题展开讨论：能否在保证生成质量的同时，让扩散语言模型生成得更快？

从LLaDA、Dream的基础路线，到跨块并行生成、后训练和推理系统优化，邓志杰梳理了将并行潜力转化为实际速度的多种方法。

他强调，评价效率既要看每轮能够生成多少token，也要计入每轮耗时，并结合答案正确率、代码通过率考察生成质量。演讲最后，他介绍了相关方法在流式视频、语音修复、多模态与智能体中的应用探索。雷峰网

以下为演讲主要内容。

我们写一本书，往往先写一遍，再反复重写。修改前面的内容时，会联系后面的章节；推敲“僧推月下门”还是“僧敲月下门”，也需要结合上下文。这说明，创作文本并不一定严格遵循从左到右的顺序。

扩散语言模型把这种想法付诸实践：同时预测多个缺失位置，逐步补全文本。这次分享主要讨论，怎样在保证生成质量的同时，尽可能提高生成速度。

自回归模型通过链式法则，将联合概率分布拆成一系列条件分布，标准解码依次预测下一个token，也就是文本的基本单元。这里重点介绍的掩码扩散模型，则先对序列中的不同位置独立进行随机掩码，掩码比例随时间步变化，再学习反向恢复过程：根据带掩码的序列，预测缺失内容。

推理时，模型每轮会预测所有掩码位置，但只选择其中一部分提交，其余位置留待后续迭代。例如，六个token可以分三轮完成。不过，轮数减少并不意味着实际速度同比提高，因为每一轮的计算开销也需要考虑。

LLaDA把这条路线扩展到了8B参数规模。预训练时，它对完整序列随机掩码；监督微调时，只对回答部分掩码。它还展示了生成能力随训练算力扩展的趋势。

Dream采用另一条路线：复用已有自回归模型的权重，再进行扩散继续训练。这里要调整两个方面：注意力从因果结构转为双向结构，学习任务从预测下一个token转为恢复掩码内容。Dream还保留了预测位置偏移一位的结构，以更好地复用自回归模型的能力。从零预训练和从已有模型转换，都可以构建性能较好的扩散语言模型。

评价效率，可以先看一个简单关系：实际速度约等于每轮有效提交的token数，除以每轮耗时。前者用TPF衡量，即每次前向计算实际提交多少token；实际生成速度则用TPS衡量，即每秒生成多少token。同时，还要观察答案正确率、代码通过率等质量指标。

早期扩散语言模型有两个实际问题：一是难以复用KV缓存，需要反复计算上下文；二是生成窗口大小固定，难以灵活输出长文本。如果每轮只能接受两三个token，却要对整个窗口重复计算，计算开销就会不断积累。

Block Diffusion采用“块内扩散、块间自回归”的方式。一个块内部可以并行生成，完成后缓存其KV状态，再生成下一个块。这样既能复用计算，也能通过追加块来扩展输出长度。

但它把并行范围限制在块内。比如代码中相隔很远的一对括号，如果分属不同块，就无法同时生成。因此，我们希望前一个块尚未完成时，后一个边的块也能同时开始生成。

D2F（Discrete Diffusion Forcing）将Diffusion Forcing的思路引入语言模型：前面的块噪声较低、信息更完整，后面的块噪声较高，多个块同时去噪。随着前面内容逐渐确定，后面的生成也逐步推进。

训练时，我们使用具有双向上下文的教师模型，指导采用块状因果注意力的学生模型。学生在块内使用双向信息，在块间保持因果关系，使完成的前序块能够进入KV缓存。

推理时，随着当前块的生成进度推进，系统追加新块；完成的块进入缓存，后续块继续生成。

这种方式的增益来自两个方面：多个块同时生成，提高每轮提交量；缓存已完成块时，也能继续解码后续块，减少单独为写入缓存而占用一次前向计算的情况。

进一步分析发现，D2F仍存在训练与推理不一致的问题。训练时，整个回答被切成多个块，噪声往往逐渐递增；实际推理时，同时活跃的通常只有两三个块，而且相邻块的噪声差距可能很大。

为此，我们提出MultiBD，也就是多块扩散。训练设计要覆盖实际推理中的窗口大小、块的位置以及噪声间隔。例如，同时生成两个、三个或四个块时，一个块可能处于不同位置、拥有不同生成进度。通过对这些组合进行模拟，让模型更好地适应推理时的状态。