The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models
Diffusion LLM 的任意顺序生成看似扩展了解空间，但实际上会通过绕过高熵的逻辑分叉点导致解空间坍缩；简单地用标准 GRPO 以自回归顺序训练（JustGRPO）反而能更有效地激发推理能力，同时完整保留并行解码优势。
研究动机
- 问题背景：Diffusion Large Language Models（dLLMs）将序列生成建模为离散去噪过程，打破了传统 AR 模型的从左到右约束，理论上支持任意顺序生成与高效并行解码。
- 直觉上的优势：任意顺序的解空间严格包含 AR 轨迹，社区因此相信它能解锁更强的推理潜力，并基于此开发了大量复杂 RL 算法（ESPO、GDPO、SPG 等）。
- 核心 insight：本文发现这一直觉存在根本性缺陷——任意顺序会主动绕过决定推理走向的高熵"逻辑分叉点"，导致解覆盖率反而低于 AR 顺序。这一现象被称为 entropy degradation（熵退化）。
- 现有方法的代价：为保留任意顺序灵活性，现有方法不得不处理组合爆炸的轨迹空间（\(O(N!)\)）和难以计算的边缘似然，依赖 ELBO 近似，引入优化偏差。
Flexibility Trap 现象
1. Pass@k 量化推理潜力
Pass@k 衡量从 \(k\) 次独立采样中至少生成一个正确解的概率，是 RL 可优化上界的代理指标：
\[ \text{Pass@k} = \mathbb{E}\!\left[1 - \frac{\binom{n-c}{k}}{\binom{n}{k}}\right] \]如果模型无法在海量采样中找到正确解，RLVR 优化就无法获得正向信号，推理能力无从提升。
2. 解空间覆盖分析
Pass@1024 分析表明，任意顺序可解的问题绝大多数是 AR 顺序可解集合的子集——AO 独占解极少（HumanEval 仅 0.6%），而 AR 独占解显著更多（21.3%）。
3. 灵活性程度与推理潜力的单调负相关
Semi-autoregressive 块大小 \(B\) 控制解码自由度（\(B=1\) 为纯 AR，\(B\) 越大任意性越强）。实验表明 Pass@k 随 \(B\) 增大单调下降，灵活性越大反而潜力越低。
熵退化机制
逻辑分叉点（Forking Tokens）
推理过程高度不均匀：少量"逻辑连接词"（"Therefore"、"Thus"、"Since"）决定推理走向，在 token 熵分布上表现为尖峰。AR 顺序强制模型在这些分叉处作出采样决策，从而探索多条推理路径。
熵退化的量化证据
在 AR 顺序下，逻辑分叉词被解码时保持高熵，意味着多条推理路径仍处于开放状态。任意顺序下，这些词在被回填时熵显著降低——未来上下文已经锁定了答案，回填变成了"填空"而非"决策"。
任意顺序的灵活性本质上是在推理时以"开采"代替"探索"：优先选择确定性高的 token，早早锚定推理轨迹，牺牲了 RL 优化所需的解覆盖多样性。
JustGRPO 方法
1. 现有方法的"灵活性税"
保留任意顺序带来三重障碍：
| 问题 | 根源 | 现有应对 |
|---|---|---|
| Token 级信度归因模糊 | dLLM 无唯一条件概率分解 | 近似重要性比 |
| 序列似然不可解 | 轨迹空间 \(O(N!)\) | ELBO 替代目标 |
| 采样器-学习器不匹配 | 置信度采样 \(\neq\) 模型分布 | 引入额外偏差 |
2. 核心思路：AR 顺序作为 RL 训练脚手架
既然任意顺序损害推理潜力，JustGRPO 在 RL 训练阶段完全放弃任意顺序，将 dLLM 视为 AR 策略。关键构造：给定历史 \(o_{<k}\)，构造输入：
\[ \tilde{x}_k = [\underbrace{o_1,\ldots,o_{k-1}}_{\text{Observed}},\underbrace{[\texttt{MASK}],\ldots,[\texttt{MASK}]}_{\text{Masked}}] \]仅取位置 \(k\) 的 logit 定义 AR 策略：
\[ \pi^\text{AR}_\theta(\cdot \mid o_{<k}, q) \triangleq \text{Softmax}(f_{\theta,k}(\tilde{x}_k, q)) \]序列似然因此可精确分解，无需 ELBO 近似：
\[ \pi^\text{AR}_\theta(o \mid q) = \prod_{k=1}^{|o|} \pi^\text{AR}_\theta(o_k \mid o_{<k}, q) \]3. 标准 GRPO 直接应用
AR 策略定义后，标准 GRPO 目标（无任何扩散专用修改）即可直接使用：
\[ J(\theta) = \mathbb{E}\left[\frac{1}{G}\sum_{i=1}^G \frac{1}{|o_i|}\sum_{k=1}^{|o_i|}\left(\min\!\left(\rho_{i,k}\hat{A}_{i,k},\,\text{clip}(\rho_{i,k},1\!-\!\varepsilon,1\!+\!\varepsilon)\hat{A}_{i,k}\right) - \beta D_\text{KL}\right)\right] \]其中 \(\rho_{i,k} = \pi^\text{AR}_\theta(o_{i,k}\mid o_{i,<k},q) / \pi^\text{AR}_{\theta_\text{old}}(o_{i,k}\mid o_{i,<k},q)\)。
4. 关键：训练约束不改变推理架构
AR 约束仅在训练阶段生效，作为"脚手架"优化模型分布。模型本身不施加因果掩码，双向注意力和离散扩散结构完全保留，推理阶段可继续使用并行解码。
5. JustGRPO-Fast：稀疏高熵位置加速
推理由稀疏分叉点驱动，因此重要性比 \(\rho_{i,k}\) 只需在 top-25% 高熵位置计算，消除 75% 的前向推理开销，在 wall-time vs. 精度权衡上进一步优于默认 JustGRPO。
主要实验结果
基准对比（LLaDA-Instruct，生成长度 256）
| 方法 | GSM8K | MATH-500 | HumanEval | MBPP |
|---|---|---|---|---|
| d1 | 81.1 | 38.6 | — | — |
| LLaDOU† | 88.1 | 41.1 | 59.1 | 51.6 |
| ESPO | 82.3 | 39.0 | 42.1 | 44.6 |
| GDPO | 82.8 | 39.6 | 39.6 | 50.6 |
| SPG | 86.1 | 40.0 | — | — |
| JustGRPO | 89.1 | 45.1 | 49.4 | 52.4 |
† LLaDOU 使用额外辅助模块；LLaDA-1.5 使用私有大规模训练数据，不作直接比较。
并行解码兼容性
JustGRPO 训练后的模型完全兼容 EB-Sampler 并行解码，且随并行度增大，相对原始 LLaDA-Instruct 的增益反而更大（MBPP：1 token/step +10.6% → ~5 tokens/step +25.5%）。
训练效率
统一配置复现对比
| 方法 | GSM8K | MATH-500 | HumanEval | MBPP |
|---|---|---|---|---|
| d1* | 83.8 | 39.2 | — | — |
| ESPO* | 84.7 | 40.3 | 42.1 | 44.6 |
| SPG* | 86.9 | 41.8 | — | — |
| JustGRPO | 89.1 | 45.1 | 49.4 | 52.4 |
局限与展望
- 任务范围：结论主要针对数学和编程等一般推理任务。论文也引用了任意顺序在 Sudoku、Zebra Puzzle 等特定任务上确实有优势，表明结论有领域局限性。
- 模型规模：实验集中于 LLaDA-Instruct（基于 LLaMA-3-8B）量级，更大规模 dLLM 的行为有待验证。
- 训练开销：精确 AR 似然计算相比近似方法有额外单步成本，JustGRPO-Fast 缓解但未彻底消除；大序列长度时开销仍可观。
- 研究趋势：本文将扩散 LLM 的 RL 训练从"如何在扩散框架内设计 RL"的复杂问题，简化为标准 GRPO 的直接应用，为后续工作指明了一条"简单优先"的路线。与此同时，如何在非推理任务（如开放式生成、填空式 infilling）中充分利用任意顺序优势，仍是开放问题。并行解码与推理质量的进一步联合优化（如更好的采样器设计）也是自然的下一步方向。