InfiniteDiffusion: Bridging Learned Fidelity and Procedural Utility for Open-World Terrain Generation

作者Alexander Goslin

机构Independent Researcher, Sunnyvale, USA

链接https://arxiv.org/abs/2512.08309

通过将 diffusion model 的 sampling 重新表述为惰性求值（lazy evaluation），在无界无限平面上实现种子一致、常数时间随机访问的地形生成，并以 9× 实时速率在消费级 GPU 上运行。

Figure 1：Terrain Diffusion 生成的世界一角。最左跨度约 500 万平方公里，红框逐级放大，展示跨越四个数量级的连贯地形结构。

研究动机

问题难在哪：开放世界游戏需要无限延伸、细节丰富且全局连贯的地形。传统 procedural 方法（Perlin noise 等）缺乏真实感；直接用 diffusion model 生成则受限于固定分辨率，且相邻 patch 之间出现拼接缝隙。
现有方法的问题：
- MultiDiffusion 虽能用滑窗拼合有界图像，但扩展到无界域时计算量随覆盖窗口数呈 O(n²) 增长，无法做到"随查随算"；
- Perlin Blending（直接对 diffusion latents 插值）FID 高达 186.70，视觉拼接痕迹明显；
- 高程数据跨度达海沟到山峰（约 20km），原始分布方差与均值高度相关（r=0.66），diffusion 难以稳定建模。
核心 insight：将 MultiDiffusion 的加权平均重写为惰性稀疏张量（lazy sparse tensor）上的增量累加，使任意位置的查询只需计算与其重叠的少数窗口，实现 O(1) 随机访问；同时用 Laplacian 分解 + signed square-root 变换稳定高程分布。

核心方法

1. InfiniteDiffusion — 无界惰性 diffusion

MultiDiffusion 对有界图像的去噪预测为所有重叠窗口的加权平均：

\[ \Psi(J_t \mid z)[R] = \frac{\sum_{i \in \kappa(R)} U_i\bigl(W_i \otimes \Phi(J_t[R_i] \mid y_i)\bigr)}{\sum_{j \in \kappa(R)} U_j(W_j)}[R] \]

其中 \(\kappa(R)\) 为与查询区域 R 重叠的窗口集，\(U_i\) 将窗口 \(i\) 的输出放置到全局坐标，\(\otimes\) 为逐元素乘。InfiniteDiffusion 将此式改写为惰性求值：维护两个稀疏无界累加器 \(A_t\)（分子）和 \(B_t\)（分母），以及已处理窗口集 \(P_t\)。查询区域 R 时只触发与 R 重叠且尚未计算的窗口，其余保持缓存。LRU 淘汰时将对应窗口从 \(P_t\) 中移除，视为未处理，下次重查即可。

Figure 2：InfiniteDiffusion 滑窗惰性求值示意。\(J_2[R_1]\)（底）先从纯噪声生成，为上层 \(J_1[R_0]\)（中）提供上下文，最终输出 \(J_0[R]\)（顶）。

三个关键性质（附录 B 形式证明）：

种子一致性（Seed Consistency）：固定种子 s 下，任意区域 \(J_t[R]\) 由 s 和 R 唯一确定，与查询顺序无关。
常数时间随机访问：固定大小的 R，查询 \(J_0[R]\) 的计算量为 O(1)（与位置无关）。
可并行化：固定时间步 t 时，所有窗口的 \(\Phi\) 评估相互独立，可批量执行。

为避免 diffusion 的 50+ 步在无界场景下导致指数爆炸，将内部的 \(\Phi\) 定义为少步 consistency model（T=1 或 T=2），彻底解耦混合步数 T 与 diffusion schedule。

2. Terrain Diffusion — 三级层次地形生成

Figure 3：Terrain Diffusion 完整 pipeline。(a) 用户草图/程序噪声 → (b) 粗粒度星球地图 → (c1,c2) 潜在 diffusion 同时生成低频 + 残差潜变量 → (d,e) Laplacian 去噪修正低频 → (f) 残差解码 → (g) 合并输出最终高程图。

三级 cascade 由粗到细：

第一级：粗粒度星球模型（23 km/像素）。用 EDM2（去除上下采样以限制感受野）接受用户草图或程序噪声，输出 4×4 粗高程块及气候条件向量（均温、温差、降水、季节性）。不使用 diffusion blending，直接作为下游的全局上下文。

第二级：核心潜在 diffusion 模型（46 km/瓦片，T=2 InfiniteDiffusion）。以粗高程 + 气候条件为 conditioning，同时生成 64×64 低频高程 channel 和残差潜变量。训练目标为 L1 + LPIPS + 弱 KL 损失。

第三级：Consistency 解码器（90 m 分辨率，T=1 单步）。以潜变量为输入，输出 512×512 全分辨率残差。滑窗大小 512×512、步长 384（75% overlap）。

3. 高程稳定化技巧

Signed Square-Root 变换将高程 z 映射为 \(\text{sign}(z)\sqrt{|z|}\)，压缩大值，使瓦片均值与对数标准差的相关系数从 0.66 降至 0.31，显著改善 diffusion 的噪声分布适配性。

Figure 12：Signed-sqrt 变换前后标准差分布对比。变换后标准差对均值高程的依赖大幅降低，分布更均匀。

Laplacian 分解 + Re-extraction 去噪：将高程分解为低频层 L（8× 降采样 + σ=5 模糊）和高频残差 H，分别在潜空间中建模。解码后对 L+H 重新下采样模糊，得到修正低频 \(\hat{L}\)，最终输出 \(\hat{L} + H\)。此步骤将核心模型 FID 从 21.51 降至 8.11，consistency 模型 FID 从 75.15 降至 12.72。

N. 最关键的一句话

将 MultiDiffusion 改写为惰性稀疏累加，加上 Laplacian 分解稳定高程建模，使 diffusion model 首次具备对无界地形的 O(1) 随机访问能力并跑到实时。

主要实验结果

数据集：MERIT DEM（陆地 90m）+ ETOPO1（海洋测深）+ WorldClim（气候），等面积切片为 2048×2048，80/20 训练/验证划分。
定量对比（FID-50k，Tiled 方法）：

方法	FID-50k ↓
Perlin Blending (Jain et al., 2023)	186.70
Naive Tiling	74.44
Naive InfiniteDiffusion (T=0)	27.61
InfiniteDiffusion (T=1)	19.78
InfiniteDiffusion (T=2)	14.78
Non-tiled consistency model	12.72
Non-tiled full diffusion	8.11

实时性能（RTX 3090 Ti，T=2，512×512 瓦片）：TTFT（首瓦片）1.72±0.19 s，TTST（缓存命中次瓦片）0.66±0.18 s，峰值显存 2214 MB。在轨道速度（~7,700 m/s）下生成速度仍 9× 快于玩家移动速度。

方法	TTFT (s)	TTST (s)
InfiniteDiffusion (T=2)	1.72 ± 0.19	0.66 ± 0.18
InfiniteDiffusion (T=1)	1.39 ± 0.20	0.63 ± 0.16
Naive InfiniteDiffusion	2.05 ± 0.22	1.60 ± 0.17
Independent Tiles	0.51 ± 0.05	0.22 ± 0.02

消融实验：
- T=1 保留结构但引入大量 artifact；T=2 消除大多数 artifact；T=5 几乎完全消除所有 artifact；
- Separable linear weight window（从中心到边界线性衰减）将 FID 从 19.32 → 14.78；
- Laplacian 去噪将核心模型 FID 21.51 → 8.11；
- AutoGuidance 在消融中额外提升视觉质量。

Figure 6a — Figure 6：MultiDiffusion（上）vs. InfiniteDiffusion T=1（中）vs. T=2（下）的视觉对比。T=2 显著减少拼接 artifact。

Figure 4：同一世界种子下 20 个不同 1024×1024 区域，涵盖火山岛、高山系、夷平面，展示生成多样性。

不同区域大小的延迟细节（T=2）

区域大小	TTFT (s)	TTST (s)	显存 (MB)
1024×1024	2.96 ± 0.35	1.79 ± 0.27	2214
512×512	1.72 ± 0.19	0.66 ± 0.18	2214
256×256	1.25 ± 0.19	0.26 ± 0.18	2214
128×128	1.06 ± 0.14	0.10 ± 0.15	2214

Stable Diffusion 上的 InfiniteDiffusion 验证（Table 1）

方法	FID
Stable Diffusion (full)	1.94
MultiDiffusion (T=50)	5.75
InfiniteDiffusion (T=2)	5.83
InfiniteDiffusion (T=1)	7.20

T=2 与完整 MultiDiffusion (50步) 几乎持平，验证了少步 consistency 近似的有效性。

局限与展望

已知局限：
- 对模糊或矛盾 prompt 需要 T≥5 步才能消除 artifact，计算开销更大；
- 查询点分散（非相邻块）时缓存命中率低，无法充分利用惰性求值的优势；
- 粗粒度星球层训练数据（真实地球高程）难以获取，导致对特殊虚构地貌（多月亮世界、超高山系）的泛化能力受限；
- 高程仅生成单通道（海拔），尚不包含土壤、植被、河流网络等语义属性。
研究趋势：InfiniteDiffusion 提供了一个将任意有界 diffusion model 提升到无界域的通用框架，理论上可应用于卫星图像、城市场景乃至 3D 体素生成。作者明确指出下一步方向：在层次结构中加入土壤属性、卫星影像等特征 channel，以及扩展到体素级三维地形合成。同期 PCG（Procedural Content Generation）领域正在从硬编码规则向神经引导的混合方法转型，本文的层次 cascade + diffusion 架构代表了这一趋势的具体落地。