3DShape2VecSet: A 3D Shape Representation for Neural Fields and Generative Diffusion Models

作者Biao Zhang, Jiapeng Tang, Matthias Niessner, Peter Wonka

机构KAUST, TU Munich

项目页面https://1zb.github.io/3DShape2VecSet/

把一个 3D 形状压缩成一个不携带任何空间坐标的 latent 向量集合，再用 cross attention 代替传统的距离插值去查询任意位置的占据值，从而让 3D shape 的神经场表示天然适配 transformer 和 latent diffusion。

3DShape2VecSet Teaser — 左侧是点云到表面的重建结果，右侧从上到下展示类别条件生成、点云条件生成（部分点云补全）、图像条件生成（单视角重建）、文本条件生成四类下游应用。

研究动机

问题难在哪：2D 图像领域的 diffusion model 已经非常成熟，但 3D 形状生成一直没有达到同等水平，核心瓶颈在于 3D 没有像图像 pixel grid 一样天然适合神经网络处理的标准表示。
现有方法的问题：单个全局 latent（OccNet、DeepSDF）容量太小，重建不出细节；规则网格 latent（ConvOccNet、IF-Net）计算量随分辨率三次方增长，只能做到很低的网格分辨率；不规则网格 latent（3DILG 等）插值核仍然是手工设计的距离函数，latent 依然必须显式绑定一个 3D 坐标。
核心 insight：借用 cross attention 机制，让 latent 完全不存坐标、查询点通过可学习的相似度（而不是欧氏距离）去找相关的 latent，就能把"3D 空间插值"问题转化成标准的 transformer 序列处理问题。

核心方法

1. 从 RBF 到 cross attention：设计一个不存坐标的 latent

经典的 radial basis function (RBF) 表示把一个连续函数写成若干"锚点权重 × 距离核"的加权和，每个锚点都必须显式存一个坐标。论文的关键改动是把核函数里的"坐标距离"换成"cross attention 相似度"：latent set 表示里的每个 latent f_i 不再绑定任何 3D 坐标，查询点 x 通过可学习的线性投影 q() 和 k() 计算点积相似度，再做 softmax 归一化当作插值权重。

Five representations comparison — 五种连续函数表示对比。RBF 和规则/不规则网格的 latent 都显式绑定坐标；本文的 latent set 里 f_i 不存坐标，相似度由可学习的 q/k 投影计算。

2. Shape Encoding：用降采样点云本身做 Query

要把一个可能高达数十万点的点云压缩成 M 个 latent，论文设计了一个 set 到 set 的 cross attention 编码器，并比较了两种 Query 设计：可学习 Query 集（一组与输入无关的固定参数）vs. 先用 furthest point sampling 从点云本身降采样出 M 个点，再以这些点的位置编码作为 Query（Point Queries）。实验证明 Point Queries 在所有类别上都优于 Learnable Queries。最终配置取 M=512 个 latent、每个 512 维。

3. KL 正则化瓶颈：为扩散模型预留小巧的 latent 空间

借鉴 latent diffusion 对图像 VAE 的做法，在 latent set 后接两个线性层分别预测均值和方差，做 reparameterization 采样，并加 KL 散度正则化（权重 0.001）。压缩后的 {z_i} 才是第二阶段扩散模型训练的对象，推荐压缩通道数 C₀=32。

4. Shape Decoding：self attention 精炼 latent，再用 cross attention 查询占据场

编码得到的 latent 集合先经过若干层 self attention 相互交换信息，然后对任意查询坐标 x，用前述 cross attention 机制从精炼后的 latent 里插值出一个特征向量，最后接一个全连接层输出占据值（0 到 1），用 Marching Cubes 在 128³ 分辨率网格上重建出 mesh 表面。

Shape autoencoder pipeline — 形状自编码 pipeline。输入点云先转成位置编码，经 cross attention 编码成 latent 集合，做 KL 正则化压缩后，再经多层 self attention 精炼，最终对查询点做 cross attention 插值得到占据场，重建出等值面。

5. Latent Set Diffusion：在压缩后的 latent 上训练 EDM 式扩散模型

第二阶段在 KL 瓶颈输出的压缩 latent {z_i} 上训练扩散模型，去噪网络本身是一个 set-to-set 的 self attention transformer：每一层先做一次 self attention 让 latent 集合内部交换信息，再做一次 cross attention 把条件信息（类别 embedding、ResNet-18 图像特征、BERT 文本特征，或部分点云的 shape encoder 特征）作为 key/value 注入进来。采样时只需 18 步去噪。

Denoising network — 去噪网络结构。(a) 无条件生成每层是两个连续的 self attention；(b) 条件生成在 self attention 后接一个 cross attention，用条件信息的 K/V 对 latent 做注入。

6. 最关键的一句话

把"给定坐标查 latent"的空间插值问题，重新表述成"给定 query 查 key-value"的 cross attention 问题，latent 因此摆脱了显式坐标的束缚，整套表示从编码、解码到生成都可以用同一套 transformer 结构端到端处理。

主要实验结果

数据集：ShapeNet-v2（55 个类别），每个形状先转成 watertight mesh 并归一化，采样 50 万个表面点作为点云输入。
形状自编码重建：在 IoU、Chamfer 距离、F-Score 三个指标上，本文方法分别达到 0.965 / 0.038 / 0.970，全面超过 OccNet（0.825 / 0.072 / 0.858）、ConvOccNet（0.888 / 0.052 / 0.933）、IF-Net（0.934 / 0.041 / 0.967）和 3DILG（0.953 / 0.040 / 0.966）。
无条件生成：Surface-FPD 为 0.76，远低于 Grid-8³ 的 4.03 和 3DILG 的 1.89；与直接在点云上做扩散的 PVD 相比，Rendering-FID 17.08 vs 270.64。
类别条件生成：recall 明显更高（chair 类别 0.86，对比 3DILG 的 0.65），说明本文方法能覆盖训练数据里更大比例的形状多样性。
消融实验：latent 数量 M 从 512 降到 64 会让 IoU 从 0.965 跌到 0.916；压缩通道数 C₀ 从 64 压到 4 时 IoU 几乎不掉（0.964→0.957），说明"压通道数"比"减少 latent 个数"是性价比更高的压缩方式。

Autoencoding results — 点云表面重建可视化对比。本文方法在细长结构（如椅子扶手、灯罩网格）上明显比 OccNet/ConvONet/IF-Net/3DILG 保留更多细节。

Category conditional generation — 飞机、椅子、桌子三个类别的条件生成结果对比（Grid-8³ / 3DILG / NeuralWavelet / Ours）。

局限与展望

已知局限：采用两阶段训练（VAE 形状自编码器 + 扩散模型），第一阶段训练比直接用手工设计特征更耗时；如果训练数据的形状分布发生变化，第一阶段可能需要重新训练。
研究趋势：3DShape2VecSet 代表的转变是：3D 形状表示正在从"手工设计空间数据结构 + 手工插值核"，全面转向"完全可学习、transformer 原生的无序集合表示"——这一步让 3D 生成第一次能像 2D 图像一样直接套用 latent diffusion 的成熟流水线，为后续大量基于 latent set/token 的 3D 生成工作铺平了道路。