SAGE: Point Cloud as a Foreign Language for Multi-modal Large Language Model
现有 3D MLLM 依赖预训练 3D encoder 导致语义对齐困难、分辨率固定、推理慢，SAGE 用轻量 VQ tokenizer 将 point cloud 离散化为 token，直接扩展 LLM 词表，实现端到端、encoder-free 的 3D 理解。
研究动机
- 问题难在哪：3D 场景理解需要让语言模型"看懂"点云，而点云是无序稀疏的三维坐标集合，远比图像 patch 更难对齐到语言空间。
- 现有方法的问题：当前 3D MLLM（如 PointLLM、ShapeLLM）全部依赖大型预训练 3D encoder（如 Point-BERT），引入三个结构性缺陷：(1) 语义对齐失调——encoder 以 self-supervised 或 contrastive loss 训练，几何判别目标与语言语义空间天然不兼容，中间 projection 层难以弥补；(2) 分辨率锁死——encoder 假设固定输入点数（如 8,192 points），稀疏输入需要上采样引入伪影，稠密输入需要下采样丢失细节；(3) 推理延迟高——encoder 在 LLM 生成 token 前必须先完成全局处理，成为瓶颈。
- 核心 insight：把 point cloud 视为一门"外语"——用 vector quantization 将几何特征离散化为有限词表中的 token，让 LLM 像学外语一样在统一的 token 空间内联合处理文本与三维几何，从根本上消除语义隔阂和架构耦合。
核心方法
1. 轻量 3D Tokenizer：几何采样与局部聚合
3D tokenizer 接受原始 point cloud，输出定长 token 序列。第一步是几何降采样与局部群组化：用 Farthest Point Sampling（FPS）从 N 个点中均匀采 N_s=512 个中心点，再以 KNN（K_g=81）为每个中心构建局部邻域子云，保留邻域几何。局部子云内对每个点特征做线性投影 + 相对位置编码 + global max-pooling，得到紧凑的几何特征矩阵。直观理解：FPS 保证空间均匀覆盖，KNN 邻域保留局部曲率、法线等几何信息，max-pooling 聚合成固定维度 token。
2. 投影到 LLM 空间与 Vector Quantization
聚合特征通过可学习矩阵线性投影到 LLM embedding 空间，随后进行 vector quantization（VQ）：维护大小为 C=8192 的可学习 codebook，对每个特征取最近邻 code，输出量化表示。由于 argmin 不可微，用经典 VQ loss：codebook loss 拉动 code 靠近 projected feature，commitment loss（权重 β=0.25）约束 feature 不偏离 codebook，stop-gradient 阻断对应方向梯度。直观理解：VQ 强制几何特征落在有限离散词表内，与 LLM text tokenizer 的离散 token 结构同构——3D token 成了"第二语言"的词，可以直接拼接进文本序列。
3. 混合模态序列构造与端到端训练
量化后的 3D token embedding 直接与 text token embedding 拼接，形成单一混合序列送入 LLM decoder。全局目标为 next-token prediction loss 加权 VQ loss（λ=0.5）。整个框架端到端联合优化，codebook 随训练自动学习对齐几何和语言语义的离散 primitive。
4. 三阶段训练流程
Stage 1（3D tokenizer warm-up）：冻结 LLM 大部分层，仅训练 3D tokenizer 和 LLM 前 4 个 transformer 层，在 3D captioning 数据上用 next-token prediction 预热，使几何 token embedding 初步对齐语言表示空间。
Stage 2（instruction tuning）：端到端微调整个模型，使用多模态 instruction-response pairs，提升跨模态推理和指令跟随能力。数据集使用 PointLLM 的 730K point-text pairs。
Stage 3（GRPO-based preference optimization）：针对 3D 理解任务的开放式描述性答案，引入基于语义对齐的 reward 函数，用 GRPO（Group Relative Policy Optimization）做 RL 微调。每条指令采样 m=8 个候选响应，reward 由两部分组成：语义相似度用 Sentence-BERT 计算候选与参考答案的 cosine similarity；长度 reward 用高斯衰减惩罚偏离参考长度的响应；最终加权组合（α=0.95 偏重语义）。直观理解：Stage 3 解决了 GRPO 在描述性任务上无法验证正确性的问题——Sentence-BERT 提供连续语义 reward，既可梯度化，又对不同表述方式的等效答案鲁棒。
主要实验结果
- 数据集：训练集为 PointLLM 的 Objaverse 730K 数据；评估在三个任务上展开：3D object captioning（Objaverse），open-vocabulary 3D classification（Objaverse），3D VQA（MM-Vet benchmark）。骨干 LLM 为 LLaMA + Vicuna-7B/13B v1.1；硬件 4x NVIDIA H100 80GB，BF16。
- 3D Object Captioning：SAGE-7B 的 GPT-4 score 50.98，BLEU-1 从 PointLLM-7B 的 3.87 跃升到 9.50，ROUGE-L 从 7.30 升至 12.66。SAGE* 不含 preference optimization 仍优于所有 encoder-based 方法（GPT-4 49.05），证明 encoder-free 架构本身的有效性。
- 3D Classification 与 VQA：3D classification GPT-4 score：SAGE-7B 57.11、SAGE-13B 58.48，超越最优基线 ShapeLLM-13B（54.00）分别 +3.11 和 +4.48。3D VQA（MM-Vet）：SAGE-7B 49.53，SAGE-13B 54.89，均超越对应规模的 ShapeLLM。
- 推理效率：消除重型 encoder 带来 2.3x 延迟降低（239ms → 100ms）、2.4x 吞吐提升（4.2 → 10.0 samples/s）。SAGE 在 2K/4K/8K 点输入下吞吐率分别为 11.0/10.5/10.0，随分辨率降低自然加速；PointLLM 因固定分辨率要求始终维持相同延迟。
- 消融实验：preference optimization（Stage 3）在所有任务上带来一致提升，7B 上 VQA 从 46.38 升至 49.53（+3.15）。附录消融覆盖：LLM 可训练层数（Stage 1 微调前 4 层最优）、codebook 大小（8192 为拐点）、VQ loss 系数、GRPO 归一化系数等超参敏感性。
局限与展望
- 已知局限：评估主要限于单体 object-level 理解（Objaverse），未覆盖 scene-level 理解或 spatial grounding（定位、关系推理）等任务；Sentence-BERT 语义 reward 对领域偏移或罕见表达可能不够精确；训练数据局限于 PointLLM 的 Objaverse 数据集，未探索更大规模预训练效果。VQ codebook collapse 问题（部分 code 从未被激活）在论文中未专门分析。
- 研究趋势：SAGE 代表 3D MLLM 从"encoder+projector"范式向"unified tokenizer"范式的迁移，与 2D 领域 encoder-free 趋势（Fuyu-8B、EVE 系列）一脉相承。下一步自然方向包括将框架扩展到 scene-level 点云（ScanNet、S3DIS），在同一 VQ 空间内统一 2D 视觉与 3D 几何，以及在 embodied AI 中结合动作序列的端到端学习。GRPO + 语义 reward 的框架对其他开放式多模态任务同样有迁移价值。