Vision-as-Inverse-Graphics Agent via Interleaved Multimodal Reasoning

术语速查

研究动机

• 问题难在哪：从一张照片重建出可编辑的 Blender 场景，需要同时猜对「有哪些物体」（语义）和「相机外参、物体位姿、灯光颜色强度」（连续几何参数）。前者是离散的大跳跃，后者需要细粒度对齐，一次猜对几乎不可能。
• 现有方法的问题：
  • Differentiable inverse graphics（OpenDR、SoftRas、3DMM 拟合）：像素级梯度能精调参数，但初值离目标远时卡在局部极小，且不会「换个思路」（比如意识到少了一个物体）。
  • One-shot VLM 写代码（SceneCraft、3D-GPT、LayoutGPT 等）：有语义先验、能跳出局部极小，但是 open-loop，看不到自己的渲染结果，相机和位姿一般都错。
  • 已有迭代方法（BlenderAlchemy、Scenethesis）：有反馈，但要么没有跨步记忆（会覆盖之前的修改），要么是为特定任务写死的 pipeline。
• 核心 insight：把图形引擎当成 VLM 的「草稿纸」——写代码 → 渲染 → 主动换视角看 → 用文字描述差异 → 改代码。这是「thinking with images」的加强版：模型能做的不只是 crop/zoom，而是任意移动相机、改可见性、跳时间轴。

核心方法

flowchart LR
  T["Target image"] --> G["Generator VLM"]
  M["Memory last L"] --> G
  G -->|"execute_code"| B["Blender render"]
  B --> V["Verifier VLM"]
  T --> V
  V -->|"set_camera, investigate"| B
  V -->|"text feedback"| M
  G -->|"plan + code"| M
  G -->|"end_process"| E["Final program"]
          

1. Interleaved 循环：plan → code → render → observe → feedback

Algorithm 1 每一轮分四个阶段：

1. Plan：\(\tau^{plan}_t = \mathcal{A}(s_g^*, M_t)\)。如果计划里有 end_process 就结束。
2. Code：\(p_t = \mathcal{A}(s_g^*, M_t, \tau^{plan}_t)\)，通过 execute_code 提交（含 thought、code_diff、完整 code 三个字段）。
3. Render：\(s_t = \text{exec}(p_t)\)。出错时返回报错信息，成功时返回渲染图——要求代码里自己放相机。
4. Observe + Feedback：Verifier 先用工具探索得到 \(\tau^{obs}_t\)，再输出 \(f_t = \mathcal{A}(s_g^*, s_t, \tau^{obs}_t, M_t)\)。
5. Memory：\(M_{t+1} = \text{Tail}_L(M_t \cup \{p_t, f_t\})\)。

两个角色共用同一个 VLM，只是 system prompt 和可用工具不同：Generator 拿「修改型」工具，Verifier 只拿「只读型」工具。每次回复必须恰好一个 tool call 加一段推理。

直观理解：VLM 本身做不好「看图报坐标」，但很擅长「看两张图说哪里不一样、往哪个方向改」。VIGA 把精确数值的问题转化成一串「比较 + 方向」的判断，让渲染器去负责精确的投影。

2. 滑动窗口记忆：只留最近 L 轮

Memory 是多模态轨迹（plan、代码、渲染图、反馈交替）。保留历史的作用是让 agent 能比较自己之前的尝试（0.8 太高、0.7 太低 → 取 0.75），否则会在两个错误状态之间来回振荡。但全部保留会导致 context rot：图片越堆越多，模型推理变差。所以只保留最近 L 轮。

作者论证截断是「无损」的：因为每轮的 \(p_t\) 是完整代码，本身就编码了之前所有成功的编辑；老的推理过程是多余的。（这个论证只对「场景状态」成立，对「哪些试过不行」这种负面经验并不无损。）

3. Skill library：把 bpy 压缩成语义级动作

直接让 VLM 写裸 bpy 动作空间太大、容易幻觉 API。VIGA 把它包装成两类工具，观察和修改严格分开：

{
  "name": "execute_code",
  "description": "Execute blender python code and trigger verifier evaluation. Returns either (1) on error: detailed error information; or (2) on success: a clear render (you must add a camera in your code) and further modification suggestions from a separate verifier agent.",
  "parameters": {
    "thought":   "step-by-step reasoning about what code to write next",
    "code_diff": "minimal line-level edits: '-: [lines to remove]' then '+: [lines to add]'",
    "code":      "the COMPLETE updated Blender Python code after applying code_diff"
  }
}

4. 同一个循环跨 2D / 3D / 4D

换执行引擎即可：Blender 做 3D 重建和编辑；Blender 物理引擎 + 关键帧做 4D（扔球撞水果、打碎镜子、地震）；python-pptx 做幻灯片。Prompt 只改几个关键词（2D → 3D）。

5. 最关键的一句话

让 VLM 只做它擅长的「比较两张图、说往哪改」，把精确投影交给渲染器、把状态交给完整代码、把观察交给可以随意挪相机的只读工具，然后循环。

主要实验结果

• Benchmark：
  • BlenderBench（本文新提出，27 个任务；v1 摘要写 30 个）：Task 1 相机调整（找到目标视角）、Task 2 固定视角多步编辑（灯光、角色 shape key）、Task 3 探索式编辑（既要找视角又要多步改物体）。目标图常带风格迁移或箭头提示，逼 agent 理解几何意图而不是拟合像素。
  • BlenderGym：单步 3D 编辑（blend shape、placement、geometry、lighting、material）。
  • SlideBench：程序化生成 PPT。
• 指标：Photometric Loss（PL，像素差，↓）、Negative-CLIP（N-CLIP，↓）、VLM Score（GPT-4o 当评委，0–5 打分 task completion / spatial / detail / visual quality，↑）。
• Baselines：One-shot（一次写完）、BlenderAlchemy（有迭代但无跨步记忆）。迭代方法都用 best-of-N（N = 1 或 4），定量实验最多 10 轮。

BlenderBench（VLM Score ↑）

BlenderGym 与 SlideBench

SlideBench 宣传的「平均 +117.17%」几乎完全来自 Qwen 那一行（+446.7%）；强模型上的增益只有 2.5–18%。对强模型而言，PPT 一次就能写对，迭代只修了少量执行错误。

• 消融实验：只有图 5 一个定性的 memory 消融（有 / 无滑动窗口）。没有对 Verifier、只读观察工具、skill library、窗口大小 L 做定量消融；best-of-1 vs best-of-4 算是对搜索预算的扫描。
• 底座模型差异（附录 A.2）：长程重建用 GPT-5（L = 12，最多 100 轮）；Claude-Sonnet-4 和 Gemini-2.5-Pro 能完成但质量较低；GPT-4o 经常不会主动挪相机看全局，大多数复杂重建做不完。作者把这当作「VLM 主动空间推理能力」的一个可观察的区分度。

局限与展望

• 已知局限（论文自述）：性能受底座 VLM 空间感知能力限制；超长序列仍受上下文窗口约束；复杂几何依赖外部 3D 生成工具（SAM-3D、Meshy、Tripo）。
• 怀疑者会说它就是：BlenderAlchemy / SceneCraft 的迭代 VLM 编辑 + 标准 generator–verifier（self-refine / Reflexion 式）agent 循环 + tool calling + 截断上下文。「interleaved multimodal reasoning」「thinking with a graphics engine」主要是重新命名。这个说法大体成立。
• 真正新的一点：把「观察」变成 Verifier 可以主动执行的只读动作（挪相机、隐藏物体、跳关键帧、查场景属性），并且与「修改」严格分离。前作的反馈只来自固定视角的一张渲染图；VIGA 的 Verifier 可以像人一样绕着场景看。BlenderBench 的 Task 1 / Task 3 正是为了测这一点设计的。其次是把 4D 物理模拟和 PPT 纳入同一循环的工程统一性。
• 评测上的问题：
  • 选择指标与评测指标重叠：best-of-N 用 CLIP 相似度挑候选，而 N-CLIP 本身是评测指标之一（BlenderAlchemy 用同样设置，所以相对比较还算公平，但对 one-shot 不公平）。
  • 评委偏好：VLM Score 由 GPT-4o 打分，而 GPT-4o 同时也是被测 agent 之一。
  • 算力不对等：one-shot 一次调用 vs VIGA 最多 10 轮 × (生成 + 多次观察调用) × N，没有报告 token / 时间 / 费用。
  • 「平均相对提升」被低基数放大：+124.70% 等数字是各指标相对提升的平均，基数接近 0 的项（如 VLM 0.28、Overall 6.0）会产生几百个百分点，主导平均值。
  • BlenderBench 只有 27 个任务，缺少组件级定量消融；最惊艳的 3D 重建 / 4D 结果全是定性展示，没有重建质量的定量指标。
• 「重建」的边界：图 6 里看起来最难的部分（寿司、家具的形状）是外部 asset 生成器给的；agent 实际解决的是布局、相机、材质、灯光这些低维参数。所以它更像「场景组装 + 参数对齐」，而不是从像素反推几何。
• 研究趋势：这是「agent + 可执行环境」范式（SWE-agent、computer-use agent）向视觉生成的延伸：只要一个视觉领域有程序化接口（Blender、PPT、SVG、CAD、物理引擎），就能套上 write → run → render → compare 循环，由环境保证物理 / 几何一致性，VLM 只负责语义和方向判断。它与 differentiable rendering 互补：VLM 负责跳出局部极小的大步离散修改，可微渲染适合最后的精调——两者结合（VLM 给初值和结构，梯度做精调）是自然的下一步。另一个方向是拿这类循环产生的轨迹来训练更强的空间推理 VLM，而不是一直保持 training-free。