On the Opportunities and Risks of Frontier Models for 3D Modeling, Computational Design and Robotics

作者Zhiyang Dou, Akihisa Watanabe, Anna Deng, Tianyu Huang, Jamison Meindl, Igor Sadalski, Harrison Liang, Minghao Guo, Benjamin Tod Jones, Wojciech Matusik

机构Computational Design and Fabrication Group (CDFG), MIT CSAIL

版本Working Draft / Living Survey；网页发表日期 2026-09-22；本学习页读取日期 2026-09-24

链接原文与案例库 · 配套 GitHub

把会写代码、看图片的助手接到 Blender、CAD 软件和机器人控制程序上，让它根据渲染图、报错或执行结果反复修改。这篇综述把这些公开尝试放在一起，追问：成果到底验证了什么，又有多少依赖现成工具和人工修补？

阅读主线：可编辑的场景、有效的实体、成功的动作，分别需要不同的验收标准。

本文是对综述的中文学习整理；下列分数均为综述所引结果，未由本页重新运行实验。原文持续更新，数字与模型名称按本次读取版本保留。

KitchenTwin 的输入视频画面与重建厨房对照 — 原文 Figure 5：KitchenTwin 从手机视频重建可交互厨房。图像对照可帮助检查物体与布局，不能独自证明尺寸、质量、摩擦或接触行为正确。来源：原文 §3.1，Dou 的 M32 案例。

研究动机

公开演示已经出现从照片生成 Blender 场景、调用 CAD kernel 构造多实体装配、给机械臂下达动作目标的流程。难点在于：同样一句“AI 做到了”，可能指生成了漂亮图片，也可能指保存了能继续编辑的工程文件，或者真的在硬件上完成了一次任务。这些证据支持的结论不同。

报道分散且条件不齐：成功视频常缺少完整尝试次数、人工干预、失败记录和费用。
模型与工具共同决定表现：Blender API、专用几何生成器、IK、运动规划器和 RL policy 都可能承担关键步骤。
核心判断：能力声明只能延伸到实际检查过的性质；验证了视觉相似，就还需要另外验证可编辑性、工程功能或真实接触。

这篇工作贡献的是整理与审计框架：把接口、反馈、开发方式、benchmark 条件和证据缺口放到同一张地图上。它没有提出一个新的统一 3D 生成网络，也没有对所有演示做独立复现。[§1]

术语速查

术语	在本文具体是什么
Harness	连接模型和软件／机器人的执行程序：规定可调用动作、输入格式、返回观测、预算与执行限制。例如把末端目标姿态转换为机器人动作的 Inspect Robots。
Feedback	Blender 渲染、CAD kernel 校验结果、相机图像或任务评分；各自只暴露一部分错误。
Executable artifact	可再运行与修改的 Blender 脚本、CAD 工程、URDF/MJCF 文件或控制器程序。
B-rep / feature history	前者用面、边、顶点及拓扑关系表示实体；后者记录草图、拉伸等构造步骤。有效 B-rep 本身并不保证存在完整参数化历史。
Policy / action	Policy 可以是在线选择末端目标的模型，也可以是离线生成或训练后执行的控制器；action 可能只是目标位姿，并非电机扭矩。
Real-to-sim / sim-to-real	前者从视频、扫描等构造仿真场景；后者把在仿真中开发的行为放到真实硬件上检验。
In-context learning	将示范视频、动作或历史记录放入上下文；不等于更新大模型权重，也不保证表现提升。
Score / success rate	Score 可给中间进展计分；success rate 通常要求最终目标完成。两者不能直接互换。

核心方法：如何拆解整个系统

1. 沿着反馈循环定位贡献

flowchart LR
 A["Task and inputs"] --> B["Model"]
 B --> C["Harness"]
 C --> D["Application or robot"]
 D --> E["Checks and observations"]
 E --> B
 D --> F["Artifact or outcome"]

drag to pan · scroll to zoom

依原文 Figure 2 重绘：模型发出代码或动作请求，Harness 交给软件／硬件执行，检查结果再进入上下文。终止条件、工具权限和预算会改变整个循环的能力。

三种软件入口是 GUI 操作、MCP/API 工具调用和生成脚本后导入。GUI 给模型屏幕和鼠标键盘；API 暴露结构化建模操作；脚本把模型输出交给本地程序执行。它们返回的错误信息和允许的动作不同，同一个模型不一定得到相同表现。

2. 分清开发阶段和运行阶段

离线开发在线选动作混合控制

模型先写控制代码、奖励函数或训练脚本，在仿真里反复试验，最后导出控制器。现场执行可以使用本地快速循环，模型的慢推理发生在开发阶段。例：GaP、转笔 policy、RoboPianist。需要分别统计开发预算和部署后的表现。

执行任务时不断把相机／状态送给模型，由模型选下一步末端目标；IK 和底层控制器负责实际运动。例：ENPIRE、SO-101 拾笔。模型调用延迟直接影响反应速度，相机刷新率不能当作模型决策频率。

专用 policy 持续执行，模型观察并纠正异常。综述引述的一个 50-episode 子集由直接控制的 26% 完成率提升到混合方式的 48%，但动作来源也改变了，不能把差值单独归因于模型推理。

3. 对验收性质逐项负责

工作流	保留的输出	现有反馈	仍需验证
程序化 3D 场景	对象结构、场景、脚本	渲染与参考图对比	度量几何、编辑保持性、碰撞与物理参数
Native CAD	实体、装配、构造历史	几何、约束、指定编辑	公差、载荷、材料、加工和装配可行性
在线机器人	目标位姿与动作记录	相机、状态、任务进展	延迟、扰动恢复、接触稳定性与执行边界
离线控制器开发	控制代码或训练后 policy	仿真得分	开发时未见过的真实配置下是否仍有效

4. 如何做有解释力的比较

固定任务、Harness、预算再换模型：测量该系统中模型替换的影响。
固定模型再换接口或专用组件：检验工具贡献；两组替换一起做，才能研究兼容性。
消融反馈并保持时间与尝试预算：区分更好的信息和更多的试错。
用真实状态替换推断状态：在匹配场景中分离感知误差与动作选择误差。
记录实际资源使用和全部失败：包括人工修补，而不只报告允许的预算。

以上是综述 §4.6 提出的评估设计；本文没有完成这套全面因子实验。最关键的一句话是：看到的表现属于模型、工具、反馈和开发投入共同构成的系统。 [§2] [§4.6]

三个具体案例：产物、机制与证据边界

KitchenTwin：从视频到可动的厨房资产

综述描述的输入是一段约 20 秒的单目 RGB 视频。ViPE 估计相机位姿与深度，实例检测／跟踪定位对象，模型编写轻量 Blender DSL 脚本，将渲染投回原视频并对齐点云，最后导出带关节的 URDF/MJCF。作者报告约一天的开发与人工监督。薄物体、镜面材质和房间外壳仍有问题。

直观理解：模型在已有视觉工具提供的坐标与图像证据上改写场景程序。导出仿真文件验证了接口连通；真实摩擦、惯量和接触还需要实验识别。

CGM turbofan：实体有效与发动机可用之间

原作者展示的 turbofan 外观渲染 — 原文 Figure 7 的一幅展示图。综述说明它属于模型产出的展示渲染，不能据图代替 kernel 输出与工程验收。

Varghese 通过 CGM 的 Python wrapper/MCP server 建模，报告不足 30 分钟得到 511 个实体、11,200 个面和 2,296 个叶片／导向叶片，输出 XCGM 与 STEP，并通过 B-rep 和部分间隙检查。这些都是原作者报告；其定位是说明性模型。Solid validity 检查拓扑与几何合法性，不能证明气动性能、材料可靠性或制造可行性。

ENPIRE：视频示范后选择末端目标

机器人重现杯子放置任务 — 原文 Figure 9b：机器人执行；原视频显示 8× 播放。

模型输出末端目标，Harness 负责 IK、规划和平滑运动。相机以 30 Hz 采集不代表模型以 30 Hz 决策；原作者说明模型调用更稀疏，长等待被剪掉。这一成功例没有无示范对照，也没有完整尝试分母，所以不能估计示范带来的因果收益或实际时延。[§3，Figures 5、7、9]

主要实验结果：同一个数字可能回答不同问题

本文汇总多个外部评估。下面只在同一 benchmark 内比较；即使都写成 0–100，也不能跨 benchmark 合并成通用能力得分。

BVB：总分和房间尺寸判断分开看

BVB 包含 288 个视频、5,130 个时空问题，通过共享 Mini-BVB 环境生成并修改 Blender 程序。Dual VQA 的分母只包含原视频答对的问题，用来测量重建后保留了多少信息。Overall 综合信息保留与 latent similarity，不是任务成功率。

选择指标

Overall：GPT-6 Astra high 70.07，GPT-5.6 Sol xhigh 67.49；推理设置不同。

指标	GPT-6 Astra high	GPT-5.6 Sol xhigh
Overall	70.07	67.49
Dual VQA 平均	53.7	51.7
Latent Similarity 平均	88.6	85.4
房间尺寸 Dual VQA	33.1	53.1

因此，总分优势不等于所有空间性质都更好；这个评估也没有把感知、程序生成和修订的贡献分离。上述 Overall 相差 2.58 分，而原文另列 GPT-5.5 的 57.03，比较前必须确认基线。

Parametric CAD Bench v2：平均分第一和全对任务最多可以不同

模型	平均连续 reward（95% 区间半宽）	完全完成	Agent
Claude Fable 5.1 max	84.81% ± 4.13 个百分点	46/100	Claude Code
GPT-6 Astra max	84.78% ± 4.17 个百分点	45/100	Codex
GPT-5.6 Sol max	70.34% ± 7.01 个百分点	43/100	Codex
GLM-5.3 max	64.04% ± 8.61 个百分点	51/100	mini-swe-agent

100 个 FreeCAD 任务允许部分完成计分，失败／未评分记零。前两名平均分只差 0.03 个百分点，区间重叠，不能认定有可靠胜负。GLM-5.3 在原文十模型表中平均分最低，却有最多完全完成任务；要解释原因，需要逐题分数和判定规则，不能仅凭汇总表推测。v2 修改了执行和评分规则，也不能直接接续 v1 的趋势线。

机器人：进展、完成、示范收益分别报告

评估	结果	样本与解释边界
RoboDojo-Sim	Astra：SR 22.48%，Score 28.97；GPT-5.5：SR 0.88%，Score 1.13	42 个任务、每任务 50 episodes、单 seed；报告按能力维度平均。Score 为过程 reward。
Robocurve 放碗 / 插槽	Astra 放碗 19/20，Fable 5.1 为 8/20；插槽均为 2/20	放碗设备配置不同，插槽同配置；人工复位和知晓模型身份的评分。
StationeryBench	Astra / MolmoAct2：平均进展 46 / 12；最终完成 7/100 / 0/100	5 个双臂任务，共 200 次；步数上限不同，VLA 零样本设置与训练条件可能不匹配。
RoboDojo 示范条件	零样本 22.9%；图像＋末端示范 17.9%；文本示范 12.9%	各 340 个布局匹配 episodes；是子实验，不能与总体 SR 22.48% 混作同一统计口径。
RoboPianist	双手 Twinkle note-onset F1 0.902；RL 参考 0.886	经过离线练习后每曲一次验证；参考是重评分已发布动作，未重跑 RL policy。

CAD Arena、BenchCAD 与 PhysBrain 的补充证据

CAD Arena 覆盖 18 个零件、5 个平台，540 次计划试验中 523 次得到评分。Astra＋Codex 为 0.671，Fable 5.1＋Claude Code 为 0.662；Agent 同时变化，且原文未保留置信区间具体端点。BenchCAD 的 Astra 95.9% voxel IoU 属厂商报告，样本与跨模型协议匹配尚不明确。PhysBrain 1.5 的 Astra 平均 73.3 涉及 28 个理解 benchmark，同属厂商报告；回答场景问题与执行动作是不同终点。

来源：原文 §4、Tables 3–4；协议附录 Table 6。本页引用这些报告值，不把它们标作本页独立复现。

局限与展望

对综述本身的批判性定位

怀疑者会怎样概括：它本质上是一份经过整理、核查和分类的社区案例集，加上已有 benchmark 的结果汇编。把自愿发布的演示称为分布式用户研究或自然实验，有助于描述真实工作流，但这种称呼不会消除选择偏差，也不能凭空提供随机分组、失败分母或因果识别。

最具体的增量：在这批新案例中，把“模型调用了什么接口、收到什么检查、产生什么可保留成果、公开证据支持到哪里”联系起来，形成可审计的索引与比较边界。本文价值主要是组织证据和提出可检验的问题；许多底层技术已有先例，不能把整条工具链的能力全记到大模型头上。

四类实际缺口

可靠性：单次成功和精选视频无法给出跨布局、物体、用户的稳定完成率；全量失败、修补和人工时间经常缺失。
物理有效性：重建得像不代表恢复了质量和摩擦。原文记录 GaP 真实执行中推倒金属杆的失败，说明视觉拟合不足以保证动力学匹配；被动视频对某些参数缺乏足够辨识信息。
延迟与费用：离线开发可承受慢调用，在线动作选择需要独立报告观测到执行的延迟。原文 SO-101 拾笔成功例耗时约 22 分钟；这不是机器人平均速度或通用 benchmark。
归因与依赖：现成视觉模型、几何 kernel、资产库、IK 和 RL 都应被记录。公开代码不自动意味着数据齐全、依赖可用或许可证允许任意复用。

安全结果应怎样解读

RoboHarm 在固定五类危险指令、每类每 policy 20 次的受控试验中，报告 Astra 安全拒绝 2/100、危险任务完成 60/100；Fable 5.1 分别为 20/100 和 34/100。没有完成不等于主动拒绝，拒绝也不等于物理安全保证。实验采用替代物，这些计数不是现实伤亡或事故数量。RoboDojo 的真实硬件测试因不安全动作中止，保留的 33 段诊断片段也不能等同完整官方评测。

与机器人任务有关的执行约束需要由独立层落实，包括可执行动作范围、速度限制、碰撞检查与硬件停止能力；安全语言判断不能替代这些物理检查。[§6]

值得继续研究什么

我的研究判断：对这篇综述最直接的推进，是测试修改之后是否仍然成立。场景改布局后物体关系是否保持，CAD 改尺寸后装配是否仍满足约束，控制器换摩擦／质量后是否继续完成任务。这样的测试连接了可编辑性、功能性与泛化，也比继续增加成功视频更能缩小证据缺口。原文对 real-to-sim、离线工程和固定条件评估的建议支持这一方向，但这段优先级排序是本学习页的分析。

阅读与实践

先读 §2、Figure 2：画出模型、工具、控制器的职责，确认循环发生在部署前还是运行中。
再读 §4 与协议附录：为每个分数标注指标、样本、预算和比较条件，重点看总分与子指标是否一致。
最后读 §6.7、§9：判断哪些结论依赖公共演示，哪些来自固定协议实验，哪些仍缺独立验证。

如果要把它转成一个自己的研究项目

一个小而明确的设计：选定一组带关节的厨房对象，固定图像输入和预算，对比仅渲染反馈与渲染＋几何约束反馈；保存场景脚本、全部尝试与人工干预。先检查参考一致性和关节合法性，再在未用于开发的接触配置下验证。这是本页提出的实验草案，不能写成本文已经做过的实验。

检查自己是否理解了

为什么 511 个 B-rep 实体全部合法，仍不能说完成了一台可制造发动机？
为什么相机 30 Hz 和视频 8× 播放都不能推出模型实时控制能力？
为什么平均 reward 与完全完成任务数会给出不同排序？
固定模型、只替换 Harness，回答的是哪个因果问题？
给定未见过的真实质量与摩擦配置，哪一种验证才能支持 sim-to-real 泛化？

来源与版本口径

主来源为 MIT CDFG 的 HTML 全文，页面标注为 Working Draft / Living Survey。本次未发现该综述自身的 PDF 或 arXiv 链接，因此按 HTML 原文阅读并直接下载配图；页面参考文献中的其他论文没有冒充本综述 PDF。

原文内部的计数与分级不一致

§9 给出 190 条 posts、145 个 archival groups，以及 172 个 visual showcases／22 个 benchmark suites；网页顶部 Case Archive 标示 182。§9 的分级段落又提到 136 个 visual showcases。它们不是可以直接加总或互换的样本数，本页不指定其中一个为唯一当前总数。

网站导语称四级 Tier 1–4；§9 列出三档可复现性 Rank：有代码、有交互环境、仅演示；同时又有 Established、Partial、Not Established、Absent 四种证据状态。可复现性、证据状态和网站 Tier 不应自动视为一套分类。

§9 的 Rank 1 为 26 posts / 13 groups，但另一个代码审计口径是 12 groups，其中 7/134 demonstrations 与 5/8 benchmark entries。这里保留各自原始语境，不从它们计算“独立可复现成功率”。这些差异限制了聚合统计的解读，也提示使用 living survey 时需要保存版本。

进一步追溯可从原文所引的 BVB、Parametric CAD Bench v2、RoboDojo 评估、RoboHarm 开始。这些是综述提供的原始来源入口；本页未宣称逐项重新审计其代码或重跑实验。