Hard Vision, Easy Vision: What GPT-6 Astra Reveals Across Computer Vision

研究动机

• 问题难在哪：证据太多但太散。MMMU-Pro、BLINK、ZeroBench……每个 benchmark 都有自己的 leaderboard，但"模型 A 在 benchmark B 上领先其他通用模型"这句话并不告诉你它离专用模型或人类还有多远。一个模型可以在榜单上第一，同时距专家水平差一半；它在一个任务上的强项也未必迁移到相邻任务。整个 CV 社群缺的不是新分数，而是一个共同坐标系。
• 现有方法的问题：(i) 单 benchmark 评测把"相对其他通用模型"当成进步指标，丢掉了专家/人类参考；(ii) 综合 benchmark（MMMU-Pro 等）覆盖广但输出几乎都是文本选项，量不到结构化预测（mask、depth、点云）；(iii) 结论按"领域"组织（3D、视频、医疗），于是"3D 强不强"这种问题得不到答案——同一个 3D 领域里 grounding 已超专家而 depth 还差 30%。
• 核心 insight：把 gap 的预测因子从任务所属领域换成输出的性质。决定通用模型行不行的，不是"这是 3D 任务还是视频任务"，而是"输出是否必须 metric 精确 / pixel-faithful / temporally consistent / 依赖细粒度领域知识"。语义能力与感知精度正在分叉：同一个模型可以 3D grounding 超专家、depth 差 1.4 倍；生成编辑超专家、复原差 13 dB；视频理解追平专家、视频分割差 7.9 分。

术语速查

论文大量使用抽象名词，先落地成这份论文里具体的东西：

核心方法

这是评测论文，"方法"就是评测设计本身。四个决定结论可信度的设计选择：

1. 能力分解：9 领域 → 34 能力 → 55 benchmark

不按"模态"也不按"论文习惯的子领域"，而按能力切分，且刻意挑仍有 headroom 的难 benchmark（ZeroBench、VisualPuzzles、Dense200、Anywhere3Dv2 等），避免天花板效应。关键是同一领域内部被拆开：3D 拆成 depth / 3D detection / 3D grounding / reconstruction 四项，视频拆成 understanding / temporal localization / segmentation 三项——正是这种拆分让"领域内部分叉"暴露出来。

2. 六个系统，同一套输入

GPT-6 Astra、Fable 5、Kimi K3、Gemini 3.1 Pro、Qwen 3.8-Max、Muse Spark 1.3，收到相同的指令、相同视觉输入、相同样本，用 benchmark 原生指标打分，推理档位取各系统支持的最强档。图像生成/编辑任务采用推理模型 + 配对图像模型的分工：Astra 配 GPT Image 2.5 Sunburst，Qwen 3.8-Max 配 Qwen Image 3 Pro，Muse Spark 1.3 配 Muse Image，Gemini 3.1 Pro 配 Gemini 3.1 Flash Image。

3. Output processing：让语言输出能被视觉指标打分

这是整篇论文最容易被忽略、却最工程化的一环。通用模型不会直接输出一张 depth map，所以需要一层翻译：

1. 分割：模型输出的多边形 → 栅格化成像素 mask（部分工具路径直接产出 mask）
2. 深度：模型预测的表面与 depth anchor → 渲染成 dense depth map，或直接执行模型写的代码生成深度图
3. 3D 重建：depth 预测 + 相机参数 → 统一坐标系下的点云 / 逐帧 point map
4. 3D 检测与 grounding：预测的 center、dimensions、rotation → box 边界 / cuboid 八角点
5. 病理：instance/class map → 带标签的细胞核多边形；核中心用于检测打分，组织 mask 用于分割打分

直观理解：论文实际上在问"如果我们肯为通用模型写足够多的 adapter，它能顶替多少专用模型"。这层胶水的存在也意味着分数里混入了胶水质量，不是纯模型能力。

flowchart LR
  A["Image / Video"] --> B["Frontier System"]
  B -->|"text, coords, code"| C["Output Processing"]
  C --> D["mask / depth map / point cloud / cuboid"]
  D --> E["Benchmark Metric"]
  E --> F["ratio vs reference"]
  G["Specialist S"] --> F
  H["Human H"] --> F
  F --> I["Maturity Tier"]
          

4. 双参考 + 四档分桶

每项能力取专家模型 (S) 与人类 (H) 中更强的一个当分母，lower-is-better 指标（AbsRel、重建误差）取倒数。四档阈值是硬编码的百分比区间。人类参考来自各 benchmark 自报的人类表现——这是后面批评的主要抓手。

5. 最关键的一句话

把 34 项能力放到同一条"相对参考水平百分比"轴上，就会看到一条不沿领域走、而沿输出类型走的分界线：语义解释与物体级预测已在线上，metric 几何、保真重建、稠密时序一致性、稀有领域细粒度判别仍在线下。

主要实验结果

能力成熟度全图（本文核心结论）

横轴 = 最强通用模型分数 / 最强可用参考（100% = 参考水平）。颜色按四档分桶。

关键行：同一领域内部的分叉

下表挑出最能说明"语义 vs 精度分叉"的成对能力。粗体行为差距最大的一侧。

注意 3D Visual Grounding：全部六个模型都超过了论文选的"专家"（Gemini-2.5-Pro，46.5），但离人类 95.0 还差 21 分。参考选谁，结论就能反过来。

2D 定位：结构化预测已跨过专家线

GPT-6 Astra 在 2D 检测（89.1 vs Rex-Omni 78.4，+10.7）与分割（81.3 vs SAM 3 Agent 77.0，+4.3）上超过专用模型；grounding 93.1 逼近人类 96.2。而且不是孤例——Qwen 3.8-Max 的检测也超专家 +8.6。这是"通用接口取代专用检测器/分割器"最硬的证据。

3D：物体级已通，几何级未通

六个模型全部在 3D visual grounding 上超过所选专家，Astra 的 3D 检测（17.3 AP3D）也逼近 WildDet3D 的 16.8。但 metric depth 与多视图重建仍显著落后——最强重建结果的误差约为 VGGT-1B 的 2.3 倍。

视频分割：单模型突起，但未成共识能力

Astra 84.5 J&F，次优通用模型仅 32.0–57.9，领先 +26.6——全文最大单项差距。但仍比专用 BEE 低 7.9 分。剩下的难点集中在精确边界、小结构、邻近实例的区分，以及把这些区分跨帧保持一致。

复原：看起来好 ≠ 还原对

全部通用模型在图像复原上挤在 17.2–17.7 dB，专用 MIRAGE 30.7 dB。原因不是"修得不好看"，而是修出了不存在的内容：4 个保龄球瓶变 5 个，空球道上长出球瓶，横幅文字与球道号被改写。casual 照片能接受，医学影像不能。

专家领域：会定位不等于会认

Astra 在 3D 医学 grounding 上 73.9 mIoU 超过 M3D-LaMed（59.4），2D 医学 grounding 61.5 mAP 但仍低于 RadVLM 81.8。病理是最惨的一项：全部模型 14.1–23.8 Macro-F1，专家 57.1，人类 82.0。定性观察说得很清楚：细胞核能框出来，但分不清是哪一类——定位能力不等于领域专业知识。

具身导航：从理解走到执行

EB-Navigation (AI2-THOR) 上 Astra 达到 78% 成功率，其他模型 48–70%。论文给的 episode 里，agent 只有第一人称 RGB，无地图无目标坐标，被障碍挡住后倒车绕行再接近目标——17 个动作、7 次模型调用、3 次被阻挡；其余五个模型全部未解出这一集。

推理预算与工具：能补，但不划算

提高 reasoning effort 能把 2D 空间推理、3D 检测、生成编辑推到专家水平，但收益与成本严重不对称：

规律：额外算力在"能力已萌芽但发挥不稳定"的地方最有用，在已经很强或根本缺失的地方都白花。工具调用的性价比（1.04–1.20×）远高于加推理（最高 13.22×）。差距大的地方则靠 specialist-as-tool：分割模型给计数提供实例，depth 模型给空间推理提供距离，grounding 模型解决遥感小目标。

Easy / Hard 分界线

论文标题问的"什么变容易、什么还难"，答案不按领域划，按输出属性划：

flowchart TD
  Q["Output requirement"] --> E["Semantic or object-level"]
  Q --> H["Metric or faithful or dense"]
  E --> E1["OCR, Doc, Recognition"]
  E --> E2["Detection, Segmentation"]
  E --> E3["3D Grounding, Driving, Embodied"]
  E --> E4["Generation, Editing, IQA"]
  H --> H1["Metric Depth"]
  H --> H2["Multiview Reconstruction"]
  H --> H3["Video Segmentation"]
  H --> H4["Image Restoration"]
  H --> H5["Pathology, RS Grounding"]
          

通用模型没有替代专用视觉模型，而是重画了通用与专用之间的边界。

论文给出的分工建议

随之而来的新研究问题（论文最后一段点出、但未解决）：通用模型何时该自己做、何时该调专用模型、以及如何验证专用模型返回的结果——并且要在准确率、成本、延迟三者间取舍。这已经是 agent 调度问题，不是 CV 问题。

局限与展望

论文自述的局限

• 参考选择左右结论：作者自己承认，3D visual grounding 上通用模型超过所选专家但远低于人类，"参考选谁"决定了这行是 exceeds 还是 substantial gap。
• 成熟度档不等于任务已解决：四档只描述"在这些 benchmark 上的成熟度"，不声称底层任务被解决。
• 人类参考依赖 benchmark 自报：有人类分的才有 H 列，标注协议各异。

怀疑者会怎么说（本文的诚实评估）

• "这就是一份 leaderboard 汇编"：没有新方法、新模型、新数据集、新指标。学术贡献全部压在"分析框架"上，而框架本身只是除法 + 四个硬编码阈值。
• 好几个"专家"其实是上一代通用模型：3D Visual Grounding 的 S 是 Gemini-2.5-Pro，Medical Understanding 是 GPT-5.6 Sol，Remote-Sensing Reasoning 是 GPT-5.4，Video Understanding 与 Driving 部分用 GPT4-o1。这些行里"超过专家"只是"超过上一代通用模型"，读成"取代了专用视觉模型"是过度解读。全文标题级结论有相当一部分落在这些行上。
• 跨任务百分比不可比：AbsRel 的倒数比、PSNR 比、J&F 比、Macro-F1 比放在同一根横轴上，只是视觉上整齐。"图像复原 58%"与"病理 29%"不能说明后者难度是前者两倍——PSNR 的 13 dB 差距在感知上远比 Macro-F1 的 33 点更或更不严重，取决于任务，不取决于百分比。
• Visual Recognition 一行可以讲两个相反的故事：对 S=61.1 是 126%（全图最高），对 H=98.9 是 78%（属 substantial gap）。论文选了前者。这不是造假，但说明分档对参考选择极度敏感，而参考选择没有统一规则。
• 不可复现：GPT-6 Astra 2026-09-03 发布，论文 2026-09-28 成稿，闭源 API、单次运行、无误差棒、无 seed。output processing 那层胶水代码的质量也直接进分数，但未消融。
• "最强通用模型"这个统计量会放大单点异常：Fig 3 用的是 34 项各自的最强者，而不是同一个模型，所以那条曲线描述的是"六个模型的上包络"，没有任何单一系统真的长这样。

真正新的那一件事

把 gap 的预测因子从"任务领域"换成"输出属性"，并给出一个可检验的假设：凡输出可被语言或离散结构表达的视觉任务，通用模型会先追平；凡输出必须连续、精确、保真、跨帧一致的，会最后追平。这个假设能被将来的模型证伪（如果下一代模型 metric depth 突然追平而 OCR 没进步，假设就错了），因此比"某模型某榜第一"有信息量。它也直接对应一个架构主张：generalist 做调度与语义，specialist 做测量与还原。

研究趋势定位

这篇论文是 2023 年"VLM 能看图吗"（BLINK、Eyes Wide Shut）那条线的终点，也是"hybrid generalist-specialist 系统"那条线的起点。2023–2025 年的争论是通用模型能不能做视觉任务，2026 年的答案基本是"语义类可以、测量类不行"，于是真问题转向调度：路由策略（何时调工具）、验证策略（怎么知道专用模型的输出对不对）、成本模型（13× 推理成本换 75% 分数值不值）。这三个问题都不在传统 CV 的方法论里，更接近 agent/system 研究。对做 3D 生成与几何的人，本文的实际含义是：几何精度仍是护城河，而语义接口正在商品化——把管线设计成"通用模型出意图、专用模块出几何"比等通用模型自己学会测量更划算。