Paper2Poster: Towards Multimodal Poster Automation from Scientific Papers

术语速查

研究动机

• 问题难在哪：slide 生成可以「一页一个观点」，海报必须把一整篇论文压进一张图。数据集里论文平均 22.6 页、约 2 万 token、22.6 张图；作者海报平均 774 词、8.7 张图——文字压缩约 14.4×、图片压缩约 2.6×。还要同时满足空间约束（不能溢出、不能留大片空白）和阅读顺序。
• 现有方法的问题：
  • 像素级生成（GPT-4o 出图、diffusion 海报模型）：第一眼像海报，但小字是乱码，图也会被幻觉出来。
  • 写 HTML / 通用 agent（4o-HTML、OWL）：文字清楚，但成品像博客，一大段文字、没有图。
  • 模板填充（PPTAgent）：依赖模板，经常留下 placeholder 文字或大片空白。
• 核心 insight：LLM 直接预测坐标不稳定，LLM 也看不到自己的排版效果。所以坐标交给确定性算法，文字交给 LLM，效果检查交给 VLM 看渲染截图；另外，海报好不好要看「读者只看海报能不能答出论文问题」，于是有了 PaperQuiz。

Benchmark 与评测指标

1. 数据：100 对 论文–作者海报

取自 PosterSum 的 test split（ICML / NeurIPS / ICLR 2022–2024）。只留 15–50 页（含附录）的长论文，手动换成 camera-ready 版本。按年份分层（33/33/34），按会议分层（NeurIPS 35、ICML 37、ICLR 28）。领域以 CV（19%）、NLP（17%）、RL（10%）为主。全是 AI 论文。

2. 四类指标

3. PaperQuiz 的字数系数

海报不是笔记，抄满全文当然能答对更多题。所以对原始正确率 \(s_r \in [0,100]\) 加一个奖励：

\[ s_a = s_r \left(1 + \frac{1}{\max(1,\; L/W)}\right),\quad s_a \in [0, 200] \]

L 是海报字数，W 是人类海报字数的中位数。三个设计目标：(i) 太长（\(L \gg W\)）就拿不到奖励，\(s_a \to s_r\)；(ii) 不会把长海报罚到 0；(iii) 字数 ≤ W 后奖励封顶 ×2，再缩短没有好处。读者模型：开源 LLaVA-OneVision-7B、Phi-4-multimodal、Llama-4-Scout-17B；闭源 o3、GPT-4o-mini、Gemini-2.0-Flash。答题时禁止用外部知识，且必须给出「答案在海报哪个区域」的引用，否则答 NA。

核心方法：PosterAgent

论文把任务定义为多模态上下文压缩，采用 top-down 流程：先全局整理内容，再逐个 panel 精修，每一步都用渲染截图做视觉反馈。

flowchart LR
  PDF["Paper PDF"] -->|"Docling, Marker"| MD["Markdown"]
  MD -->|"LLM summarize"| TXT["Text assets"]
  MD -->|"extract, LLM filter"| FIG["Visual assets"]
  TXT --> MATCH["Asset matching"]
  FIG --> MATCH
  MATCH --> TREE["Binary-tree layout"]
  TREE --> PAINT["Painter LLM"]
  PAINT -->|"python-pptx"| REN["Render panel"]
  REN -->|"zoom-in crop"| COM["Commenter VLM"]
  COM -->|"overflow or blank"| PAINT
  COM -->|"good to go"| OUT["Editable pptx"]
          

1. Parser — 全局压缩成 asset 字典

用 Marker 和 Docling 把每页 PDF 转成 Markdown 并抽出图表文件。LLM 按 prompt 把 Markdown 重组成两级 JSON：一个 meta（标题/作者/机构，标题保持原文）+ 若干 section（标题 ≤3 词，内容约 500 词、尽量保留原文、去掉引用，重要的节更长）。另一个 LLM 调用按 caption 过滤图表，丢掉和大纲无关的，图、表各最多保留 5 个。这一步把 2 万 token 的论文压成一个小字典，后面所有步骤只读这个字典，这是 token 用量低的主要原因。

2. Planner — 图文配对 + 确定性版面

1. Asset matching：LLM 给每个顶层 section 分配 0 或 1 张图/表（每张图只能用一次），附一句理由。结果是若干 (section, figure) 对。
2. Layout generation：作者发现让 LLM 直接输出坐标不稳定（见消融的 Direct 变体），所以用 binary-tree layout（Qiang et al. 2017）：根据每个 panel 的字数和图片尺寸估计面积，递归切分画布，同时保持图片宽高比和阅读顺序。
3. Panel iteration：按顺序处理每个 panel，进入 Painter–Commenter 循环。

3. Painter–Commenter — 渲染、看截图、修改

Painter 分两部分：LLM 把 section 摘要写成 1 或 2 个文本框的 bullet JSON（每条带 level、font_size、runs）；然后一个确定性的代码生成器把它翻译成调用预定义 helper（如 add_textbox(b1,b2,b3,b4)）的 python-pptx 代码，执行并把 panel 渲染成图片。

Commenter 是一个 VLM。两个技巧压低 VLM 幻觉：zoom-in（只看当前 panel 的裁切图）和 in-context reference（附一张溢出的反例、一张正好的正例）。它输出 "overflow"、"too blank" 或 "good to go"，Painter 据此增删 bullet。

反例：文字超出文本框（红框为框体）

正例：文字正好填满文本框

直观理解：Commenter 主要只做一件事——判断这一格文字是溢出、太少还是正好，相当于一个「用 VLM 实现的文本框长度检查器」。之所以需要 VLM，是因为 PPTX 不像 HTML 那样会把子元素裁在父容器里，python-pptx 也拿不到渲染后的真实文字高度。

4. 为什么选 PPTX + 代码 + 视觉反馈

来自附录 Table 10。注意这张表是作者自评，「纯代码不能视觉反馈」并不成立——任何代码方案（包括 HTML）都可以渲染截图再交给 VLM 反馈。真正的区别是输出格式 PPTX 可以直接在 PowerPoint 里改。

5. 最关键的一句话

LLM 只负责写字，坐标由 binary-tree 算法给出，VLM 只负责看渲染截图判断每一格字是否塞得下——把 LLM 不擅长的空间推理全部移出 LLM。

主要实验结果

• Benchmark：Paper2Poster 100 对。Baseline 分四类：Oracle（Paper 原文 PDF、GT 作者海报）、端到端（4o-HTML、4o-Image）、多 agent（OWL-4o、PPTAgent-4o，人工挑最好的候选）、PosterAgent（4o 版；Qwen 版 = Qwen-2.5-7B 写字 + Qwen-2.5-VL-7B 当 Commenter）。
• 定量对比：PosterAgent-4o 的 VLM-as-Judge 总分 3.72，接近 GT 海报 3.77；PaperQuiz augmented 116.1，高于 GT 海报的 111.8。完全开源的 Qwen 版 3.66 / 114.7，仍超过所有 GPT-4o 驱动的 baseline。
• 成本：PosterAgent-4o 每张海报 101K token、约 $0.55；Qwen 版 47.6K token、约 $0.0045；OWL-4o 用 361K token、$1.87。并行生成各 panel 后，4o 版耗时从 281s 降到 167s。

1. 主表（Table 1 节选）

高亮 = 非 Oracle 方法中的最好。4o-Image 的 Visual Sim. 最高，但 PPL 高达 77——远看像海报，近看字是乱码。所有方法的 Engagement 都低于 3，连作者原版海报（2.70）也是，作者认为这是当前海报生成的主要瓶颈。

2. PaperQuiz（Table 2）

• Verbatim（细节题）普遍比 interpretive（理解题）难。
• 闭源读者的分数始终高于开源读者：感知能力越强，越能从海报读出信息。
• 对 GT 海报和 PosterAgent 海报，读者越强分越高；对 Paper 原文和 4o-Image 则没有这个趋势——作者据此认为好的版面能让强模型更好地利用信息。
• 4o-HTML、OWL-4o 写了很长的博客式无图文字，原始正确率却不如 PosterAgent-Qwen，说明 PaperQuiz 不只看字数。

图 5：不同读者 VLM（横轴）对各类海报的 PaperQuiz 分数

图 6：人类评测子集上，人类与 VLM 读者的分数趋势一致

人类评测：1 名博士生在 5 篇随机论文上做 PaperQuiz，覆盖 8 种海报。趋势和 VLM 读者一致，作者据此认为 VLM 读者可以代替人类——但样本量很小（见局限）。

3. 定性对比

作者原版海报（Bisimulation Makes Analogies in GCRL）

PosterAgent 生成版：结构清楚、可编辑，但视觉上是统一的蓝色标题栏 + bullet 网格

4. 消融：版面算法和 Commenter 各管什么

在 5 篇论文上用 PosterAgent-4o 做定性消融（没有给数值）。红框 = 文字溢出，紫框 = 大片空白。

(a) Direct：LLM 直接出坐标 → 结构崩坏、缺文本框、图片比例错

(b) Tree：有版面算法、无 Commenter → 到处溢出、文字互相覆盖

(c) + Commenter（无示例）→ 仍有少量溢出，且发现不了空白

(d) + Commenter + 正反例 → 完整系统，无明显溢出

5. Backbone 交叉实验（Table 6）

四种组合的 PaperQuiz 只差约 4 分，backbone 影响不大。有意思的是换更弱的 Commenter，PaperQuiz 反而升高、美观分下降：GPT-4o 判溢出更严，会删掉更多字，版面更好看但信息更少。也就是说 Commenter 解决溢出的手段就是删内容，美观和信息量之间存在直接的此消彼长。附加实验中 o4-mini 版本的 PaperQuiz 最高（121.9），但美观分较低（3.27）；Qwen-72B 的 Visual Sim. 最高（0.78）。VLM-as-Judge 重复 5 次，overall 标准差 0.005。

6. 效率

耗时分解（10 篇平均）：串行版 281s 中，PDF 解析 81s、panel 内容生成 177s；把各 panel 并行后内容生成降到 54s，总时间 167s（−40.7%），与 OWL-4o 的 159s 接近。

局限与展望

• 论文自述的局限：panel 串行执行是速度瓶颈（v2 已加并行版）；没有用外部信息（OpenReview 评论、社交媒体反馈、机构 logo）；没有人机协作的迭代流程。附录的错误分析承认 PPTX 没有父子容器裁切，PosterAgent（尤其 Qwen 版）仍会溢出。
• 方法本身的新意有限：怀疑者会说它是「PPTAgent 的单页版 + 2017 年的 binary-tree 版面 + 渲染后 VLM 自我批评（Self-Refine / Design2Code 式）」。版面是确定性算法，LLM 只写 bullet；Commenter 实际只检查文本框溢出和留白，而这件事用字体度量或 LibreOffice 渲染后测文字边界框就能确定性地做到，不一定需要 VLM。真正新的东西是问题设定和评测，不是 agent。
• PaperQuiz 的问题：
  • o3 既是出题人又是 6 个读者之一；题目由 LLM 生成，未见人工校验题目质量。
  • 字数系数对所有海报几乎都封顶在 ×2（GT 1.89×、4o-HTML 1.91×、PosterAgent-4o 2.0×），实际作用主要是惩罚「Paper 原文」这一个 Oracle。海报之间的差距要看原始正确率：PosterAgent-4o 58.2 vs 4o-HTML 56.6，只差 1.6 分。
  • PosterAgent 的字数比作者海报还少，却在 augmented 分上超过 GT 海报（116 vs 112）——这更说明指标偏好「刚好不超过中位数长度的密集 bullet」，而作者海报靠图和视觉表达的内容 VLM 读者不一定读得出来。
  • 人类验证只有 1 名博士生 × 5 篇论文，不足以支撑「VLM 读者能代替人类」的结论。
• VLM-as-Judge 的可信度：评委是 GPT-4o，PosterAgent-4o 内部的 Commenter 也是 GPT-4o，有自我偏好风险。评委给 Paper 原文 PDF 的总分（3.90）高于作者海报（3.77），给 PosterAgent 的 Engagement（2.93）高于作者海报（2.70）——说明这个评委测的并不是「海报设计得好不好」。5 次重复的方差小只说明稳定，不说明有效。
• 成品风格单一：输出是统一模板式的标题栏 + bullet 网格，没有图标、配色、强调色块、重新绘制的示意图——人类海报的吸引力恰恰来自这些。数据集也只有 100 对、全是 AI 顶会论文。
• 研究趋势：这篇是「文档 → 结构化视觉产物」系列（PPTAgent、AutoPresent、Design2Code 等）在海报上的落地，共同路线是代码作中间表示 + 渲染 + VLM 反馈，避开像素生成的文字乱码。它更持久的贡献是数据集和 PaperQuiz 这种「读者能否答题」的任务式评测思路，可以推广到 slide、图表、科普文章等任何「压缩后还要传达信息」的产物。下一步的难点在 Engagement：需要生成新的视觉元素，而不只是排好已有的文字和图。

附：失败案例

4o-Image：大量乱码文字

PosterAgent-Qwen：Qwen2.5-VL-7B 视觉判断较弱，文字仍会溢出文本框