Bunraku: Turning a Single Illustration into an Editable Live2D Character

研究动机

• 问题难在哪：一个 Live2D 模型 = 30～100 个 RGBA 图层 + 每层一个 2D 变形网格 + 每个参数（转头、眨眼、呼吸……）在几个关键值上的顶点位移表。高级画师做一个全身模型要 4～8 周、约 1000 美元。难点不是画画，而是三件「结构性」工作：拆层并补画被遮住的部分、给每层画网格、给几十个参数逐层手调顶点位移，让所有层像一个身体一样一起动。这些信息平面立绘里根本没有。
• 现有方法的问题：
  • 多图层分解（See-through、Qwen-Image-Layered 等）：只给 RGBA 栈，没有网格也没有动作，仍需手工绑定。
  • 图生视频（Wan2.2、CogVideoX、ToonCrafter、AniDoc）：有动作但输出是像素，不能用一个从没生成过的参数值实时驱动，改一处就得重新生成。
  • 结构化资产生成（自回归 mesh token、LottieGPT 等矢量动画）：要么面向 3D 网格，要么只能表达整块图元的变换，表达不了手绘位图上的自由逐顶点形变。
• 核心 insight：角色看起来「是一个身体」，不是因为每层单独变形都合理，而是因为所有层的变形彼此一致。所以动画阶段应该对整个角色的所有层联合预测，而不是逐层独立预测；这一改动是全文量到的最大增益，而把模型放大 112 倍则毫无收益。

术语速查

核心方法

flowchart LR
  I["Illustration"] --> S1["Stage 1 layered diffusion"]
  S1 --> L["Ordered RGBA layers"]
  L --> M["Alpha to mesh"]
  L --> D["DINOv2 pooled"]
  M --> T["Vertex tokens"]
  D --> T
  P["Param id + keypose"] --> T
  T --> J["Joint Transformer 5.1M"]
  J --> O["Offsets per vertex"]
  O --> R["Live2D style rig"]
  L -->|"texture edit"| R
          

大白话版：剪纸 → 铺网 → 一起猜每个点怎么动

1. 剪纸（分层）：扩散模型一次把立绘剪成一整叠透明 PNG（后发、脸、眼白、虹膜、刘海、衣服……），被挡住的部分已补画，按前后顺序叠好。
2. 铺网（网格）：每层有颜色的地方撒点（轮廓密、内部稀），连成三角形。之后挪点，贴图就跟着变形。纯规则算法，不学习。
3. 填表（预测位移）：所有层的点放进同一张画布坐标，每个点是一个 token（位置 + 属于哪层 + 这层长相 + 当前动作及哪一端），全角色几千个点一起送进小 Transformer，一次前向输出每个点的位移。
4. 为什么要一起看：逐层单独猜，虹膜会滑出眼白、刘海会和额头分家；一起猜时虹膜的点看得到眼白的点，自然跟着走。
5. 播放：只存滑杆两端的位移，中间值线性插值，多个动作同时做时位移相加。

0. 要生成的东西：一张关键帧位移表

目标资产写成 \(\mathcal{A}=(\{L_i\},\{M_i\},\{k^{p,0}_i,k^{p,1}_i\})\)：图层、每层网格、每层每个参数两端的顶点位移。插值类型固定为线性，不预测。运行时滑杆只用于在相邻两个 keypose 之间线性插值：

\[ V_i(q) = (1-t)\,\hat V^{(p,k)}_i + t\,\hat V^{(p,k+1)}_i,\quad t=\frac{q-q^{(p,k)}}{q^{(p,k+1)}-q^{(p,k)}} \]

多个参数同时驱动时，运行时直接把各参数的位移场相加（和 Cubism runtime 一样），因此转头 + 歪身 + 张嘴同时出现不需要新的预测。一个完整 rig = 13 次前向（8 个参数；5 个角度参数各 3 个 keypose、3 个 [0,1] 参数各 2 个，静止态不用算）。

「只预测两帧，其余全靠插值」吗？基本是，但这里的「帧」是滑杆上的位置，不是时间帧。静止位置位移为 0 不用预测；角度参数只预测两端（如 AngleX = -30 / +30，共 5×2 = 10 次前向），[0,1] 参数一端就是静止（3×1 = 3 次）。中间值线性插值，多根滑杆同时拖则位移相加。随时间的动作（摇摆、转头过程）由运行时谁来拖滑杆决定（面捕或预设曲线），模型完全不预测时间节奏。代价：(1) 每个顶点从静止到端点走直线，真实转头应走弧线，画师常加中间 keypose 修正，本文没有；(2) 位移相加意味着同时做的两个动作互不影响；(3) 没有物理，头发不会滞后或回弹。所以效果是「两端方向大致对，中间走直线」，更像初稿 rig。

1. 数据：8,884 个 Live2D 模型，用官方 Web SDK「录」出来

从网上收集公开 Live2D 模型，去重后约 1 万个可用（报告口径 8,884：7,773 人形 + 1,111 非人）。由于运行时二进制（.moc3）是加密的，作者在自写的 HTML 渲染器里跑官方 Web SDK，逐层录下 RGBA、art-mesh 顶点/面和参数关键帧曲线。所有顶点统一放进一个 \([-1,1]^2\) 的共享角色画布坐标系，而不是每层裁剪自己的坐标，这样「这层在角色哪里」本身就是输入。图层统一成 8 大类 / 32 子类的 taxonomy（头发、脸、眼、嘴、头饰、躯干、手臂、下半身），并用 Qwen-VL 给每层写 ≤16 token 的描述，共约 50 万个 (layer, mesh, caption) 三元组。数据增强：换动作（把别的参数曲线套到同一图层栈上）和换颜色/纹理（保持 alpha、网格、位移不变）。

2. Stage 1：Live2D 感知的分层扩散

从 Qwen-Image-Layered 初始化，把它通用的「前景 / 背景 / 装饰」层 token 换成 8×32 的 Live2D taxonomy token，在约 1 万个 Live2D 模型上 SFT（8×A100，6K step）。条件有四路：输入图的 VAE latent、层类别 token、可选的逐层 caption（训练时 50% dropout）、逐层遮挡 mask。损失 = 标准扩散噪声 MSE + 被遮挡区域的 L1 补画损失（\(\lambda_{occ}=0.1\)）。输出分辨率按层数动态分配像素预算：\(P_{target}=\max(196608,\min(1048576,\,6.4\text{M}/(L+2)))\)，层越多每层越小。

一次出所有层，不是每个部件跑一次：Qwen-Image-Layered 本身就在一次扩散采样中联合生成整组 RGBA 图层；输入图只作为条件，每个输出层带类别 token（和可选 caption）告诉模型「这一层是什么」，损失对所有层求和。不是 image-to-image 逐个抠部件。

所以层数有上限（论文没写死最大值，但实际受限）：

• 算力：所有层同时生成，层越多序列越长，于是每层像素 ≈ 6.4M ÷（层数 + 2），最低 196,608 像素（约 443²），约 30 层后就触底。
• 训练数据被合并过：原始 Live2D 常有 30～100 层，训练时按语义分组合并（保持深度顺序），模型学到的本来就是较粗的分层。
• 层数可指定：附录图 13、19～22 展示同一张图在不同指定层数下的结果。
• 实际产出：网络插画多为 15～22 层，明显少于画师的 30～100 层。后果是眼皮常没被单独拆出（自动分层上眨眼失败），细碎发束和饰品被并进大层，动起来不够细。
• Stage 2 不受此限：它的序列由顶点组成，与层数无关，画师数据中 125 层的角色也能处理。层数瓶颈在 Stage 1。

直观理解：这一步要的不只是「干净」，而是完整且顺序正确。后面联合推理要依赖层之间的关系，少一只袖子就是 Stage 2 无论如何也修不回来的层间不一致；作者实验证明这是端到端误差的主要来源。

3. 从 alpha 自动生成贴合轮廓的三角网格

1. 阈值 α > 4/255：取低于 4 会被 Stage 1 解码器的 1～4/255 底噪拖成整个包围盒（α>0 时 78% 的 bbox 被当成内容）；取 16 又会把大量抗锯齿软边排除在外（最差层覆盖率跌到 0.18）。4 刚好在底噪之上、可见边缘（α≥8）之下。论文承认旧版主张 α>0 是错的。
2. 膨胀 3px：让网格边界落在笔画外侧，不膨胀会在每层边缘出现细白缝（覆盖率 0.9956 → 0.9996）。
3. 采样：对所有外轮廓（不只是最大的那块，否则分离的发梢会丢）按弧长分配顶点，约 55% 预算给边界，内部加抖动格点。
4. Delaunay 三角化并保留所有面：落在透明区的面渲染出来是空的，不花钱；删掉反而会在尾部出现缝。

作者诚实地测了「贴合轮廓的三角网格 vs 包围盒均匀网格」：顶点落在内容上的比例几乎一样（0.368 vs 0.376），真正的好处是同等覆盖下少 26% 顶点（83 vs 112），而顶点就是 token，attention 是 \(O(T^2)\)。在画师角色上训练时，保留画师原顶点并在膨胀轮廓上补点用于渲染，补点的位移取最近画师顶点，指标只在画师顶点上算。

4. 每个顶点一个 token

\[ h^{(0)}_{i,j}=W_v\big[\gamma_6(v_{i,j});\,e^{par}_p;\,\gamma_3(\bar q);\,e^{lay}_i\big] + W_a\,\phi(L_i) \]

刻意做弱的图像条件：像素进入 Stage 2 的唯一通路就是每层一个池化后的 DINOv2 向量；顶点和图像 patch 之间没有 cross-attention，也不编码合成后的整图。作者试过「在每个顶点位置双线性采样 DINOv2 patch 特征」的富版本，结果更差（cos 0.7269 vs 0.7676，幅度比 1.735 vs 1.234）。解读：逐顶点特征让模型去拟合局部纹理，跨角色不泛化；池化向量逼模型依靠「这是什么部件 + 在哪里」，这才是能迁移的。

5. 联合多层 self-attention（全文核心）

全角色 \(T=\sum_i n_i\) 个顶点 token 拼成一个序列，送入 6 个 pre-norm block、4 头、宽 256、无因果 mask 的 Transformer（共 5.1M 参数）。40 层 × 每层约 80 顶点 ≈ 3200 token，任意两两之间都能 attend。把 attention 矩阵按层分块：对角块 = 层内 attention（per-layer 模型能用的全部）；非对角块 = 层间 attention（只有 joint 能用），让虹膜顶点读到它必须待在里面的眼白顶点，让刘海顶点读到它必须贴着的额头。

两个关键性质：(1) 对 token 置换等变，序列没有位置编码，所以同一套权重能处理 8 层和 125 层的角色，训练时每层最多采 28 个顶点、推理时用全量顶点也不用重训；(2) 所有层共享一个画布坐标，跨层的几何邻近直接可见，模型从没被告知哪些层相关，只知道它们在同一坐标系里。per-layer 基线严格等于「同一模型 + 块对角 attention 约束」，因此消融只隔离了跨层信息这一个变量。

实测 attention：在 15 层、1435 token 的角色上，对角块占矩阵面积 6.7%，拿到的 attention 质量从第 1 个 block 的 4.4% 单调升到第 6 个 block 的 12.2%，平均 92% 的 attention 质量跨层；早期 block 全局扫视、后期逐渐局部化。作者也承认：均匀 attention 也会按面积分配质量，所以这只证明跨层通路「被用了」，「有用」靠的是消融。

它不做的事：不跨参数 / keypose 推理，每个 \((p,\bar q)\) 是独立前向，真正耦合的多参数形变不在表达范围内。

6. 方向 / 对数幅度解耦输出

Live2D 位移幅度是重尾分布：大多数顶点移动不到画布 1%，大转头时轮廓顶点能动几十个百分点。直接回归会让少数大位移顶点主导损失。做法：以该层在当前 \((p,\bar q)\) 下的峰值位移 \(a_i\) 归一化目标，两个小 MLP 头分别输出有界方向和对数尺度：

\[ u_{i,j}=\tanh f_{dir}(H_{i,j})\in[-1,1]^2,\quad s_{i,j}=f_{mag}(H_{i,j}),\quad \widehat{\Delta v}_{i,j}=u_{i,j}\cdot\exp(s_{i,j}) \]

两项都用 L1 损失（\(\lambda_a=1\)，默认层权重均匀）。log 空间让「幅度错 2 倍」无论真值是 0.002 还是 0.2 代价都一样。训练：AdamW，lr 2e-4，30 epoch，单卡 H800，1,443 个角色、357,381 条 (角色, 参数, keypose, 层) 记录。

7. 弃用的设计：自回归 mesh token（负面结果）

早期 Stage 2 仿照 EdgeRunner 把网格连接关系和量化位移串成一条自回归 token 流，报告 cos > 0.99；但那是 teacher forcing 下的下一 token 精度，不是生成出来的 rig 的质量。换成连续值一次前向回归后，作者把结论写成：对「给定网格的 keypose 形变」，把位移离散成 token 词表没有任何好处。

8. 最关键的一句话

把整个角色所有图层的所有网格顶点放在同一张画布里当一个点云序列，用不带 mask 的 self-attention 一次性回归每个顶点在每个参数端点处的位移，让各层「一起动」而不是「各自动」。

主要实验结果

• 数据集/benchmark：自建 Live2D-Bench，120 个样本（100 人形 + 20 非人），按层数 10–20 / 20–35 / 35+ 以 1:2:1 分层；层级评测用 Hungarian 匹配（α-IoU + RGB L1），未匹配的层计罚分。Stage 2 主评测在 50 个与训练零重叠的 held-out 角色上，消融在一个「干净」的 46 角色集上。
• Stage 1 基线：Marigold 深度切层、See-through 微调的 19 类 SAM 分割、zero-shot Qwen-Image-Layered、See-through v3。Stage 2 基线：FFD oracle、per-layer 回归、逐顶点坐标 MLP、0.8B Qwen-VL 回归器，以及四个图生视频模型。

Stage 1：分层分解

读法：整图指标会误导，深度切层只出几张「整体像原图」的层，合成后 PSNR 最高，但罚分 α-IoU 只有 0.081。真正有意义的是逐层指标：Ours 罚分 α-IoU 0.298、层序 0.674（比最好基线高 56%）、匹配层 LPIPS 比 See-through 好 14%。注意 Ours 整图 PSNR（24.28）比深度切层和 SAM 都低，说明重新合成的忠实度并不突出。

Stage 2：网格动画（true generation，50 个 held-out 角色）

FFD 行不是竞争方法：连 2×2 的格子都能把画师位移场表达到 cos 0.99，说明表示能力从来不是瓶颈，和 1.0 的差距全部是预测误差。均值 0.77、中位数 0.83 的差距说明分布左偏：多数角色动得不错，少数角色彻底失败（最差 cos 达 -0.97，方向几乎完全相反）。幅度上，小动作偏大、大转头偏小，典型的点估计回归在多解问题上取「中心趋势」的症状。

消融：联合 vs 逐层，以及「放大模型没用」

噪声地板：同配置只换随机种子两次得 0.7289 和 0.7533，相差 0.024。所以 joint 对 per-layer 的 +0.043 约为噪声地板的 1.8 倍，且只是一对单次运行；但幅度从 0.86 修正到 0.99、以及定性上虹膜/刘海不再撕裂，让这个结论比数字本身更可信。

作者把天花板归因于三点：(1) 任务本身有歧义，一张静态图 + 一个参数值对应许多种合理的画师动作，L1 回归只能给出条件中位数；(2) Stage 1 分层质量封顶；(3) 1,443 个 rig 对这个领域已不少但绝对量很小。出路是分布式输出（采样 / flow matching / 扩散头）、更好的分层、更多样的 rig，而不是更大的网络。

其它没起作用的条件（都在 0.024 噪声地板内或更差）：显式逐顶点绘制顺序 0.7148；零初始化的 2.5D 视差残差 0.7225 / 0.7170；视差 + 顺序 40 epoch 均值 0.7153 但中位数最好（0.8255）、幅度最好（1.054），是唯一指向幅度压缩问题的「差一点」结果；逐顶点图像特征 0.6918；按幅度加权损失（ρ=0.25/0.5）无效甚至更差；稀有参数重复采样也无效。

参数词表 8 → 24：数据长尾

Warm-start：从 8 参数模型按名字拷贝 8 行参数嵌入，新增 16 行随机初始化，再训全部 24 个；原 8 个参数持平（0.6983 vs 0.7009），新增 16 个从 0.4792 升到 0.5588（+17%），提升集中在最稀有的参数上（EyeRSmile 17 条样本：0.372 → 0.724）。解读：稀有参数没法从 17 个样本学出通用位移场，但可以学会「重新索引」主干已有的位移场。

指标陷阱：逐顶点余弦随网格密度而变。8 参数模型报 0.7676、24 参数模型报 0.689，看起来扩词表掉了 0.079；逐项锁定变量后：

网格密度一项就是被研究效应的两倍。机制：加密后新增的内部顶点真值位移很小、方向接近退化，却仍越过 0.005 的门槛进入平均。任何跨不同网格的逐顶点余弦对比都被混淆，包括作者自己的网格消融（三角 vs 四边形 0.7676 vs 0.7542 本身也在噪声地板内）。

端到端：瓶颈在 Stage 1

静止态（无动作）已经从 ∞ 掉到 27.2 / 22.6，加上动画只再掉约 3.7 / 1.5 dB，所以差距主要来自分层而非动作。但同时注意：在画师图层上「预测零动作」也能拿到 PSNR 41.6，几乎等于模型的 41.8，像素指标基本不反映动作质量，只能用于比较分层来源。

对比图生视频

这张表作者自己也说「只能看量级」：四个基线和 AR 行来自旧协议，joint 行来自另一个渲染协议，而且像素 PSNR 被「几乎不动」的地板主导。在当前协议上重跑这些基线是论文自认「还欠着」的实验。视频模型的分数低也部分因为它们要从静态图重新生成全部像素，而本方法直接复用原图贴图。

网络插画与效率

• Stage 2 端到端耗时：小角色（10 层，1052 token）0.71 s，大角色（63 层，5476 token）2.84 s；权重仅 103.9 MiB（joint 模型 19.4 + DINOv2 84.5），峰值激活 189 MiB / 1982 MiB，消费级显卡可跑。token 增 5.2 倍、激活内存增 24.7 倍，即 \(O(T^2)\)，超大角色将来需要窗口化。
• 耗时构成（大角色）：联合前向 37%、DINOv2 22%、rig 序列化 20%、图像 IO 19%、三角化只占 2.7%。
• 播放：生成的 bundle 在作者自写的 WebGL 渲染器里 30 fps 运行。渲染器边缘锯齿来自贴图缩小时没有 mipmap（不是缺 MSAA），修复后边缘误差降 2.34 倍。

可编辑性与换装

因为每层网格的 UV 由该层 alpha 包围盒导出，任何保持 alpha 和像素尺寸不变的编辑都不会让网格失效，因此也不会让已预测的动画失效。作者用 Qwen-Image-Edit 按自然语言指令重绘某层衣服的 RGB，再把原 alpha 和尺寸贴回，重新导出 rig，不重新分层、不重新预测动作。16 次编辑、5 个角色、10 类图层（头发、兽耳、发饰、衣服、鞋袜、头饰、盔甲、配饰、手持道具、虹膜），共比对 323 层、31,508 顶点、50,762 三角形、21,318 帧位移，字节级零差异，文件中唯一变化的是贴图路径。

两个限制：(1) 若某层同时包含衣服和裸露皮肤（短袖层里带手臂），编辑器可能连皮肤一起改色，需要在指令里显式保护肤色；(2) 只能做不改轮廓的编辑，裙子改裤子会改变 alpha，必须整条流程重跑。说白了，这是「表示自带的性质」而不是被训练出的能力：任何按 UV 贴图的 2D 网格动画都天然支持换贴图。

局限与展望

论文承认的局限

• 大动作幅度被压缩：小位移偏大、大转头偏小，是 L1 点估计在多解问题上的必然结果；放大模型和损失加权都修不好，作者主要计划是分布式输出头（采样 / flow matching / diffusion over displacement fields）。
• 不建模动画中的绘制顺序变化：真实 rig 常在转头途中让一缕头发从脸后绕到脸前，本方法只有静态层序；显式输入层序条件也没帮助。
• 自动分层上的眨眼不可靠：Stage 1 不稳定地把眼皮拆成单独层，导致驱动 EyeOpen=0 时整个头部组一起移动；眼部参数训练记录约 6k 条，头部角度约 91k 条。
• 背景道具被当成身体部件动画：纸张、地面阴影、玩偶会被转头参数带着变形，缺一个「角色 / 背景」门控。
• 参数长尾学不会：眉形、眉角、嘴型、侧发在 24 参数版中不可用；物理（头发摆动阻尼）、表情混合、口型 viseme 都不学。
• 格式：Cubism 二进制加密，所以只能输出开放 bundle + 自写渲染器，不产出 .moc3；训练分布偏日系动漫，写实/3D 渲染风格/多人图不在范围内。

批判性定位

• 怀疑者会说它归结为什么：Stage 1 = 在 Live2D 数据上微调 Qwen-Image-Layered，和 See-through 是同一条路（See-through 本身也用 Live2D 数据）；Stage 2 = 一个 5M 参数的点云 Transformer 做 L1 回归，而每层只给了「这是什么部件（池化 DINOv2 + 层序号）+ 在哪里（画布坐标）」。最小模型最好、更丰富的图像特征反而更差，这强烈暗示模型学到的主要是「按部件类型和位置检索一个平均动作模板」。一个关键缺失的基线是：「数据集平均位移场」或「检索最近的画师 rig 再配准」在同一 true-generation 协议下能拿多少分。论文在基线列表里提到 image-blind retrieval，却没在主表给出数字。视线参数 0.999 的分数也说明近似刚体平移的参数几乎是白送的。
• 真正新的那一件事：把 Live2D 的 keypose 位移预测表述成全角色顶点上的联合 set-to-set 回归，并用一个干净的消融（同模型 ± 块对角 attention）证明跨层信息有用（0.693 → 0.736，幅度 0.86 → 0.99）。外加数据工程：用官方 Web SDK 渲染录制绕开加密格式，得到 8,884 个模型的层 / 网格 / 关键帧监督，以及第一个完整 Live2D 生成 benchmark。网格、DINOv2、Qwen-Image-Layered、Delaunay 都是现成件。
• 证据强度：核心增益只有约 1.8 倍 seed 噪声、且是单对运行；主指标被作者自己发现对网格密度敏感；与视频方法的对比混用了协议；「长尾由训练量解释」与他们自己的表不太吻合（ρ≈0.35）。正面看，这篇论文异常坦诚：撤回了旧版多个数字（α>0、seed std 0.006、teacher-forcing 的 0.99）、记录了 load_state_dict 静默丢权重的评测 bug，并公开了失败模型和失败参数。
• 实用性：没有 .moc3、没有物理、没有表情/口型、眨眼在自动分层上失效、只有 8 个可靠参数，所以离「直接导入 VTube Studio 开播」还有距离。更现实的定位是给画师一个可编辑的初稿 rig：分层 + 网格 + 粗略转头/摆身关键帧，画师再在此基础上修。

研究趋势

动漫角色生成正从「生成像素」走向「生成可驱动的结构化资产」：See-through 解决了分层与补画，Bunraku 在其之上补上网格与参数到形变的映射，第一次把单图 → 完整 Live2D rig 跑通。它和图生视频是互补关系：视频模型提供运动先验但不可驱动，Bunraku 输出可驱动但运动先验弱（只从 1.4K 个 rig 学）。下一步很可能是两者结合：用视频 / 3D 先验蒸馏出更多「参数 → 形变」监督来补长尾，并把 Stage 2 换成扩散 / flow-matching 头以解决多解导致的幅度压缩；同时需要解决可变绘制顺序、物理摆动和与 Cubism 格式的互操作。作者论文末尾提出的「密度归一化 / 面积加权的逐顶点指标」也是 benchmark 层面一个现成的开放问题。