Agreement and Statistical Efficiency in Bayesian Perception Models

研究动机

• 问题难在哪：一群人（或一群 AI）各自看到了世界的一小块证据，然后反复互相说话。每句话都只是对方内心信念的一个很窄的投影——不是完整的概率分布，而是一句话、一个动作、一个「是/否」。那么「听来听去」最后能不能把所有人手里的证据无损地拼回来？经济学从 Aumann 的 Agreeing to Disagree（1976）起就在问这件事。
• 现有方法的问题：既有理论都假设 agent 是效用最大化者，分成两类——
  • belief model（信念模型，[Aum76, GP82, DS99, Ost12]）：每个动作精确暴露当前后验均值。结论最漂亮（一致 + 最优学习），但假设太强：现实中你不会把自己的后验均值报出来。
  • action model（行动模型，[GK03, RSV09, MST14]）：行动空间有限（比如只能说 0/1），只泄露部分信息。可以证明一致，但一般学不到最优后验；只有在 agent 数量 →∞ 且加额外条件时才有学习结论。
  • 心理学的反例：大量实验（[Mye14, Vul00] 等综述）表明人根本不做效用最大化，而是做 probability matching（概率匹配）：按后验概率的比例随机选行动，而不是选后验最大的那个行动。这既不是 belief model 也不是 action model。认知科学因此提出了 sampling model（采样模型，[GT06, GTFG08, VGGT14]），但据作者所知，从未有人在「多于 1 个 agent」的情形下理论分析过它。
• 核心 insight：采样虽然看起来「更笨」（丢了信息、还引入噪声），但它是无偏的——只要听者知道「对方在从后验里抽样」，就可以用长期频率把对方的后验以任意精度估出来。于是采样模型反而比有限行动空间的 action model 更有统计效率，能达到 belief model 级别的最优性。关键条件是 知道对方的生成机制（well-specified）；一旦这个条件被破坏，结论完全反转。
• LLM 的类比（作者的 framing）：LLM 的行为就是「从学到的分布里采样」而不是最大化效用，所以 LLM 之间的对话天然更像 sampling model 而非 action model。乐观结论：若两个 LLM 训练数据条件独立 且 知道对面是另一个 LLM，互相对话能提升彼此的后验。悲观结论：若它们把对方的输出当成「网上新抓到的一个独立网页」（这正是训练数据被 LLM 生成内容污染的情形，参见 [PPC+23]），就会一起收敛到一个错误而且自信满满的答案。

术语速查

这篇论文的抽象符号都有非常具体的对应物，先把它们落地，后面才看得懂。

核心方法

1. sampling model：只传一个采样值的社会学习

设定：未知状态 \(\theta\in\mathbb R^d\) 服从公共先验 \(\nu\)；\(t=0\) 时每个 agent \(i\) 拿到私有信号 \(S_i\sim P_i(\cdot\mid\theta)\)，给定 \(\theta\) 条件独立（这一族 \(\{P_i(\cdot\mid\theta)\}\) 叫 signal structure）。此后每一轮 \(t\ge1\)：

1. 精确算后验：\(\nu_i(t):=\mathrm{Law}(\theta\mid H_i(t))\)，其中 \(H_i(t)=\sigma\big(S_i,(Y_j(s))_{j\in\partial i,\,s<t}\big)\)（自己的信号 + 邻居过去发的全部消息）。
2. 抽一个样本：\(Y_i(t)\sim\nu_i(t)\)，给定 \(H_i(t)\) 后与其他一切条件独立。
3. 发给邻居：把 \(Y_i(t)\) 广播给所有 \(j\in\partial i\)。所有 agent 同步进行。

和 belief model 的区别只有一处：发出去的是后验的一个样本，不是后验均值。但这一处区别让整个过程变成一个带噪声的随机系统，收敛性完全不显然——作者强调，哪怕 \(G\) 只是一条边，收敛性质也是高度非平凡的。

flowchart LR
  S1["private signal S1"] --> P1["posterior nu_1(t)"]
  P1 -->|"draw one sample"| Y1["Y1(t)"]
  Y1 -->|"broadcast"| P2
  S2["private signal S2"] --> P2["posterior nu_2(t)"]
  P2 -->|"draw one sample"| Y2["Y2(t)"]
  Y2 -->|"broadcast"| P1
  Y1 -.->|"extra coin flip"| X1["X1(t) in 0,1"]
  Y2 -.->|"extra coin flip"| X2["X2(t) in 0,1"]
          

2. 定理 2.1：一致性，靠「模仿原理」

Theorem 2.1：对每个 agent \(i\)，随机后验 \(\nu_i(t)\) 几乎必然弱收敛到 \(\nu_i(\infty)=\mathrm{Law}(\theta\mid H_i(\infty))\)；而且若 \(i,j\) 相邻则 \(\nu_i(\infty)=\nu_j(\infty)\) a.s.。因此 \(G\) 连通时所有人渐近达成一致。

收敛部分是鞅收敛定理（Lévy upward theorem 作用在分布函数 \(F_{it}(u)=\mathbb P(\theta\le u\mid H_i(t))\) 上，先在可数稠密集 \(\mathbb Q^d\) 上收敛，再推到全部连续点）。一致性部分才是难点，用的是 sampling 版本的 imitation principle（模仿原理）：

直观理解：因为 \(Y_j(t)\) 在给定 \(H_j(t)\) 后是条件独立采样的，所以经验频率 \(\frac1T\sum_{t\le T}\mathbf 1(Y_j(t)\le u)\) 会收敛到 \(F_j(u)\)——agent \(i\) 只要听得够久，就能把邻居 \(j\) 的整个极限后验估出来。于是如果 \(i\) 和 \(j\) 的极限信念不同，\(i\) 就可以构造一个凸组合估计量 \(\lambda F_i(u)+\frac{1-\lambda}{T}\sum_t\mathbf 1(Y_j(t)\le u)\)，它是 \(H_i(\infty)\)-可测且无偏的，而且（由引理 3.1）严格降低估计 \(\mathbf 1(\theta\le u)\) 的均方误差。但 \(F_i(u)\) 本身就是条件期望，是 \(H_i(\infty)\) 下最小均方误差的估计——矛盾。

3. 定理 2.4：一致到的那个后验就是最优后验

一致不等于学得对（action model 就是一致但不最优）。要证统计有效性需要对 signal structure 加两个温和条件：

• 满足 Bayes law（Def 2.2）：存在确定性函数 \(f\) 使 \(\mathbb P(\theta\in A\mid S_1..S_n)=\frac{\prod_i\mathbb P(\theta\in A\mid S_i)}{\mathbb P(\theta\in A)^{n-1}}\cdot f(S_1..S_n)\)。这就是离散情形下显然成立的「后验乘积公式」推广到连续信号；Lemma 2.6 给出充分条件（\(P_i(\cdot\mid\theta)\) 关于某个 \(\sigma\)-有限正则 Borel 测度绝对连续）。
• finite information（Def 2.3）：\(\mathbb E\big|\log\frac{\mathbb P(\theta\in A\mid S_i)}{\mathbb P(\theta\in A^c\mid S_i)}\big|<\infty\)。意思是「单个信号不会把 log-odds 推到无穷」，纯粹为了让证明里的随机变量可积。有限支撑信号、高斯模型、似然比有界的二元模型都满足（Examples 2.5 / 2.7 / 2.8）。

Theorem 2.4：在上述条件下且 \(G\) 连通，极限共同后验 \(\nu(\infty)=\mathrm{Law}(\theta\mid S_1,\dots,S_n)\) a.s.——每个人最终学得和看到了所有人的私有信息一样好。

4. Bernoulli sampling model：每轮只发 1 个 bit 也够

把通信压到极限：\(d=1\)，\(\theta\sim\mathrm{Unif}([0,1])\)，\(S_i\sim\mathrm{Ber}(\theta)\)；每轮 agent 先抽 \(Y_i(t)\sim\nu_i(t)\)，再抛一次 \(X_i(t)\sim\mathrm{Ber}(Y_i(t))\)，只发出 \(X_i(t)\in\{0,1\}\)。既然只传 1 bit，能指望学到的最多是后验均值（它是这个模型的充分统计量）。

Theorem 2.9：后验均值 \(m_i(t)=\mathbb E[\theta\mid K_i(t)]\) 几乎必然且 \(L^1\) 收敛，所有 agent 的极限相同，且 \(m_i(\infty)=\mathbb E[\theta\mid S_1,\dots,S_n]=\frac{\sum_i S_i+1}{n+2}\)（由 Lemma 3.2：均匀先验 + \(m\) 次 Bernoulli 观测的后验是 \(\mathrm{Beta}(\sum Z_i+1,\,m+1-\sum Z_i)\)）。

直观理解：额外那次抛硬币虽然再加了一层噪声，但它是无偏的：\(\mathbb E[X_j(t)\mid K_j(t)]=\mathbb E[Y_j(t)\mid K_j(t)]=m_j(t)\)，且不同时刻的噪声互不相关。所以「长期平均邻居发来的 0/1」照样能无损还原邻居的后验均值，定理 2.1 的模仿论证原封不动可用。

5. 误规约版本：同一个模型退化成互相扔球的 Pólya urn

现在只改一件事：\(G\) 是一条边，agent 1 误以为 agent 2 发来的 \(\tilde X_2(s)\) 是 i.i.d. \(\mathrm{Ber}(\theta)\)（世界给的新独立样本），于是用 \(\tilde p(\theta\mid S_1,(\tilde X_2(s))_{s<t})\) 更新；agent 2 对称。

Proposition 2.10：\(\tilde\nu_i(t)\xrightarrow{w}\delta_{M(\infty)}\) a.s.（收敛到点质量，即后验方差 →0），两个 agent 的极限相同，但 \(\mathbb P\big(M(\infty)\neq\mathbb E[\theta\mid S_1,S_2]\big)=1\)——几乎必然学错，而且无限自信。

为什么？由 Lemma 3.2，误规约后验是 Beta 分布，均值 \(M_1(t)=\frac{S_1+\sum_{s<t}\tilde X_2(s)+1}{t+2}\)。所以 agent 1 这一轮发出的消息分布恰是 \(\mathrm{Ber}\big(\frac{S_1+\sum_{s<t}\tilde X_2(s)+1}{t+2}\big)\)——这完全就是一个 Pólya urn：罐子 \(i\) 初始装 \(S_i+1\) 个红球、\(2-S_i\) 个蓝球；每轮两个罐子各均匀摸一个球，把摸到的球送进对方罐子，如此重复。作者说文献里（[Pem07] 综述、Bernard Friedman's urn [Fre65]）找不到这个「互相喂球的双罐系统」，所以这个概率论结果本身可能独立有趣。

flowchart LR
  U1["urn 1: S1+1 red, 2-S1 blue"] -->|"draw uniformly"| B1["ball X1(t)"]
  B1 -->|"put into other urn"| U2["urn 2: S2+1 red, 2-S2 blue"]
  U2 -->|"draw uniformly"| B2["ball X2(t)"]
  B2 -->|"put into other urn"| U1
  U1 --> C["Beta posterior, variance shrinks to zero"]
  U2 --> C
  C --> R["random point mass M_inf, not Bayes optimal"]
          

6. 最关键的一句话

只要听者知道说话者是在从自己的后验里采样，重复采样的无偏性就让「听频率」等价于「直接交换后验」，于是一致性与最优学习都成立；一旦听者把这些样本误当成世界给的新独立证据，同一个过程就变成自我强化的 Pólya urn，收敛到一个随机的、确定的、错的答案。

主要实验结果

这是一篇纯理论论文（math.ST），没有 benchmark。「实验」有两类：§4.1 的解析反例对比，和 Appendix B.2 对高斯模型的数值模拟。本节另外补充一组本地复现的误规约 urn 模拟。

1. sampling model 严格优于有限行动的 action model（§4.1）

最小例子：\(G\) 是一条边，\(\theta\in\{0,1\}\) 均匀先验；信号 \(S_i\) 的密度在 \(\theta=1\) 时为 \(2x\)、在 \(\theta=0\) 时为 \(2-2x\)（\(x\in[0,1]\)）。两个 agent 每轮只能发 0 或 1。

道理很简单：当 \(x_1,x_2>0.5\) 时，action model 里两人会永远发 1，于是 agent 1 关于 \(x_2\) 只学到「\(x_2>1/2\)」这一件事，后验卡在 \(\frac{6x_1}{2+4x_1}\) 不动；而 sampling model 里硬币会以后验为概率翻面，频率把 \(x_2\) 的确切信息慢慢漏出来，最终拼出真后验。作者指出只要行动空间有限，这个现象可以推广到其他网络和信号结构。

2. 高斯模型的数值模拟（Appendix B.2）

高斯情形下后验有闭式解（Lemma B.1）：\(\nu_i(t)=\mathsf N(X_i(t),\sigma_i(t))\)，其中 \(X_i(t)=\frac{\mu_i(t)^T\Sigma_{ii}(t)^{-1}H_i(t)}{\mu_i(t)^T\Sigma_{ii}(t)^{-1}\mu_i(t)+1}\)，\(\sigma_i(t)=\frac1{\mu_i(t)^T\Sigma_{ii}(t)^{-1}\mu_i(t)+1}\)，并可按 (30) 逐步递推，所以可以直接数值验证。

3. 本地复现：误规约 urn 的「一致但错」

论文没给 Proposition 2.10 的数值图。这里按 §2.3 的递推直接模拟：取 \(S_1=1,S_2=0\)，此时最优后验均值 \(\mathbb E[\theta\mid S_1,S_2]=\frac{1+1}{2+2}=0.5\)。

注意代码里唯一的错误就是分母 \(t+2\)：agent 把 \(t-1\) 条「别人后验的采样」当成了 \(t-1\) 条独立观测。正确模型下这些消息的信息量会被折扣，分母不该这样涨。

4. 四个模型横向对比

局限与展望

• 已知局限（论文自述）：
  • 没有收敛速率。作者明说这「目前遥不可及」：即便 \(G\) 只是一条边，高斯闭式递推（Lemma B.1）的速率都高度非平凡，只能给数值观察（clique 比 cycle 快）。
  • 要求精确采样与精确后验计算。agent 必须能精确算出后验并精确从中采样。若换成近似贝叶斯推断（变分、MCMC 截断等，见 [GHT15]），结论是否保留完全未知——而这恰恰是所有真实系统所处的情形。
  • 要求 agent 知道网络结构。这是社会学习文献的通病。作者的辩护：本文结论对任意连通图成立，包括「一条边」这种小图，而小图上「知道网络结构」是合理假设。
  • 误规约结论只证了 \(n=2\) 的一条边。更大的网络、更一般的误规约形式都没有结果。
  • 缺实验验证。支持 probability matching 的心理学实验几乎都是单人的；作者把「设计一个多人互相沟通的实验来检验 sampling model」列为开放问题。
• 批判性定位：怀疑者会说什么
  • 正面两个定理的证明骨架基本来自 Mossel–Sly–Tamuz [MST11]（imitation principle + Chebyshev 和不等式等号条件 ⇒ 可测性）。本文的技术增量是：从二元状态推广到任意先验（为此引入 Def 2.2 Bayes law 与 Def 2.3 finite information），以及把论证从「泄露信念」改成「泄露采样」。这是扎实但不颠覆的工作。
  • LLM 部分几乎全是 framing：零个 LLM 实验，模型是 \(d=1\) 的抛硬币。更要紧的是，乐观结论依赖四个真实 LLM 一条都不满足的前提——精确后验、精确采样、知道网络结构、知道对方的生成机制、训练数据条件独立。所以「LLM 互相对话可以导向最优学习」这句话的恰当读法是存在性声明（这类机制在原则上不必然有害），而非对现实系统的预测。悲观那半边反倒更可迁移：它只需要「把别人的输出当成世界的新证据」这一条，而这正是真实的数据污染情形。
  • 真正新的两件事：(1) sampling model 在 \(n>1\) 的网络上首次被理论分析，并给出了「采样比有限行动更有统计效率」的显式反例对比（§4.1）——这反转了「采样是对最大化的廉价近似」这一直觉；(2) 误规约情形映射到一个文献中查不到的互相喂球的双 Pólya urn 系统，作为纯概率论结果可能独立有趣。
• 研究趋势：这篇论文站在三条线的交叉点上——经济学的 agreement 理论（Aumann 以来 50 年）、认知科学的「采样即推断」（computational rationality）、以及当下关于 model collapse / 合成数据污染的担忧。它提供的是后者的一个最小可证明模型：model collapse 不必源于近似误差或梯度病态，仅仅是对数据来源的误规约就足以让一群本来最优的贝叶斯 agent 自我强化到一个随机的错误答案上，并且方差塌缩成虚假的确定性。沿这条线最该做的下一步，是把「精确采样」放松成「近似采样」、把误规约从「完全不知道」放松成「部分知道对方是模型」，看最优性是连续退化还是断崖式失效——后者对真实多 agent 系统的设计含义完全不同。