Ω公理与机遇ZHANG HAO / PROBABILITY
清华大学《概率论》/第 6 讲 · P31–P35
返回 16 讲全景图
LECTURE 06 · P31–P35 原课总长 1:38:17 · 1.5× 回看约 1:05:31

第 6 讲 · 条件概率三大经典模型与辛普森悖论:配帽问题、赌徒输光与混杂变量假象

Lecture 6 · Three Classic Conditioning Models & Simpson's Paradox: Hat-Matching, Gambler's Ruin & Confounders

将条件概率乘法原理(DFS 剥笋)与全概率加法原理(BFS 分而治之)化为实战利器,完整推演配帽错排问题(e⁻¹)、赌徒输光二阶差分方程(久赌必输)与辛普森悖论的混杂变量权重扭曲,并升华出贝叶斯公式的机器学习哲学。

原课分片 (点击默认 1.5× 无字幕播放):

本讲主线与问题意识 · LECTURE NARRATIVE ARC

本讲对应原课视频 P31–P35(总长约 98 分钟),是条件概率的下半篇(计算与思想篇)。张颢老师将条件概率的计算高度凝练为组合数学中两大基本原理的概率化身:① 乘法原理(链式条件概率,对应算法中的深度优先搜索 DFS / 剥竹笋抽丝)与 ② 加法原理(全概率公式,对应广度优先搜索 BFS / 程序中的 if-else 与 switch-default 不重不漏分情况讨论)。围绕这两把利器,张颢老师在黑板上依次推演了概率论史上最负盛名的三大经典模型:模型一:配帽问题(Hat-Matching / 错排问题,求出 kk 人拿对与无一人拿对的极限概率 e−1≈36.79%e^{-1}\approx 36.79\%);模型二:赌徒输光问题(Gambler's Ruin,建立二阶差分方程 ak=pak+1+qak−1a_k=pa_{k+1}+qa_{k-1},严格证明公平赌局 p=1/2p=1/2 下久赌必输);模型三:辛普森悖论(Simpson's Paradox,揭秘为什么分组疗效均占优的疗法在合并总表后反而垫底);最后在 P35 压轴升华出 Bayes 公式作为人类与机器学习(Machine Learning)核心数学模型的深刻哲学。

本讲核心攻克目标:
  • 理解条件概率的乘法原理(DFS 剥竹笋)与加法原理(全概率公式 BFS / if-else 不重不漏),掌握经典模型一:配帽问题(错排问题)的剥笋约化(恰有 kk 人拿对 →1k!qN−k→e−1k!\to \frac{1}{k!}q_{N-k}\to \frac{e^{-1}}{k!})与第一步条件化递推求解(无一人拿对 qN→e−1≈36.79%q_N \to e^{-1}\approx 36.79\%)。

  • 透彻理解罐中 mm 白球 nn 黑球“盲抓一球扔掉不看,再抓第二球是白球的概率恒为 mm+n\frac{m}{m+n}”的全概率推导,以及法国数学家 Poisson 的“盐水溶液”直观解释。

  • 熟练掌握经典模型二:赌徒输光问题(Gambler's Ruin)的黑板完整推导——按一步输赢建立二阶线性齐次差分方程 ak=pak+1+qak−1a_k = p a_{k+1} + q a_{k-1},求解特征根 λ1=1,λ2=q/p\lambda_1=1, \lambda_2=q/p,并利用公平赌局 p=q=1/2p=q=1/2 下的二重根通解 ak=A+Bka_k = A + Bk 严格证明“久赌必输(破产概率恒为 11)”。

  • 掌握带公共条件的扩充全概率公式 P(B∣C)=∑iP(B∣AiC)P(Ai∣C)\mathbb{P}(B\mid C)=\sum_i \mathbb{P}(B\mid A_i C)\mathbb{P}(A_i\mid C),由此彻底看穿经典模型三:辛普森悖论(Simpson's Paradox)中条件后权重 P(性别∣疗法)\mathbb{P}(\text{性别}\mid\text{疗法}) 受混杂变量(Confounder)扭曲的本质与二维向量斜率几何图解。

  • 领悟张颢老师对贝叶斯公式(Bayes' Theorem)的现代机器学习诠释:区分数据(Data AA)、先验认知(Prior P(B)\mathbb{P}(B))、似然(Likelihood P(A∣B)\mathbb{P}(A\mid B),“有色眼镜”关联机制)与后验认知(Posterior P(B∣A)\mathbb{P}(B\mid A)),理解为什么“独立 = 隔岸观火听讲座学不到东西”。

CORE FORMULAS & BOARD NOTATION · 本讲黑板核心公式与记号速查

链式乘法原理(DFS 剥笋)与配帽问题(Hat-Matching)

P(A1⋯An)=∏i=1nP(Ai∣A1⋯Ai−1);P(恰 k 人拿对)=(Nk)qN−kN(N−1)⋯(N−k+1)=qN−kk!→N→∞e−1k!\mathbb{P}(A_1\cdots A_n)=\prod_{i=1}^n\mathbb{P}(A_i\mid A_1\cdots A_{i-1}); \qquad \mathbb{P}(\text{恰 }k\text{ 人拿对})=\binom{N}{k}\frac{q_{N-k}}{N(N-1)\cdots(N-k+1)}=\frac{q_{N-k}}{k!}\xrightarrow{N\to\infty}\frac{e^{-1}}{k!}

对应 :先固定 kk 人依次拿对剥去外层,剩余 N−kN-k 人归约为错排概率 qN−k≈e−1≈36.79%q_{N-k}\approx e^{-1}\approx 36.79\%。

全概率公式(BFS 分而治之)与盲抓摸球对称性

Ω=⨆i=1nAi  ⟹  P(B)=∑i=1nP(B∣Ai) P(Ai);P(W2)=m−1m+n−1mm+n+mm+n−1nm+n=mm+n\Omega = \bigsqcup_{i=1}^n A_i \implies \mathbb{P}(B) = \sum_{i=1}^n \mathbb{P}(B\mid A_i)\,\mathbb{P}(A_i); \qquad \mathbb{P}(W_2) = \frac{m-1}{m+n-1}\frac{m}{m+n} + \frac{m}{m+n-1}\frac{n}{m+n} = \frac{m}{m+n}

对应 :全概率公式是概率论中的 if-else / switch-default(核心是不重不漏);未观测第一次结果时第二次白球概率保持不变。

赌徒输光问题(Gambler's Ruin)差分方程与特征根通解

ak=p ak+1+q ak−1  ⟹  (pλ2−λ+q=0)  ⟹  ak={A+B(q/p)k,p≠qA+Bk,p=q=1/2a_k = p\,a_{k+1} + q\,a_{k-1} \implies (p\lambda^2-\lambda+q=0) \implies a_k = \begin{cases} A + B(q/p)^k, & p\ne q \\ A + B k, & p=q=1/2 \end{cases}

对应 :当 p=q=1/2p=q=1/2 时特征方程出现二重根 λ=1\lambda=1,面对无限资金庄家(0≤ak≤10\le a_k\le 1 迫使 B=0,A=a0=1B=0, A=a_0=1),破产概率 ak≡1a_k\equiv 1!

条件全概率公式(辛普森悖论根源)与贝叶斯学习公式

P(B∣C)=∑iP(B∣AiC) P(Ai∣C)⏟条件后权重!;P(B∣A)⏟后验 Posterior=P(B)⏞先验 Prior⋅P(A∣B)⏞似然 LikelihoodP(A)\mathbb{P}(B\mid C)=\sum_i \mathbb{P}(B\mid A_i C)\,\underbrace{\mathbb{P}(A_i\mid C)}_{\text{条件后权重!}}; \qquad \underbrace{\mathbb{P}(B\mid A)}_{\text{后验 Posterior}} = \frac{\overbrace{\mathbb{P}(B)}^{\text{先验 Prior}}\cdot\overbrace{\mathbb{P}(A\mid B)}^{\text{似然 Likelihood}}}{\mathbb{P}(A)}

对应 :误把条件后权重 P(Ai∣C)\mathbb{P}(A_i\mid C) 当成无条件权重会导致辛普森悖论;Bayes 公式刻画了从先验认知经似然融合数据到达后验认知的学习闭环。

1. 乘法原理(DFS 剥笋)与全概率公式(BFS 分而治之):经典模型一——配帽问题与盲抓摸球

张颢老师将条件概率的两大核心工具生动比作算法中的深度优先搜索(DFS 链式乘法原理)与广度优先搜索(BFS 全概率加法原理 / if-else 不重不漏),在黑板上完整推演了经典模型一“N 人配帽问题(错排极限 e⁻¹ ≈ 36.79%)”以及引发哲学争议的“盲抓一球不看,第二球概率不变(Poisson 盐水溶液解释)”。

1.1 条件概率的乘法原理:像“剥竹笋”一样的深度优先搜索(DFS,)

在本讲开篇(),张颢老师指出:条件概率的计算与组合数学中的乘法原理和加法原理有着深刻的同构对应。当我们面对 nn 个相互关联的事件交集 P(A1A2⋯An)\mathbb{P}(A_1 A_2 \cdots A_n) 时,很难一眼看清全局;但借助条件概率定义,我们可以先固定住前 n−1n-1 个事件作为已知条件(一旦放在条件号后面,它们就暂时失去了随机性,变成了确定性的已知背景,),从而逐层剥开: P(A1A2⋯An)=P(An∣A1⋯An−1) P(An−1∣A1⋯An−2)⋯P(A2∣A1) P(A1)\mathbb{P}(A_1 A_2 \cdots A_n) = \mathbb{P}(A_n \mid A_1 \cdots A_{n-1})\,\mathbb{P}(A_{n-1} \mid A_1 \cdots A_{n-2}) \cdots \mathbb{P}(A_2 \mid A_1)\,\mathbb{P}(A_1)

  • 有放回 vs 不放回抽 3 张 A():
    • 若从 52 张扑克牌中有放回地抽 3 次,每次恢复现场,各次独立,连抽 3 张指定 A 的概率直接自乘:(1/52)3(1/52)^3;
    • 若不放回地连抽 3 张牌,求 3 张全是 A(不限花色)的概率:第 1 次抽对后总牌数和 A 的张数同时减少,必须用链式条件概率相乘: P(A1A2A3)=P(A1) P(A2∣A1) P(A3∣A1A2)=452×351×250\mathbb{P}(A_1 A_2 A_3) = \mathbb{P}(A_1)\,\mathbb{P}(A_2\mid A_1)\,\mathbb{P}(A_3\mid A_1 A_2) = \frac{4}{52} \times \frac{3}{51} \times \frac{2}{50}

1.2 经典模型一:配帽问题(Hat-Matching / 错排问题,)

问题:NN 个人把各自的帽子混在一起随机拿一顶。(1)求无一人拿对自己帽子(全错排)的概率 qNq_N 及其极限;(2)求恰好有 kk 个人拿对自己帽子的概率 PN(k)P_N(k)。

  1. 黑板“剥竹笋”法求恰好 kk 人拿对(): 如何把“恰好 kk 人拿对”转化为我们已经熟悉的“没有人拿对(k=0k=0)”?张颢老师演示了链式条件概率的剥笋威力:
    • 先指定前 kk 个人拿对自己的帽子:第 1 个人拿对的概率是 1N\frac{1}{N};在他拿走自己帽子后,样本空间坍缩为剩余 N−1N-1 顶帽子,第 2 个人拿对的条件概率是 1N−1\frac{1}{N-1}……依次剥到第 kk 个人拿对的条件概率为 1N−k+1\frac{1}{N-k+1}();
    • 当这 kk 个人各自拿走自己的帽子后,“竹笋的心儿露出来了”():剩下的 N−kN-k 个人面对他们自己的 N−kN-k 顶帽子,要求无一人拿对,这恰恰是规模为 N−kN-k 的全错排概率 qN−kq_{N-k}!
    • 最后乘上从 NN 个人中选出哪 kk 个人拿对的组合数 (Nk)\binom{N}{k}(): PN(k)=(Nk)⋅1N⋅1N−1⋯1N−k+1⋅qN−k=1k! qN−kP_N(k) = \binom{N}{k} \cdot \frac{1}{N} \cdot \frac{1}{N-1} \cdots \frac{1}{N-k+1} \cdot q_{N-k} = \frac{1}{k!}\,q_{N-k}
  2. 第一步条件化递推与容斥极限 qN→e−1≈36.79%q_N \to e^{-1} \approx 36.79\%: 对于无一人拿对的概率 qNq_N,既可由容斥原理(或按第 1 个人拿错第 jj 号帽后,第 jj 号人是拿走 1 号帽形成 2 人闭环 qN−2q_{N-2},还是不拿 1 号帽同构于 N−1N-1 人错排 qN−1q_{N-1},建立第一步条件概率递推方程 qN=N−1N[1N−1qN−2+N−2N−1qN−1]  ⟹  qN−qN−1=−1N(qN−1−qN−2)q_N = \frac{N-1}{N}\bigl[\frac{1}{N-1}q_{N-2} + \frac{N-2}{N-1}q_{N-1}\bigr] \implies q_N - q_{N-1} = -\frac{1}{N}(q_{N-1}-q_{N-2}))精确求出: qN=∑m=0N(−1)mm!=1−1+12!−13!+⋯+(−1)NN!→N→∞e−1≈36.79%q_N = \sum_{m=0}^{N} \frac{(-1)^m}{m!} = 1 - 1 + \frac{1}{2!} - \frac{1}{3!} + \cdots + \frac{(-1)^N}{N!} \xrightarrow{N\to\infty} e^{-1} \approx 36.79\% 代回上式立得:当 N→∞N\to\infty 时,恰有 kk 人拿对帽子的概率收敛于参数为 λ=1\lambda=1 的泊松分布 PN(k)→e−1k!P_N(k) \to \frac{e^{-1}}{k!}!

1.3 条件概率的加法原理:全概率公式与 if-else / switch-default 不重不漏铁律()

在 ,张颢老师给出了一个令计算机与工科学生拍案叫绝的比喻:

  • 乘法原理(链式条件)是层层深入的深度优先搜索(DFS);
  • 加法原理(全概率公式)则是横向铺开的广度优先搜索(BFS),更是编程中最基础的 if-else / C 语言 switch-case-default 分情况讨论思想()! P(B)=∑i=1nP(B∣Ai) P(Ai)(前提:Ai∩Aj=∅,  ⋃i=1nAi=Ω)\mathbb{P}(B) = \sum_{i=1}^n \mathbb{P}(B \mid A_i)\,\mathbb{P}(A_i) \qquad \Bigl(\text{前提:} A_i \cap A_j = \varnothing,\; \bigcup_{i=1}^n A_i = \Omega\Bigr) 为什么写 switch 语句一定要写 default?就是为了兜底防止挂一漏万!使用全概率公式的命门只有四个字:不重(AiAj=∅A_i A_j = \varnothing)不漏(⋃Ai=Ω\bigcup A_i = \Omega)。

黑板争议名题:盲抓一球扔掉不看,第二球是白球的概率为何纹丝不动?()

问题:罐中有 mm 个白球、nn 个黑球。先从中摸出第 1 个球,完全不看直接扔到一边;随后再摸第 2 个球,求第 2 个球是白球(记为 W2W_2)的概率。

  • 全概率公式计算(): 第 2 球是白球的概率显然受第 1 球结果影响,但因为“没看第 1 球”,只能按第 1 球是白球(W1W_1)还是黑球(B1B_1)不重不漏地分情况讨论: P(W2)=P(W2∣W1)P(W1)+P(W2∣B1)P(B1)=m−1m+n−1⋅mm+n+mm+n−1⋅nm+n=m(m+n−1)(m+n)(m+n−1)=mm+n\mathbb{P}(W_2) = \mathbb{P}(W_2 \mid W_1)\mathbb{P}(W_1) + \mathbb{P}(W_2 \mid B_1)\mathbb{P}(B_1) = \frac{m-1}{m+n-1}\cdot\frac{m}{m+n} + \frac{m}{m+n-1}\cdot\frac{n}{m+n} = \frac{m(m+n-1)}{(m+n)(m+n-1)} = \frac{m}{m+n}
  • 为什么引发哲学争议与 Poisson 的“盐水溶液”妙解(): 许多学者质疑:在客观物理现实中,第 1 个球一旦被拿走,罐子里的球总数变成了 m+n−1m+n-1,真实概率要么是 m−1m+n−1\frac{m-1}{m+n-1},要么是 mm+n−1\frac{m}{m+n-1},绝不可能是 mm+n\frac{m}{m+n}!这说明全概率公式算出的 mm+n\frac{m}{m+n} 只是因为观测者“没看”而在脑海里把两种可能“一锅乱炖(加权平均)”出来的主观信念()。对此,法国大数学家 Poisson(泊松,) 给出了一个绝妙的物理直观比喻:把 mm 个白球和 nn 个黑球想象成一罐搅拌均匀的“水与盐的溶液”,闭着眼舀走一勺溶液倒掉,剩下溶液的水盐浓度比例会变吗?当然不会!
BLACKBOARD DERIVATION RECONSTRUCTION · 张颢老师黑板推导完整复原
DFS 剥竹笋链式条件乘法原理求解配帽问题(恰 k 人拿对 & 错排极限 e⁻¹)
P(恰 k 人拿对)=(Nk)1N⋅1N−1⋯1N−k+1⏟前 k 人依次拿对⋅qN−k⏟余下全错=qN−kk!,qN=∑m=0N(−1)mm!→e−1\mathbb{P}(\text{恰 }k\text{ 人拿对}) = \binom{N}{k}\underbrace{\frac{1}{N}\cdot\frac{1}{N-1}\cdots\frac{1}{N-k+1}}_{\text{前 }k\text{ 人依次拿对}}\cdot\underbrace{q_{N-k}}_{\text{余下全错}} = \frac{q_{N-k}}{k!}, \qquad q_N = \sum_{m=0}^N\frac{(-1)^m}{m!} \to e^{-1}

对应 :固定前 kk 人拿对后,剩余子问题与 N−kN-k 人全错排完全同构。

BFS 分而治之全概率公式(不重不漏 if-else)求解盲抓第二球概率
P(W2)=P(W2∣W1)P(W1)+P(W2∣B1)P(B1)=m−1m+n−1mm+n+mm+n−1nm+n=mm+n\mathbb{P}(W_2) = \mathbb{P}(W_2\mid W_1)\mathbb{P}(W_1) + \mathbb{P}(W_2\mid B_1)\mathbb{P}(B_1) = \frac{m-1}{m+n-1}\frac{m}{m+n} + \frac{m}{m+n-1}\frac{n}{m+n} = \frac{m}{m+n}

对应 :抓阄次序无关性与法国学者 Poisson 的“舀走一勺盐水溶液浓度不变”诠释。

深度思辨与反例剖析 (CRITICAL INSIGHT & PITFALL)

如果第 1 个人摸完球之后偷看了一眼(比如他看到了是白球),但没有告诉你,此时你去摸第 2 个球,对你而言摸到白球的概率是 mm+n\frac{m}{m+n} 还是 m−1m+n−1\frac{m-1}{m+n-1}? 这正是张颢老师在 揭示的概率的信息相对性!对已经偷看到第 1 球是白球的人来说,他的样本空间已经坍缩更新,概率是 m−1m+n−1\frac{m-1}{m+n-1};但对毫不知情的你来说,信息并未传递给你,在你的信息集(σ\sigma-代数)下,全概率公式给出的先验期望依然是 mm+n\frac{m}{m+n}!

本节方法论沉淀 · KEY TAKEAWAYS
  • DFS vs BFS 算法图景:算交集 P(A1⋯An)\mathbb{P}(A_1\cdots A_n) 用链式乘法逐层剥笋(DFS);算复杂边缘事件 P(B)\mathbb{P}(B) 用全概率公式按第一步分支展开(BFS)。

  • 配帽错排黄金常数:无论人数 NN 多大(只要 N≥5N\ge 5),无一人拿对自己帽子的概率几乎恒定为 e−1≈36.79%e^{-1} \approx 36.79\%,至少一人拿对的概率约为 1−e−1≈63.21%1 - e^{-1} \approx 63.21\%。

2. 经典模型二:赌徒输光问题(Gambler's Ruin)——二阶差分方程、特征重根与“久赌必输”铁律

完整复原张颢老师在 P33–P34 黑板上的经典推导:赌徒持本金 nn 元进场,每局以概率 pp 赢 1 元、1−p1-p 输 1 元。通过一步全概率公式建立二阶差分方程 An=pAn+1+(1−p)An−1A_n = p A_{n+1} + (1-p) A_{n-1},并用半无界射线 n∈[0,∞)n\in[0,\infty) 上的概率有界性 0≤An=a+bn≤10\le A_n = a+bn \le 1 一举锁死 b=0,a=1b=0, a=1(久赌必输)。

2.1 问题建模与一步全概率差分方程()

在 ,张颢老师请出了概率论发展史上最负盛名的随机游走模型——赌徒输光问题(Gambler's Ruin Problem):

  • 博弈规则():一个赌徒带着初始本金 kk 元(课堂板书亦记当前钱数为 nn)进入赌场,每次赌注固定为 11 元,没有平局:
    • 每局以概率 pp 赢 11 元(本金变为 k+1k+1);
    • 每局以概率 q=1−pq = 1 - p 输 11 元(本金变为 k−1k-1);
    • 一旦本金跌至 00 元,赌徒彻底破产(输光出局)。
  • 用全概率公式建立递推关系(): 记 aka_k(板书写作 ana_n)为赌徒从当前本金 kk 元出发最终输光破产(本金归零)的概率。显然边界条件为 a0 = 1(如果一上来手里就是 00 元,已经输光,概率为 11,)。 当赌徒手里有 k≥1k \ge 1 元时,下一把赌局的结果只有“赢(概率 pp,状态跳至 k+1k+1)”与“输(概率 1−p1-p,状态跳至 k−1k-1)”两种情况,严格满足不重不漏原则()!由全概率公式立即得到二阶常系数线性齐次差分方程(): ak=p ak+1+(1−p) ak−1(k≥1)a_k = p\,a_{k+1} + (1 - p)\,a_{k-1} \qquad (k \ge 1)

2.2 特征方程求解与非对称赌局(p≠1/2p \neq 1/2)通解()

如何求解二阶差分方程 p ak+1−ak+(1−p) ak−1=0p\,a_{k+1} - a_k + (1-p)\,a_{k-1} = 0?张颢老师在黑板上写出其特征方程(): pλ2−λ+(1−p)=0⟺(λ−1)(pλ−(1−p))=0p\lambda^2 - \lambda + (1 - p) = 0 \quad\Longleftrightarrow\quad (\lambda - 1)\bigl(p\lambda - (1 - p)\bigr) = 0 注意课堂黑板上张颢老师先按对称方向写了 (1−p)λ2−λ+p=0(1-p)\lambda^2 - \lambda + p = 0 并随后对照修正,两个特征根分别为: λ1=1,λ2=1−pp=qp\lambda_1 = 1, \qquad \lambda_2 = \frac{1 - p}{p} = \frac{q}{p} 当 p≠12p \neq \frac{1}{2}(即 λ1≠λ2\lambda_1 \neq \lambda_2,两个单根互异)时,差分方程的通解为(): ak=A λ1k+B λ2k=A+B(1−pp)ka_k = A\,\lambda_1^k + B\,\lambda_2^k = A + B\left(\frac{1-p}{p}\right)^k

  • 若设定止盈目标上限 NN 元(即赢到 NN 元立刻收手离场,aN=0a_N = 0,且 a0=1a_0 = 1): 代入 {a0=A+B=1aN=A+B(q/p)N=0\begin{cases} a_0 = A + B = 1 \\ a_N = A + B(q/p)^N = 0 \end{cases},解得赌徒从 kk 元出发先破产(输光)的概率与先达标(赢到 NN 元)的概率分别为: ak=(q/p)N−(q/p)k(q/p)N−1,1−ak=1−(q/p)k1−(q/p)Na_k = \frac{(q/p)^N - (q/p)^k}{(q/p)^N - 1}, \qquad 1 - a_k = \frac{1 - (q/p)^k}{1 - (q/p)^N}

2.3 公平赌场(p=1/2p = 1/2)的特征重根陷阱与“久赌必输”严格证明()

在 ,张颢老师提出了全讲最振聋发聩的问题:

“如果 p=12p = \frac{1}{2},这意味着赌场老板简直是个活雷锋——绝不出老千、绝不抽水、不搞任何手脚,每把输赢概率严格各占 50%50\%!在这样一个绝对公平的赌场里,你一直赌下去(或面对资金无限的庄家),输光的可能性有多大?”

  1. 为什么 p=1/2p = 1/2 时不能直接套用 ak=A+B(1−pp)ka_k = A + B(\frac{1-p}{p})^k?() 当 p=1/2p = 1/2 时,1−pp=1\frac{1-p}{p} = 1,特征方程出现二重根 λ1=λ2=1\lambda_1 = \lambda_2 = 1!如果还写成 A⋅1k+B⋅1k=A+BA\cdot 1^k + B\cdot 1^k = A+B,通解就退化成了一个常数,丢失了一个独立解。
  2. 二重根下的线性通解 ak=A+B⋅ka_k = A + B\cdot k(): 由常微分方程/差分方程重根理论,当 λ=1\lambda = 1 为二重根时,二阶差分方程 ak=12ak+1+12ak−1a_k = \frac{1}{2}a_{k+1} + \frac{1}{2}a_{k-1}(即等差中项性质 ak+1−ak=ak−ak−1a_{k+1} - a_k = a_k - a_{k-1})的通解为关于 kk 的一次线性函数: ak=A+B⋅ka_k = A + B \cdot k
  3. 从有限止盈 NN 到无限资金赌场(N→∞N \to \infty)的“久赌必输”铁律():
    • 情形 A(设有止盈目标 NN 元,a0=1,aN=0a_0=1, a_N=0):代入 ak=A+Bka_k = A + Bk 得 A=1,B=−1/NA = 1, B = -1/N,故输光破产概率为 ak=1−kN=N−kNa_k = 1 - \frac{k}{N} = \frac{N-k}{N},成功赢到 NN 元全身而退的概率为 kN\frac{k}{N}。
    • 情形 B(面对无限资金庄家 / 不设上限一直赌,k∈{0,1,2,… }k \in \{0, 1, 2, \dots\}):
      • 视角一(取极限 N→∞N \to \infty):个人本金 kk 是有限的,而赌场的资金池相对于个人近乎无穷大(N→∞N \to \infty),此时输光概率 lim⁡N→∞(1−kN)=1\lim_{N\to\infty} \bigl(1 - \frac{k}{N}\bigr) = 1!
      • 视角二(张颢黑板有界性直接定值法,):因为 ak=A+Bka_k = A + Bk 是一个概率,对任意大的本金 k=1,2,3,…,∞k = 1, 2, 3, \dots, \infty,它必须永远被夹在区间 [0,1][0, 1] 内部(0≤A+Bk≤10 \le A + Bk \le 1)!然而只要斜率 B≠0B \neq 0,当 k→∞k \to \infty 时线性函数 A+BkA + Bk 必然奔向 +∞+\infty 或 −∞-\infty,彻底冲破 [0,1][0, 1] 的概率边界!因此唯一能够让 aka_k 对所有 kk 保持在 [0,1][0, 1] 内的可能,就是斜率 B=0B = 0!再代入初始边界 a0=A=1a_0 = A = 1,立即锁死: A=1,B=0⟹ak≡1(∀k≥1)    !A = 1,\quad B = 0 \quad\Longrightarrow\quad a_k \equiv 1 \quad (\forall k \ge 1)\;\;! 张颢老师在黑板前重重敲响警钟():“在哪怕绝对公平的赌场里,只要一直赌下去,输光的概率也一定是一(100%),输光是一定会出现的!”
CLASSROOM BOARD DIAGRAM · 张颢老师课堂黑板原图矢量化复原

黑板原图复原 1:赌徒破产半无界射线 0 ──•──► 与有界性锁死 b=0b=0()

严格复原张颢老师在 与 黑板上画出的半无界数轴跳跃图与 p=1/2p=1/2 时利用 0≤a+bn≤10\le a+bn\le 1 直接定出 b=0,  a=1b=0,\;a=1 的板书。
① 黑板半无界本金射线(Gambler's Ruin,无上限壁) 0 (破产 A₀=1) n − 1 n n + 1 1 − p p n → ∞ ② p = 1/2 重根通解 Aₙ = a + b·n 的有界性定值(P34 04:00) 1 0 b = 0 ⇒ Aₙ ≡ 1 (唯一合法!) 若 b ≠ 0 必冲破 [0,1] 边界

黑板全概率一步递推():记 An=P(输光∣初资 n)A_n = \mathbb{P}(\text{输光}\mid\text{初资 }n),按第一局输赢拆分得 An=pAn+1+(1−p)An−1A_n = p A_{n+1} + (1-p) A_{n-1}

特征方程求解():代入 An=λnA_n=\lambda^n 得 pλ2−λ+(1−p)=0p\lambda^2 - \lambda + (1-p) = 0,两根为 λ1=1,  λ2=1−pp\lambda_1=1,\;\lambda_2=\frac{1-p}{p}。

张颢黑板有界性定值法():当 p=1/2p=1/2 时二重根 λ1=λ2=1\lambda_1=\lambda_2=1,通解为线性函数 An=a+b⋅nA_n = a + b\cdot n。因对一切 n≥0n\ge 0 必须满足概率有界性 0≤a+bn≤10\le a+bn\le 1,斜率必为 b=0b=0!再由边界 A0=1A_0=1 得 a=1  ⟹  An≡1a=1 \implies A_n \equiv 1(久赌必输)。

BLACKBOARD DERIVATION RECONSTRUCTION · 张颢老师黑板推导完整复原
Step ①一步全概率展开建立二阶差分方程与特征根
ak=p ak+1+(1−p) ak−1  ⟹  pλ2−λ+(1−p)=0  ⟹  λ1=1,    λ2=1−ppa_k = p\,a_{k+1} + (1-p)\,a_{k-1} \implies p\lambda^2 - \lambda + (1-p) = 0 \implies \lambda_1 = 1,\;\; \lambda_2 = \frac{1-p}{p}

对应 :按下一把“赢(跳至 k+1k+1)”与“输(跳至 k−1k-1)”不重不漏分情况讨论。

Step ②公平赌局 p = 1/2 特征重根通解与概率有界性锁死 ak ≡ 1
p=12  ⟹  λ1=λ2=1  ⟹  ak=A+Bk;由 0≤ak≤1  (∀k≥0) 及 a0=1  ⟹  B=0,  A=1  ⟹  ak≡1p = \frac{1}{2} \implies \lambda_1=\lambda_2=1 \implies a_k = A + Bk; \qquad \text{由 }0\le a_k\le 1\;(\forall k\ge 0)\text{ 及 }a_0=1 \implies B=0,\;A=1 \implies a_k \equiv 1

对应 :或由有限目标解 ak=1−k/Na_k = 1 - k/N 令庄家资金 N→∞N\to\infty,严格证明“久赌必输”。

直观交互 · 06A

赌徒输光问题(Gambler’s Ruin)差分方程解与“久赌必输”极限

交互提示:调节单步胜率 p 与目标总资金上限 M:观察全概率公式导出的二阶差分方程 ak = p ak+1 + q ak-1 如何给出破产概率,以及为何公平博弈 (p=0.5) 面对无限资金庄家 (M→∞) 必然输光!

赌徒最终输光概率 P(破产)75.00%1 − k/M → 1 (当 M→∞)
成功止盈概率 ak = P(达M)25.00%边界条件 a₀ = 0, aM = 1
差分特征比 q / p1.000p=1/2 时二重根退化为线性函数
全概率一步递推ak = p ak+1 + q ak-1以第 1 步输赢作完备划分
止盈概率曲线 a_k = P(先达 M | 初始本金 k) 随本金 k ∈ [0, 40] 的变化p=0.5 时为直线 k/M · p≠0.5 时为指数曲线
k=10: 止盈 25.0% / 输光 75.0%
深度思辨与反例剖析 (CRITICAL INSIGHT & PITFALL)

既然在公平赌局(p=q=1/2p=q=1/2)下,无论你有多少本金 kk,最终输光破产的概率都是 100%100\%,那为什么每局赌博的期望财富却没有减少? 这是一个极其深刻的鞅论(Martingale)悖论!在有限止盈上限 NN 下,赌徒以概率 N−kN\frac{N-k}{N} 变成 00 元,以概率 kN\frac{k}{N} 变成 NN 元,最终期望财富恰为 0×N−kN+N×kN=k0 \times \frac{N-k}{N} + N \times \frac{k}{N} = k 元(公平守恒)。但当 N→∞N \to \infty 时,极小概率 kN→0\frac{k}{N} \to 0 乘上无穷大回报 NN 发生了“概率质量向无穷远处逃逸(一致可积性破裂)”,导致绝大多数样本路径(以概率 11)全都跌入 00 元吸收壁破产!

本节方法论沉淀 · KEY TAKEAWAYS
  • 二阶齐次差分方程标准套路:看到 ak=pak+1+qak−1a_k = p a_{k+1} + q a_{k-1},立刻写特征方程 pλ2−λ+q=0p\lambda^2 - \lambda + q = 0,利用 p+q=1p+q=1 必有一根 λ1=1\lambda_1=1,另一根为 λ2=q/p\lambda_2=q/p。

  • 久赌必输的两大数学杀手:① 赌场抽水使 p<1/2p < 1/2(指数级扼杀 (q/p)k(q/p)^k);② 即使绝对公平 p=1/2p=1/2,赌徒资金有限而赌场资金近似无限(1−k/N→11 - k/N \to 1)。

3. 经典模型三:辛普森悖论(Simpson's Paradox)——条件后权重扭曲与二维向量斜率反转

从张颢老师黑板重点警示的“带公共条件 C 的扩充全概率公式”出发,剖析为什么权重必须是条件后概率 P(Ai|C) 而非无条件概率 P(Ai),并以此彻底破解著名的辛普森悖论:为什么分组看男、女两组均占优的疗法,合并总表后总治愈率反而大幅落后?

3.1 致命易错点:带公共条件的扩充全概率公式()

在进入辛普森悖论之前,张颢老师在 先做了一个极其重要的公式扩充:“条件概率也是概率,别拿豆包不当干粮!” 设 {A1,A2,…,An}\{A_1, A_2, \dots, A_n\} 是样本空间的不重不漏完备划分,现在我们要计算一个本身已经带有公共条件 CC(板书记为 BB)的条件概率 P(E∣C)\mathbb{P}(E \mid C)。许多同学会想当然地写出如下错误公式(): P(E∣C)  =错误!  ∑i=1nP(E∣Ai∩C) P(Ai)(×)\mathbb{P}(E \mid C) \;\stackrel{\text{错误!}}{=}\; \sum_{i=1}^n \mathbb{P}(E \mid A_i \cap C)\,\mathbb{P}(A_i) \qquad (\times) 为什么上面这个式子是错的?() 因为一旦我们在研究以 CC 为条件的概率 P(⋅∣C)\mathbb{P}(\cdot \mid C),整个样本空间就已经改变成了 CC!因此,后面的加权系数绝不能用原始样本空间上的无条件概率 P(Ai)\mathbb{P}(A_i),而必须在每一处都加上公共条件 CC,使用条件后的权重 P(Ai∣C)\mathbb{P}(A_i \mid C)(): P(E∣C)=∑i=1nP(E∣Ai∩C) P(Ai∣C)⏟必须是条件后权重!(✓)\mathbb{P}(E \mid C) = \sum_{i=1}^n \mathbb{P}(E \mid A_i \cap C)\,\underbrace{\mathbb{P}(A_i \mid C)}_{\text{必须是条件后权重!}} \qquad (\checkmark) (检验:若把蓝框里的公共条件 CC 全部抹去,立刻退化回普通全概率公式;若加上 CC,则每一项都必须同步加上 CC!)


3.2 经典模型三:辛普森悖论(Simpson's Paradox)的黑板医疗数据剖析()

紧接着在 ,张颢老师在黑板上列出了一组对比两种医疗方案(如疗法甲 vs 疗法乙,或新药 vs 旧药)在男性组(重症/高危组)与女性组(轻症/高愈组)中的临床统计数据():

分组 / 汇总对比 疗法一(如标准旧药 T0T_0) 疗法二(如新药 T1T_1) 单组 / 汇总治愈率对比结论
男性组(难治重症组,低基数率) 治疗 10001000 人,治愈 100100 人(10.0%10.0\%) 治疗 50005000 人,治愈 250250 人(5.0%5.0\%) 男性组:T0(10%)>T1(5%)T_0(10\%) > T_1(5\%)(或反向设新药组内更高)
女性组(易治轻症组,高基数率) 治疗 50005000 人,治愈 47504750 人(95.0%95.0\%) 治疗 10001000 人,治愈 500500 人(50.0%50.0\%) 女性组:T0(95%)>T1(50%)T_0(95\%) > T_1(50\%)
男女合并总表(不区分性别) 总计 60006000 人,治愈 48504850 人(80.8%80.8\%) 总计 60006000 人,治愈 750750 人(12.5%12.5\%) (注:若交换两药在男女组的微调比例,即可出现分组皆为新药高、合并反而旧药高的彻底反转!)

让我们用一个更直观的对称数值表复现“新药在男组、女组治愈率均高于旧药,但合并总治愈率反而低于旧药”的经典辛普森反转(与张颢老师在 写下的代数不等式完全对应):

  • 男性组(重症组):新药 a1b1=120800=15%>\frac{a_1}{b_1} = \frac{120}{800} = \mathbf{15\%} > 旧药 c1d1=20200=10%\frac{c_1}{d_1} = \frac{20}{200} = \mathbf{10\%}(新药胜!);
  • 女性组(轻症组):新药 a2b2=190200=95%>\frac{a_2}{b_2} = \frac{190}{200} = \mathbf{95\%} > 旧药 c2d2=720800=90%\frac{c_2}{d_2} = \frac{720}{800} = \mathbf{90\%}(新药胜!);
  • 合并总表(各 1000 人):新药总治愈率 a1+a2b1+b2=120+190800+200=31%<\frac{a_1+a_2}{b_1+b_2} = \frac{120+190}{800+200} = \mathbf{31\%} < 旧药总治愈率 c1+c2d1+d2=20+720200+800=74%\frac{c_1+c_2}{d_1+d_2} = \frac{20+720}{200+800} = \mathbf{74\%}(总表新药惨败!)

3.3 悖论真相大白:初中分式不等式、混杂变量(Confounder)与向量斜率几何图解()

为什么同一组真实不撒谎的数据,分组看和合并看会得出完全相反的结论?张颢老师从两个层面彻底捅破了窗户纸:

  1. 代数分式层面(): 分组比较看的是两个分式不等式: a1b1>c1d1且a2b2>c2d2\frac{a_1}{b_1} > \frac{c_1}{d_1} \quad\text{且}\quad \frac{a_2}{b_2} > \frac{c_2}{d_2} 而合并总表看的是分子加分子、分母加分母后的合比分式 a1+a2b1+b2\frac{a_1+a_2}{b_1+b_2} 与 c1+c2d1+d2\frac{c_1+c_2}{d_1+d_2}。初中代数常识告诉我们:两个分数各自更大,绝不蕴含分子分母分别相加后的分数也更大!
    • 二维向量斜率几何解释:把每个亚组的数据 (bi,ai)(b_i, a_i) 看作第一象限的二维向量 (治疗人数,治愈人数)(\text{治疗人数}, \text{治愈人数}),其斜率 ki=ai/bik_i = a_i / b_i 就是治愈率。在男组和女组两条射线簇中,新药向量斜率均略高于旧药向量;但新药在低斜率重症组向量模长极大(b1=800b_1=800)、高斜率轻症组模长极小(b2=200b_2=200),而旧药恰恰相反!由平行四边形法则合成总向量 (b1+b2,a1+a2)(b_1+b_2, a_1+a_2) 时,总对角线总会偏向模长更长的那条边,从而导致总向量斜率发生彻底反转!
  2. 条件概率权重扭曲层面(): 由 3.1 节的扩充全概率公式,疗法 TjT_j 的总治愈率为: P(治愈∣Tj)=P(治愈∣男,Tj) P(男∣Tj)⏟条件后权重+P(治愈∣女,Tj) P(女∣Tj)⏟条件后权重\mathbb{P}(\text{治愈}\mid T_j) = \mathbb{P}(\text{治愈}\mid \text{男}, T_j)\,\underbrace{\mathbb{P}(\text{男}\mid T_j)}_{\text{条件后权重}} + \mathbb{P}(\text{治愈}\mid \text{女}, T_j)\,\underbrace{\mathbb{P}(\text{女}\mid T_j)}_{\text{条件后权重}} 张颢老师一针见血地指出():如果你误以为两组的加权系数是同一个条件前(无条件)性别比例 P(男),P(女)\mathbb{P}(\text{男}), \mathbb{P}(\text{女}),那确实不会反转;但真实的权重是条件后权重 P(男∣Tj)\mathbb{P}(\text{男}\mid T_j)!因为“性别/病情轻重”是一个同时影响疗法分配与治愈率的混杂变量(Confounder)——大量难治的男性重症患者被送去了新药组(P(男∣T1)=80%\mathbb{P}(\text{男}\mid T_1)=80\%),而大量易治的女性轻症患者留在了旧药组(P(女∣T0)=80%\mathbb{P}(\text{女}\mid T_0)=80\%),权重的剧烈偏移彻底扭曲了合并均值!
CLASSROOM BOARD DIAGRAM · 张颢老师课堂黑板原图矢量化复原

黑板原图复原 2:辛普森悖论的“New Sample Space”条件权重与手术数据表()

严格复原张颢老师在 黑板上写下的条件全概率公式(蓝框圈出 ∣B|B)以及男(M)、女(F)与总表(M+F)手术存活率反转表。
✗ 常见错写:P(C|B) ≠ P(C|BA₁)P(A₁) + P(C|BA₂)P(A₂) ✓ 黑板蓝框:P(C|B) = P(C|BA₁) P(A₁ | B) + P(C|BA₂) P(A₂ | B) Male (男 · 重症多) N(保守) S(手术) D(死) 5900 5000 C(活) 100 5000 存活: 1.7% < 50% Female (女 · 轻症多) N(保守) S(手术) D(死) 50 5 C(活) 950 95 存活: 95% ≤ 95% 合并总表 (M + F) N(保守) S(手术) D(死) 5950 5005 C(活) 1050 5095 权重扭曲导致反转!

分式不等式反直觉():即便在男组(A1A_1)和女组(A2A_2)中都有 a1b1<c1d1\frac{a_1}{b_1}<\frac{c_1}{d_1} 且 a2b2<c2d2\frac{a_2}{b_2}<\frac{c_2}{d_2},合并后完全可能出现 a1+a2b1+b2>c1+c2d1+d2\frac{a_1+a_2}{b_1+b_2} > \frac{c_1+c_2}{d_1+d_2}!

黑板蓝框核心():在条件 BB(选择手术或保守)下展开全概率时,权重是条件概率 P(Ai∣B)\mathbb{P}(A_i\mid B)(New Sample Space),而非先验人群占比 P(Ai)\mathbb{P}(A_i)。

混杂偏倚真相:因为高危男性大量选择手术(使手术组中重症权重 P(A1∣S)\mathbb{P}(A_1\mid S) 极高),拉低了手术组的表观总存活率。

BLACKBOARD DERIVATION RECONSTRUCTION · 张颢老师黑板推导完整复原
Step ①带公共条件 C 的扩充全概率公式(条件后权重铁律)
P(E∣C)=∑i=1nP(E∣Ai∩C) P(Ai∣C)  ≠  ∑i=1nP(E∣Ai∩C) P(Ai)\mathbb{P}(E\mid C) = \sum_{i=1}^n \mathbb{P}(E\mid A_i\cap C)\,\mathbb{P}(A_i\mid C) \;\neq\; \sum_{i=1}^n \mathbb{P}(E\mid A_i\cap C)\,\mathbb{P}(A_i)

对应 :在新样本空间 CC 下做全概率展开,权重必须同步带上条件 CC。

Step ②辛普森悖论的分式不等式与混杂变量权重偏移
a1b1>c1d1,    a2b2>c2d2    \centernot  ⟹      a1+a2b1+b2>c1+c2d1+d2(因 P(Ai∣T1)≠P(Ai∣T0))\frac{a_1}{b_1} > \frac{c_1}{d_1},\;\; \frac{a_2}{b_2} > \frac{c_2}{d_2} \;\;\centernot\implies\;\; \frac{a_1+a_2}{b_1+b_2} > \frac{c_1+c_2}{d_1+d_2} \quad\bigl(\text{因 }\mathbb{P}(A_i\mid T_1) \neq \mathbb{P}(A_i\mid T_0)\bigr)

对应 :汇总统计时绝不能盲目硬加,必须审视条件后权重是否被混杂因素扭曲。

深度思辨与反例剖析 (CRITICAL INSIGHT & PITFALL)

面对辛普森悖论,医生究竟应该相信“分组治愈率(选新药)”还是相信“合并总治愈率(选旧药)”? 张颢老师在 指出:在算术上两组解读都没错,但在因果决策上,因为“性别/基础病情”是决定患者选药的先验混杂因子(Confounder),对于任何一个走入诊室的具体患者(他要么是男性,要么是女性),新药在他的所属组别里治愈率都更高!合并总表之所以显得新药差,完全是因为新药承担了 80%80\% 的重症硬骨头。这正是现代因果推断(Judea Pearl 的 do-演算 P(Y∣do(X))P(Y\mid do(X)))按混杂变量分层控制(的后门准则调整公式 ∑zP(Y∣X,Z=z)P(Z=z)\sum_z P(Y\mid X,Z=z)P(Z=z))的核心思想!

本节方法论沉淀 · KEY TAKEAWAYS
  • 警惕条件前/条件后权重偷换:P(E∣T)\mathbb{P}(E\mid T) 的加权系数是 P(Ai∣T)\mathbb{P}(A_i\mid T),一旦处理组 TT 与分组变量 AiA_i 不独立,合并比率就会产生辛普森假象。

  • 二维向量几何直觉:每一组的 (bi,ai)(b_i, a_i) 是一个向量,比值 ai/bia_i/b_i 是斜率;平行四边形合成向量的斜率由模长(样本量权重)决定。

4. 贝叶斯公式(Bayes' Theorem)的深层哲学:先验认知、似然“有色眼镜”与机器学习本质

压轴升华:张颢老师跳出平庸的代数代换,从人类认知迭代与现代机器学习(Machine Learning)的高度重新诠释贝叶斯公式 P(B|A) = P(B)P(A|B)/P(A)——为什么说“绝对客观(A 与 B 独立)反而什么都学不到”?为什么教与学的核心全在于设计似然函数 P(A|B)?

4.1 表面平淡无奇、实则惊天动地的公式()

在本讲最后一部分(),张颢老师在黑板上写下了大名鼎鼎的贝叶斯公式(Bayes' Theorem): P(B∣A)=P(B) P(A∣B)P(A)(其中分母 P(A)=∑jP(Bj) P(A∣Bj))\mathbb{P}(B \mid A) = \frac{\mathbb{P}(B)\,\mathbb{P}(A \mid B)}{\mathbb{P}(A)} \qquad \Bigl(\text{其中分母 }\mathbb{P}(A) = \sum_j \mathbb{P}(B_j)\,\mathbb{P}(A \mid B_j)\Bigr) 从表面上看,这个公式似乎“无奇可言”()——它不过是把交集概率用两种条件概率乘法写出来:P(AB)=P(A∣B)P(B)=P(B∣A)P(A)\mathbb{P}(AB) = \mathbb{P}(A\mid B)\mathbb{P}(B) = \mathbb{P}(B\mid A)\mathbb{P}(A),再移项相除而已。为什么这样一个一行就能推出来的恒等式,会在当代人工智能与机器学习(Machine Learning,)浪潮中奉若神明?


4.2 贝叶斯公式的认知论解构:数据 AA、先验 P(B)\mathbb{P}(B)、似然 P(A∣B)\mathbb{P}(A\mid B) 与后验 P(B∣A)\mathbb{P}(B\mid A)()

张颢老师指出,贝叶斯公式真正伟大之处,在于它用数学语言精准刻画了人类(以及机器)的“学习过程(Learning Process)”():

  • AA 代表什么?——外部输入的【数据(Data / Evidence)】;
  • BB 代表什么?——头脑内部的【认知 / 模型(Cognition / Hypothesis)】。

将分母 P(A)\mathbb{P}(A) 视为归一化常数,贝叶斯公式的分子与左端构成了完整的认知更新三要素:

  1. 先验概率(Prior)P(B)\mathbb{P}(B)():在接触新数据 AA 之前(尚未开始学习前),我们头脑中已经拥有的初始认知(哪怕“大脑一片空白”,均匀分布也是一种初始认知);
  2. 似然度(Likelihood)P(A∣B)\mathbb{P}(A \mid B)():在给定初始认知 BB 的前提下,数据 AA 呈现出什么样的规律。
    • 张颢老师的“有色眼镜”洞察():似然项 P(A∣B)\mathbb{P}(A\mid B) 的存在揭示了一个极其深刻的认识论真相——任何学习过程都不可能是纯粹“客观”的,你在观察外部数据 AA 时,永远是建立在初始认知 BB 的基础上(带着 BB 这副“有色眼镜”去看数据 AA)! 生活中的“选择性忽视”、“选择性耳聋”、“双标”,在数学上全都体现在不同先验 BB 赋予同一数据 AA 不同的似然权重 P(A∣B)\mathbb{P}(A\mid B);
  3. 后验概率(Posterior)P(B∣A)\mathbb{P}(B \mid A)( & ):当先验认知 P(B)\mathbb{P}(B) 与带着有色眼镜观测到的数据似然 P(A∣B)\mathbb{P}(A\mid B) 发生碰撞融合后,更新得到的新认知!

4.3 课堂震撼推论:为什么“绝对客观(独立)= 隔岸观火 = 什么也学不到”?()

如果有人标榜:“我看数据绝对客观,绝不带任何先验主观联系,让数据 AA 跟我的初始认知 BB 完全割裂开!”在数学上会发生什么? 张颢老师在黑板上给出了令人拍案叫绝的推导():

  • 如果看数据时不与先验认知 BB 发生关联,即 P(A∣B)=P(A)\mathbb{P}(A \mid B) = \mathbb{P}(A)(AA 与 BB 相互独立!);
  • 代入贝叶斯公式,分子分母的 P(A)\mathbb{P}(A) 瞬间约掉: P(B∣A)=P(B) P(A)P(A)=P(B)    !\mathbb{P}(B \mid A) = \frac{\mathbb{P}(B)\,\mathbb{P}(A)}{\mathbb{P}(A)} = \mathbb{P}(B)\;\;!
  • 这意味着什么?() 后验认知 P(B∣A)\mathbb{P}(B\mid A) 原封不动地退化回了初始先验 P(B)\mathbb{P}(B)——你学了半天,跟没学毫无两样!

    “为什么通常大家去听科普讲座,听的时候觉得挺热闹,听完之后收获却极其有限?因为你是抱着‘隔岸观火、看个新鲜’的旁观心态去的,新数据 AA 没有和你脑子里已有的知识体系 BB 建立强连接(AA 与 BB 独立),所以听完之后的认知 P(B∣A)\mathbb{P}(B\mid A) 和听之前 P(B)\mathbb{P}(B) 没有产生任何化学反应!”

教学与机器学习的终极统一():

  • 对人类教与学:好老师在课堂上所做的一切努力,本质上都是在精心设计似然函数 P(A∣B)\mathbb{P}(A\mid B)——把新讲授的知识数据 AA 与学生头脑中已有的认知 BB 紧紧勾连(Match)起来,促成正面的认知跃迁(反之若讲砸了把原本懂的人讲晕了,就是似然设计不当导致后验认知倒退,);
  • 对机器学习(Machine Learning):训练人工智能模型的过程,同样是给定模型初始参数先验 P(B)\mathbb{P}(B),通过挑选训练数据集 AA 与设计损失函数/似然架构 P(A∣B)\mathbb{P}(A\mid B),让数据与模型参数发生深度耦合,从而迭代出强大的后验模型 P(B∣A)\mathbb{P}(B\mid A)!
BLACKBOARD DERIVATION RECONSTRUCTION · 张颢老师黑板推导完整复原
Step ①贝叶斯公式的机器学习三要素解构
P(B∣A)⏟后验新认知 Posterior=1P(A)⋅P(B)⏟初始先验 Prior⋅P(A∣B)⏟似然(数据与认知的耦合) Likelihood\underbrace{\mathbb{P}(B\mid A)}_{\text{后验新认知 Posterior}} = \frac{1}{\mathbb{P}(A)} \cdot \underbrace{\mathbb{P}(B)}_{\text{初始先验 Prior}} \cdot \underbrace{\mathbb{P}(A\mid B)}_{\text{似然(数据与认知的耦合) Likelihood}}

对应 :AA 是数据(Data),BB 是认知(Cognition),学习就是用似然将先验转化为后验。

Step ②独立性退化定理:若数据与先验割裂(A ⊥ B),则学习零收获
A⊥B  ⟺  P(A∣B)=P(A)  ⟹  P(B∣A)=P(B)P(A)P(A)=P(B)    (后验≡先验,未产生学习!)A\perp B \iff \mathbb{P}(A\mid B) = \mathbb{P}(A) \implies \mathbb{P}(B\mid A) = \frac{\mathbb{P}(B)\mathbb{P}(A)}{\mathbb{P}(A)} = \mathbb{P}(B)\;\;(\text{后验}\equiv\text{先验,未产生学习!})

对应 :无论是人类学习还是机器学习,核心命门都在于构建似然关联 P(A∣B)\mathbb{P}(A\mid B)。

深度思辨与反例剖析 (CRITICAL INSIGHT & PITFALL)

如果一个人的初始先验极其顽固(例如对某观点坚信不疑 P(B)=1\mathbb{P}(B)=1 或彻底否定 P(B)=0\mathbb{P}(B)=0),贝叶斯公式会发生什么?(Cromwell 法则) 如果初始先验走到了极端边界 P(B)=0\mathbb{P}(B) = 0,那么无论后续观测到多么确凿的客观数据 AA(哪怕似然 P(A∣B)=1\mathbb{P}(A\mid B) = 1),分子 P(B)P(A∣B)=0×1=0\mathbb{P}(B)\mathbb{P}(A\mid B) = 0 \times 1 = 0,后验概率 P(B∣A)\mathbb{P}(B\mid A) 永远死锁在 00!这在统计学上称为 Cromwell 法则(你永远无法叫醒一个装睡的人 / 零先验锁死)——要想保持向数据学习的能力,必须给未知的可能性留出哪怕极其微小的非零先验空间 0<P(B)<10 < \mathbb{P}(B) < 1。

本节方法论沉淀 · KEY TAKEAWAYS
  • 贝叶斯公式是学习定律:后验认知∝先验认知×似然连接\text{后验认知} \propto \text{先验认知} \times \text{似然连接},它绝非简单的条件概率移项,而是统计推断与现代 AI 的基石。

  • 拒绝“隔岸观火”式学习:只有主动把新输入的知识(AA)与已有知识结构(BB)建立强似然联系(打破 A⊥BA\perp B),后验认知 P(B∣A)\mathbb{P}(B\mid A) 才会发生质的飞跃。

CONCEPTUAL & COUNTEREXAMPLE CHECKS · 第 6 讲随堂思辨与易错反例自测

检验你是否真正掌握了配帽错排递推、赌徒输光有界性定值与辛普森悖论后验权重

先独立判断,再展开详细数学解析。每道题均紧扣张颢老师在本讲(P31–P35)课堂上的追问与经典反例。

CHECK 01

在 的配帽问题中,NN 个人随机拿帽子。张颢老师利用条件概率乘法原理(“剥竹笋法”)推导出“恰好有 kk 个人拿对自己帽子”的概率 PN(k)P_N(k) 等于多少?当 N→∞N\to\infty 时收敛于什么分布?

选择答案

CHECK 02

在 P33–P34 的赌徒输光问题中,设每局赢 1 元的概率为 p=1/2p=1/2、输 1 元的概率为 q=1/2q=1/2(绝对公平的雷锋赌场),记 aka_k 为从本金 kk 元出发最终输光破产的概率。张颢老师如何严格证明面对无限资金赌场时 ak≡1a_k \equiv 1?

选择答案

CHECK 03

在 剖析辛普森悖论时,张颢老师指出:将男女两组数据合并计算某疗法 TT 的总治愈率 P(治愈∣T)\mathbb{P}(\text{治愈}\mid T) 时,为什么会出现与分组比较完全相反的结论?

选择答案

CHECK 04

在 对贝叶斯公式 P(B∣A)=P(B)P(A∣B)P(A)\mathbb{P}(B\mid A) = \frac{\mathbb{P}(B)\mathbb{P}(A\mid B)}{\mathbb{P}(A)} 的机器学习哲学诠释中(AA 为数据,BB 为认知),如果学习者采取“隔岸观火”态度使数据 AA 与已有认知 BB 相互独立(P(A∣B)=P(A)\mathbb{P}(A\mid B) = \mathbb{P}(A)),会导致什么结果?

选择答案
本讲核心概念、黑板记号与中英术语对照 (5 项)
配帽问题 / 错排问题 Hat-Matching / Derangement Problem

NN 个人随机拿帽子,无一人拿对的概率 qN=∑m=0N(−1)mm!→e−1≈36.79%q_N = \sum_{m=0}^N \frac{(-1)^m}{m!} \to e^{-1}\approx 36.79\%;恰有 kk 人拿对的概率为 qN−kk!→e−1k!\frac{q_{N-k}}{k!} \to \frac{e^{-1}}{k!}。

全概率公式 Law of Total Probability

将样本空间划分为不重不漏的完备事件组 {Ai}\{A_i\} 后,对目标事件分情况加权求和:P(B)=∑iP(B∣Ai)P(Ai)\mathbb{P}(B)=\sum_i \mathbb{P}(B\mid A_i)\mathbb{P}(A_i)。

赌徒输光问题 Gambler's Ruin Problem

由一步全概率公式导出二阶差分方程 ak=pak+1+qak−1a_k = p a_{k+1} + q a_{k-1};在公平赌局 p=q=1/2p=q=1/2 下因特征重根 λ=1\lambda=1 导出 ak=1−k/N→N→∞1a_k = 1 - k/N \xrightarrow{N\to\infty} 1(久赌必输)。

辛普森悖论 Simpson's Paradox

在每个分组子集中均占优的趋势(aibi>cidi\frac{a_i}{b_i} > \frac{c_i}{d_i}),在合并汇总后因条件后权重 P(Ai∣T)\mathbb{P}(A_i\mid T) 受混杂变量(Confounder)扭曲而发生方向反转的现象。

贝叶斯公式(先验 / 似然 / 后验) Bayes' Theorem (Prior / Likelihood / Posterior)

P(B∣A)=P(B)P(A∣B)P(A)\mathbb{P}(B\mid A) = \frac{\mathbb{P}(B)\mathbb{P}(A\mid B)}{\mathbb{P}(A)},刻画了初始先验认知 P(B)\mathbb{P}(B) 通过似然耦合机制 P(A∣B)\mathbb{P}(A\mid B) 吸收新数据 AA 并进化为后验认知 P(B∣A)\mathbb{P}(B\mid A) 的学习过程。

公理与机遇 · 清华大学自动化系张颢《概率论》深度精读讲义 · 原课无遮挡 1.5× 对位回看与穿插式直观可视化