Ω公理与机遇ZHANG HAO / PROBABILITY
清华大学《概率论》/第 15 讲 · P78–P83
返回 16 讲全景图
LECTURE 15 · P78–P83 原课总长 1:56:39 · 1.5× 回看约 1:17:46

第 15 讲 · 条件数学期望 E[X∣Y]\mathbb{E}[X\mid Y] 的现代公理化理论:σ(Y)\sigma(Y) 可测随机变量、全期望公式与 L2L^2 正交投影

Lecture 15 · Modern Axiomatic Conditional Expectation E[X|Y]: σ(Y)-Measurable RV, Tower Property & L² Orthogonal Projection

全课程收官之战:为什么现代概率论要“先公理化定义条件期望、再导出条件密度”?为什么条件期望 E[X|Y] 是一个关于 Y 的随机变量而非实数?从 Kolmogorov 局部积分恒等式、全期望公式与已知因子提出律,到希尔伯特空间 L² 正交投影与“各个击破 / 走一步看”实战艺术。

原课分片 (点击默认 1.5× 无字幕播放):

本讲主线与问题意识 · LECTURE NARRATIVE ARC

本讲(对应原课视频 P78–P83,总长约 116 分钟)是张颢老师《概率论》全课程的收官压轴之作,也是从初等概率论迈向现代测度概率论与《随机过程》(鞅论、卡尔曼滤波、马尔可夫链)的最关键一跃。在 P78–P79 中,张颢老师彻底破解了第 14 讲遗留的“连续变量单点条件 P(Y=y)=0\mathbb{P}(Y=y)=0 分母归零”悬念,直接在子 σ\sigma-代数 σ(Y)\sigma(Y) 上给出 Kolmogorov 条件期望的现代公理化定义(局部积分相等),并凝练出条件期望最核心的三大支柱:① E[X∣Y]\mathbb{E}[X\mid Y] 是关于 YY 的随机变量;② 全期望公式 E[E[X∣Y]]=E[X]\mathbb{E}[\mathbb{E}[X\mid Y]]=\mathbb{E}[X](全概率公式的期望化身);③ 已知因子提出律 E[h(Y)X∣Y]=h(Y)E[X∣Y]\mathbb{E}[h(Y)X\mid Y]=h(Y)\mathbb{E}[X\mid Y]。随后在 P80–P82 前半段,张颢老师一方面从统计信号处理(雷达测控与火箭轨迹估计)出发,用“减一项加一项 + 各个击破消交叉项”严格证明了 E[X∣Y]\mathbb{E}[X\mid Y] 是希尔伯特空间 L2L^2 上的最小均方误差正交投影;另一方面用公理化条件期望逆向严格证明了条件概率密度公式 fX∣Y=fX,Y/fYf_{X|Y}=f_{X,Y}/f_Y。最后在 P82–P83 中,通过随机和 Wald 恒等式、独立和卷积公式以及几何分布首次命中枪数的“独立性误用大坑 vs 走一步看正解”,将“各个击破”的概率思维推向高潮。

本讲核心攻克目标:
  • 理解连续型条件概率面临的零分母逻辑危机,掌握 Kolmogorov 条件期望在子 σ\sigma-域 Σ1\Sigma_1(及 σ(Y)\sigma(Y))上的两条公理化定义:σ(Y)\sigma(Y)-可测性与局部积分恒等式 ∫CE[X∣Y]dP=∫CXdP\int_C \mathbb{E}[X\mid Y]\mathrm{d}\mathbb{P}=\int_C X\mathrm{d}\mathbb{P}。

  • 完成从确定性常数 E[X]\mathbb{E}[X] 到随机变量 E[X∣Y]=g(Y(ω))\mathbb{E}[X\mid Y]=g(Y(\omega)) 的观念蜕变,熟练运用全期望公式 E[E[X∣Y]]=E[X]\mathbb{E}[\mathbb{E}[X\mid Y]]=\mathbb{E}[X]、已知因子提出律 E[h(Y)X∣Y]=h(Y)E[X∣Y]\mathbb{E}[h(Y)X\mid Y]=h(Y)\mathbb{E}[X\mid Y] 与独立退化性质。

  • 掌握希尔伯特空间 L2(Ω,F,P)L^2(\Omega,\mathcal{F},\mathbb{P}) 中最优均方估计的完整黑板证明:通过加减 E[X∣Y]\mathbb{E}[X\mid Y] 展开平方,并用全期望公式与提出律证明交叉项恒为 00(正交投影定理)。

  • 理解如何以条件期望为桥梁严格定义条件分布 P(X≤x∣Y)=E[1{X≤x}∣Y]\mathbb{P}(X\le x\mid Y)=\mathbb{E}[\mathbf{1}_{\{X\le x\}}\mid Y],并由局部积分恒等式验证条件密度公式 fX∣Y(x∣y)=fX,Y(x,y)/fY(y)f_{X|Y}(x|y)=f_{X,Y}(x,y)/f_Y(y)。

  • 熟练运用条件期望“各个击破”与“走一步看(First-Step Analysis)”策略,求解随机个数求和期望、独立和分布卷积公式,并识别几何分布停止时间 NN 与 XkX_k 不独立的经典陷阱。

CORE FORMULAS & BOARD NOTATION · 本讲黑板核心公式与记号速查

Kolmogorov 条件数学期望的现代公理化定义

Z=E[X∣Y]  ⟺  {(1) Z∈σ(Y) 可测且 E[∣Z∣]<∞,(2) ∀C∈σ(Y),    ∫CZ dP=∫CX dP.Z = \mathbb{E}[X\mid Y] \iff \begin{cases} \text{(1) } Z \in \sigma(Y)\text{ 可测且 }\mathbb{E}[|Z|]<\infty, \\[4pt] \text{(2) } \forall C\in\sigma(Y),\;\; \displaystyle\int_C Z\,\mathrm{d}\mathbb{P} = \int_C X\,\mathrm{d}\mathbb{P}. \end{cases}

对应 :完全不涉及除法,在任意由 YY 决定的可测事件 C={Y∈B}C=\{Y\in B\} 上保持积分(局部期望)守恒。

条件期望三大核心运算律:全期望公式、已知因子提出律与独立退化

E[E[X∣Y]]=E[X],E[h(Y)X∣Y]=h(Y)E[X∣Y],X⊥ ⁣ ⁣ ⁣⊥Y  ⟹  E[X∣Y]=E[X]\mathbb{E}\bigl[\mathbb{E}[X\mid Y]\bigr] = \mathbb{E}[X], \qquad \mathbb{E}\bigl[h(Y)X\mid Y\bigr] = h(Y)\mathbb{E}[X\mid Y], \qquad X\perp\!\!\!\perp Y \implies \mathbb{E}[X\mid Y]=\mathbb{E}[X]

对应 :条件住 YY 时 h(Y)h(Y) 随机性暂时凝固为“假常数”可提出号外;再取一次无条件期望即抹平 YY 的波动。

希尔伯特空间 L² 最优均方估计与正交投影分解

E[(X−g(Y))2]=E[(X−E[X∣Y])2]+E[(E[X∣Y]−g(Y))2]≥E[(X−E[X∣Y])2]\mathbb{E}\bigl[(X-g(Y))^2\bigr] = \mathbb{E}\bigl[(X-\mathbb{E}[X\mid Y])^2\bigr] + \mathbb{E}\bigl[(\mathbb{E}[X\mid Y]-g(Y))^2\bigr] \ge \mathbb{E}\bigl[(X-\mathbb{E}[X\mid Y])^2\bigr]

对应 :残差 X−E[X∣Y]X-\mathbb{E}[X\mid Y] 与子空间中任意 h(Y)=E[X∣Y]−g(Y)h(Y)=\mathbb{E}[X\mid Y]-g(Y) 均正交(交叉项期望为 0)。

“各个击破”双壁:独立和分布公式与几何分布“走一步看”递推

P(X+Y≤t)=EY[EX[1{X≤t−Y}∣Y]]=∫−∞∞FX(t−y)fY(y) dy,E[N]=p⋅1+(1−p)(1+E[N])=1p\mathbb{P}(X+Y\le t) = \mathbb{E}_Y\Bigl[\mathbb{E}_X\bigl[\mathbf{1}_{\{X\le t-Y\}}\mid Y\bigr]\Bigr] = \int_{-\infty}^\infty F_X(t-y)f_Y(y)\,\mathrm{d}y, \qquad \mathbb{E}[N] = p\cdot 1 + (1-p)(1+\mathbb{E}[N]) = \frac{1}{p}

对应 :当存在多个耦合随机源时,先冻结其中一个消去一层随机性,再回过头处理剩余随机变量。

1. Kolmogorov 条件期望公理化定义、σ(Y) 可测随机变量与三大核心运算律

为什么用条件密度定义条件期望在逻辑上是“舍本逐末”?张颢老师直接从子 σ-域 Σ₁ 上的局部积分恒等式出发给出条件期望的公理化定义,并用生动的“随机性凝固韦恩图”阐明了条件期望最重要的三大支柱:随机变量属性、全期望公式与已知因子提出律。

1.1 为什么初等定义全部碰壁?——Kolmogorov 公理化破局()

在课程开篇(),张颢老师回顾了概率空间 (Ω,Σ,P)(\Omega, \Sigma, \mathbb{P}) 上的古典条件概率 P(A∣B)=P(AB)/P(B)\mathbb{P}(A\mid B) = \mathbb{P}(AB)/\mathbb{P}(B):它的本质是把样本空间从 Ω\Omega 缩减为子集 BB,但这要求分母 P(B)≠0\mathbb{P}(B) \neq 0()。当考察连续随机变量 (X,Y)(X,Y) 时:

  • 第一条死胡同:单点集 {X=x}\{X = x\} 或 {Y=y}\{Y = y\} 的概率恒为 00,古典除法定义直接失效();
  • 第二条死胡同:绝大部分教科书直接仿照形式定义 fY∣X(y∣x)=fX,Y(x,y)fX(x)f_{Y|X}(y\mid x) = \frac{f_{X,Y}(x,y)}{f_X(x)},但概率密度并不是概率,这种定义“形似而神不似”,逻辑上极为突兀();
  • 第三条死胡同:若改用累积分布事件定义 P(Y≤y, X≤x)P(X≤x)\frac{\mathbb{P}(Y\le y,\,X\le x)}{\mathbb{P}(X\le x)},分母虽然不为 00 了,但条件却变成了 {X≤x}\{X\le x\} 而非原本要求的单点 {X=x}\{X=x\}()!

如何既彻底回避“分母等于 00”的麻烦,又不留下任何逻辑漏洞?张颢老师在黑板上正式写下了现代概率论最辉煌的里程碑之一——条件数学期望的公理化定义():

  • 设 Σ1⊂Σ\Sigma_1 \subset \Sigma 是原 σ\sigma-代数的一个子 σ\sigma-域(相当于把事件域缩小/粗化了一点),XX 是一个普通随机变量。若存在一个新的随机变量 ZZ,满足以下两条公理,则称 ZZ 为 XX 关于子 σ\sigma-域 Σ1\Sigma_1 的条件期望,记作 Z=E[X∣Σ1]Z = \mathbb{E}[X \mid \Sigma_1]:
    1. Σ1\Sigma_1-可测性与绝对可积性():ZZ 是定义在 (Ω,Σ1,P)(\Omega, \Sigma_1, \mathbb{P}) 上的随机变量且 E[∣Z∣]<∞\mathbb{E}[|Z|] < \infty;
    2. 局部积分相等公理(Partial Averaging,):对任取的集合 C∈Σ1C \in \Sigma_1,恒有: ∫CZ dP=∫CX dP⟺∫CE[X∣Σ1] dP=∫CX dP\int_C Z\,\mathrm{d}\mathbb{P} = \int_C X\,\mathrm{d}\mathbb{P} \quad\Longleftrightarrow\quad \int_C \mathbb{E}[X\mid\Sigma_1]\,\mathrm{d}\mathbb{P} = \int_C X\,\mathrm{d}\mathbb{P}
  • 以随机变量 YY 为条件的条件期望 E[X∣Y]\mathbb{E}[X \mid Y](): 若给定另一个随机变量 YY,记 σ(Y)={A∈Σ:Y(A)∈B(R)}\sigma(Y) = \bigl\{A \in \Sigma : Y(A) \in \mathcal{B}(\mathbb{R})\bigr\} 为由 YY 生成的子 σ\sigma-域(即样本空间 Ω\Omega 中一切能被 YY 映射到实轴 Borel 可测集从而能用 YY 的分布计算概率的子集)。则定义: E[X∣Y]:=E[X ∣ σ(Y)],满足 ∀C∈σ(Y),    ∫CE[X∣Y] dP=∫CX dP\mathbb{E}[X \mid Y] := \mathbb{E}\bigl[X \,\big|\, \sigma(Y)\bigr], \qquad \text{满足 } \forall C \in \sigma(Y),\;\; \int_C \mathbb{E}[X \mid Y]\,\mathrm{d}\mathbb{P} = \int_C X\,\mathrm{d}\mathbb{P}

1.2 从公理走入直觉:条件期望最核心的三大特性()

为了让略显抽象的测度论公理变得触手可及,张颢老师在 P79 中用极其生动的语言与黑板韦恩图,提炼出学习与考核必须牢牢掌握的三大核心性质:

  1. 第一大特性:E[X∣Y]\mathbb{E}[X \mid Y] 不是常数,而是一个依赖于 YY 的【随机变量】!()

    • 普通无条件期望 E[X]\mathbb{E}[X] 把所有随机性消光了,是一个确定常数;但条件期望 E[X∣Y]\mathbb{E}[X \mid Y] 是一个随机变量(即 YY 的函数 g(Y)g(Y))!
    • 张颢黑板“随机性凝固”直观解读():想象 XX 与 YY 是两个相交的随机性圆圈。当我们把 YY 放在条件号 竖线 后面时,相当于把 YY 这一块的随机性暂时“凝固/冻结”住了(暂时看作确定量);随后期望算子 E[⋅]\mathbb{E}[\cdot] 出手,把 XX 剩下的那部分独立随机性(黑板红线阴影部分)通过取平均彻底抹掉;最后当期望算完,被冻结的 YY 的随机性重新释放出来——因此最终结果 E[X∣Y]\mathbb{E}[X \mid Y] 依然带着 YY 的随机性!
  2. 第二大特性:全期望公式 / 塔性质 E[E[X∣Y]]=E[X]\mathbb{E}\bigl[\mathbb{E}[X \mid Y]\bigr] = \mathbb{E}[X]()

    • 既然 E[X∣Y]\mathbb{E}[X \mid Y] 是带着 YY 的随机性的随机变量,对它再做一次期望(抹掉剩下的 YY 的随机性),就必然还原出 XX 的无条件总期望 E[X]\mathbb{E}[X]!(其实在局部积分公理 ∫CE[X∣Y]dP=∫CXdP\int_C \mathbb{E}[X\mid Y]\mathrm{d}\mathbb{P} = \int_C X\mathrm{d}\mathbb{P} 中直接取全集 C=Ω∈σ(Y)C = \Omega \in \sigma(Y),一步即证!)
    • 本质揭示():若在离散情形下展开外层期望,有 E[E[X∣Y]]=∑kE[X∣Y=yk] P(Y=yk)=E[X]\mathbb{E}\bigl[\mathbb{E}[X \mid Y]\bigr] = \sum_k \mathbb{E}[X \mid Y = y_k]\,\mathbb{P}(Y = y_k) = \mathbb{E}[X] 对比全概率公式 P(A)=∑kP(A∣Bk)P(Bk)\mathbb{P}(A) = \sum_k \mathbb{P}(A \mid B_k)\mathbb{P}(B_k),张颢老师一语中的:“条件期望再求期望就是全期望,条件概率再求和就是全概率——全期望公式本质上就是我们早已熟悉的全概率公式!”
    • 形式化双重积分印证与逻辑次序警告(): E[X]=∬x fX,Y(x,y) dx dy=∫(∫x fX∣Y(x∣y) dx)⏟常被教材当作 E[X∣Y=y] 的定义 ⁣fY(y) dy=E[E[X∣Y]]\mathbb{E}[X] = \iint x\,f_{X,Y}(x,y)\,\mathrm{d}x\,\mathrm{d}y = \int \underbrace{\left(\int x\,f_{X|Y}(x\mid y)\,\mathrm{d}x\right)}_{\text{常被教材当作 }\mathbb{E}[X\mid Y=y]\text{ 的定义}}\!f_Y(y)\,\mathrm{d}y = \mathbb{E}\bigl[\mathbb{E}[X \mid Y]\bigr] 张颢老师再次严肃提醒():用条件密度去定义条件期望在逻辑上是“舍本逐末、做反了”!真正严密的逻辑是先有上面的 Kolmogorov 公理化条件期望,再由它推导出条件概率密度。
  3. 第三大特性:已知因子提出律 E[h(Y)X∣Y]=h(Y) E[X∣Y]\mathbb{E}\bigl[h(Y)X \mid Y\bigr] = h(Y)\,\mathbb{E}[X \mid Y]()

    • 普通期望具有线性性质 E[aX]=aE[X]\mathbb{E}[aX] = a\mathbb{E}[X](真常数 aa 可提出)。而在条件期望 E[⋅∣Y]\mathbb{E}[\cdot \mid Y] 的框架下,因为 YY 被条件住、其随机性暂时凝固,任何由 YY 决定的函数 h(Y)h(Y) 都相当于一个“假常数”(暂时确定的量),因此可以直接提到条件期望算子外面!一旦提到外面,它又立刻恢复随机变量的身份()。
    • 第 4 条常用补充:独立退化律():若 XX 与 YY 相互独立,则条件住 YY 对 XX 毫无影响,E[X∣Y]=E[X]\mathbb{E}[X \mid Y] = \mathbb{E}[X]。
CLASSROOM BOARD DIAGRAM · 张颢老师课堂黑板原图矢量化复原

张颢老师黑板手绘还原:“凝固随机性”韦恩圆圈与 Kolmogorov 局部积分守恒()

左图精确还原张颢老师在 P78 14:27 的黑板手绘:上方为相交的 X 与 Y 随机性圆圈(将 Y 放入条件后把斜线区的随机性暂时凝固),下方为任意测试集 C ∈ σ(Y) 上的局部积分面积守恒。
1. 凝固 Y 的随机性(P78 14:27) X Y (凝固) 只对 X 剩余随机性求平均 结果仍是 Y 的函数 g(Y) 2. 局部块 C 上的积分面积守恒 块 C₁ 块 C₂ 块 C₃ 原始曲线 X 分块均值 E[X|Y]

从数值到随机变量的飞跃():给定 Y=yY=y 时,g(y)=E[X∣Y=y]g(y)=\mathbb{E}[X\mid Y=y] 是数值函数;代入随机变量 Y(ω)Y(\omega) 后,E[X∣Y]=g(Y(ω))\mathbb{E}[X\mid Y]=g(Y(\omega)) 是关于 σ(Y)\sigma(Y) 可测的随机变量。

Kolmogorov 现代条件期望的两条公理():

  1. 可测性:E[X∣Y]∈σ(Y)\mathbb{E}[X\mid Y] \in \sigma(Y)(即完全由 YY 的信息决定);
  2. 局部积分相等:∀C∈σ(Y),∫CE[X∣Y] dP=∫CX dP\forall C\in\sigma(Y),\quad \int_C \mathbb{E}[X\mid Y]\,\mathrm{d}\mathbb{P} = \int_C X\,\mathrm{d}\mathbb{P}

当 C=ΩC=\Omega 时自动退化为全期望公式(Tower Property):E[E[X∣Y]]=E[X]\mathbb{E}\bigl[\mathbb{E}[X\mid Y]\bigr] = \mathbb{E}[X]

BLACKBOARD DERIVATION RECONSTRUCTION · 张颢老师黑板推导完整复原
Step ①Kolmogorov 公理化定义:子 σ-域 Σ₁ / σ(Y) 上的局部积分守恒(P78 12:16–19:27)
Σ1=σ(Y)={A∈Σ:Y(A)∈B(R)},∀C∈σ(Y),    ∫CE[X∣Y] dP=∫CX dP\Sigma_1 = \sigma(Y) = \{A\in\Sigma: Y(A)\in\mathcal{B}(\mathbb{R})\}, \qquad \forall C\in\sigma(Y),\;\; \int_C \mathbb{E}[X\mid Y]\,\mathrm{d}\mathbb{P} = \int_C X\,\mathrm{d}\mathbb{P}

不作任何除法,彻底规避连续型变量单点集 P(Y=y)=0\mathbb{P}(Y=y)=0 的分母归零危机。

Step ②三大核心性质:随机变量属性、全期望公式与“假常数”提出律(P79 00:54–19:27)
(1) E[X∣Y] 是 Y 的随机变量;(2) E[E[X∣Y]]=E[X];(3) E[h(Y)X∣Y]=h(Y)E[X∣Y]\text{(1) }\mathbb{E}[X\mid Y]\text{ 是 }Y\text{ 的随机变量}; \quad \text{(2) }\mathbb{E}\bigl[\mathbb{E}[X\mid Y]\bigr]=\mathbb{E}[X]; \quad \text{(3) }\mathbb{E}\bigl[h(Y)X\mid Y\bigr]=h(Y)\mathbb{E}[X\mid Y]

若 X⊥ ⁣ ⁣ ⁣⊥YX\perp\!\!\!\perp Y,则 E[X∣Y]=E[X]\mathbb{E}[X\mid Y]=\mathbb{E}[X];特取 X≡1X\equiv 1 立得 E[h(Y)∣Y]=h(Y)\mathbb{E}[h(Y)\mid Y]=h(Y)。

深度思辨与反例剖析 (CRITICAL INSIGHT & PITFALL)

在 Kolmogorov 公理化定义中,如果只保留第二条“对一切 C∈σ(Y)C\in\sigma(Y) 都有 ∫CZ dP=∫CX dP\int_C Z\,\mathrm{d}\mathbb{P} = \int_C X\,\mathrm{d}\mathbb{P}”,而去掉第一条“ZZ 关于 σ(Y)\sigma(Y) 可测(即 ZZ 只能依赖于 YY)”,会发生什么? 如果去掉“ZZ 关于 σ(Y)\sigma(Y) 可测”的限制,那么直接取 Z=XZ = X 本身,就平凡地满足对一切集合 CC 都有 ∫CX dP=∫CX dP\int_C X\,\mathrm{d}\mathbb{P} = \int_C X\,\mathrm{d}\mathbb{P},这就完全失去了“条件化/取平均”的意义!正是第一条公理强迫 ZZ 退化到粗糙子 σ\sigma-域 σ(Y)\sigma(Y) 上(在 YY 取相同值的样本点上 ZZ 必须取相同值),再配合第二条公理要求在 σ(Y)\sigma(Y) 的每个粗糙分块 CC 上保持积分总量与 XX 相等,两条公理一拉一压,才在测度论(Radon–Nikodym 定理)意义下唯一锁定了正交投影 Z=E[X∣Y]Z = \mathbb{E}[X \mid Y]!

本节方法论沉淀 · KEY TAKEAWAYS
  • 认清随机与确定:E[X]\mathbb{E}[X] 是常数;E[X∣Y=y]\mathbb{E}[X\mid Y=y] 是关于实数 yy 的确定函数 g(y)g(y);E[X∣Y]=g(Y)\mathbb{E}[X\mid Y] = g(Y) 是随机变量!

  • 条件期望三大法宝:它是随机变量、重期望还原无条件期望(E[E[X∣Y]]=E[X]\mathbb{E}[\mathbb{E}[X\mid Y]]=\mathbb{E}[X])、条件住谁就能把谁的函数当“假常数”提出去(E[h(Y)X∣Y]=h(Y)E[X∣Y]\mathbb{E}[h(Y)X\mid Y]=h(Y)\mathbb{E}[X\mid Y])。

2. 希尔伯特空间 L² 上的最优均方估计与正交投影,及条件概率密度的严密导出

在雷达探测与火箭测控中,如何利用观测数据 Y 的函数 g(Y) 最优估计目标 X?张颢老师通过“加减 E[X|Y] 拆平方 + 各个击破消交叉项”,严格证明了条件期望 E[X|Y] 就是希尔伯特空间 L² 上的正交投影,并逆向用条件期望公理完美验证了条件密度公式 fX|Y = fX,Y / fY。

2.1 统计信号处理的核心问题:用样本数据 YY 最优估计目标 XX()

在 ,张颢老师从统计信号处理与航天测控(如雷达探测飞行器、地面测控站汇聚数据估计火箭飞行轨迹,)的实际工程背景出发,提出了最优估计(Optimal Estimation)问题:

  • 设 XX 是无法直接观测的目标随机变量,YY 是采集到的样本观测数据。我们要寻找一个以 YY 为自变量的函数 g(Y)g(Y)(称为统计量/估计子),使其与目标 XX 在均方误差(Mean Square Error, MSE)度量下距离最小(): min⁡g(⋅)  E[(X−g(Y))2]\min_{g(\cdot)} \; \mathbb{E}\Bigl[\bigl(X - g(Y)\bigr)^2\Bigr]
  • 回忆在早先学习期望时,若只允许用一个确定常数 aa 去逼近 XX,对 E[(X−a)2]\mathbb{E}[(X-a)^2] 关于 aa 求导立知最优常数为无条件期望 a∗=E[X]a^* = \mathbb{E}[X]()。现在允许用依赖于 YY 的任意函数 g(Y)g(Y) 去逼近 XX,无法直接对函数 gg 求普通导数,最优解是谁? 张颢老师揭晓答案():最优均方估计子恰恰就是条件期望 g∗(Y)=E[X∣Y]g^*(Y) = \mathbb{E}[X \mid Y]!

2.2 黑板完整证明:“减一项加一项”与“各个击破”消去交叉项()

为了证明对任意函数 g(Y)g(Y) 恒有 E[(X−g(Y))2]≥E[(X−E[X∣Y])2]\mathbb{E}[(X-g(Y))^2] \ge \mathbb{E}[(X-\mathbb{E}[X\mid Y])^2],张颢老师在黑板上调用了刚才讲过的全部三条核心性质:

  1. 主角粉墨登场——减一项加一项 E[X∣Y]\mathbb{E}[X \mid Y] 并展开平方(): E[(X−g(Y))2]=E[(X−E[X∣Y]⏟残差+E[X∣Y]−g(Y)⏟依赖于 Y 的差)2]=E[(X−E[X∣Y])2]+E[(E[X∣Y]−g(Y))2]+2 E[(X−E[X∣Y])(E[X∣Y]−g(Y))]\begin{aligned} \mathbb{E}\Bigl[\bigl(X - g(Y)\bigr)^2\Bigr] &= \mathbb{E}\Bigl[\bigl(\underbrace{X - \mathbb{E}[X\mid Y]}_{\text{残差}} + \underbrace{\mathbb{E}[X\mid Y] - g(Y)}_{\text{依赖于 }Y\text{ 的差}}\bigr)^2\Bigr] \\ &= \mathbb{E}\Bigl[\bigl(X - \mathbb{E}[X\mid Y]\bigr)^2\Bigr] + \mathbb{E}\Bigl[\bigl(\mathbb{E}[X\mid Y] - g(Y)\bigr)^2\Bigr] + 2\,\mathbb{E}\Bigl[\bigl(X - \mathbb{E}[X\mid Y]\bigr)\bigl(\mathbb{E}[X\mid Y] - g(Y)\bigr)\Bigr] \end{aligned}
  2. “老太太吃柿子先拣软的捏”——证明交叉项恒等于 00(正交性,): 审视交叉项 E[(X−E[X∣Y])(E[X∣Y]−g(Y))]\mathbb{E}\bigl[(X - \mathbb{E}[X\mid Y])(\mathbb{E}[X\mid Y] - g(Y))\bigr]:里面有四项,其中 E[X∣Y], E[X∣Y], g(Y)\mathbb{E}[X\mid Y],\, \mathbb{E}[X\mid Y],\, g(Y) 三项都只依赖于 YY,唯有第一项依赖于 XX(“三个 YY 对一个 XX”,)!
    • 第一步(套全期望公式,先条件住 YY): E[(X−E[X∣Y])(E[X∣Y]−g(Y))]=EY ⁣[EX ⁣[(X−E[X∣Y])(E[X∣Y]−g(Y)) ∣ Y]]\mathbb{E}\Bigl[\bigl(X - \mathbb{E}[X\mid Y]\bigr)\bigl(\mathbb{E}[X\mid Y] - g(Y)\bigr)\Bigr] = \mathbb{E}_Y\!\left[\mathbb{E}_X\!\left[\bigl(X - \mathbb{E}[X\mid Y]\bigr)\bigl(\mathbb{E}[X\mid Y] - g(Y)\bigr) \,\Big|\, Y\right]\right]
    • 第二步(套提出律,把只与 YY 有关的后半括号提出内层条件期望,): =EY ⁣[(E[X∣Y]−g(Y))⋅EX ⁣[X−E[X∣Y] ∣ Y]⏟单独考察此内层项]= \mathbb{E}_Y\!\left[\bigl(\mathbb{E}[X\mid Y] - g(Y)\bigr) \cdot \underbrace{\mathbb{E}_X\!\left[X - \mathbb{E}[X\mid Y] \,\Big|\, Y\right]}_{\text{单独考察此内层项}}\right]
    • 第三步(线性展开内层项并再次用提出律,): EX ⁣[X−E[X∣Y] ∣ Y]=E[X∣Y]−E[E[X∣Y]⋅1 ∣ Y]=E[X∣Y]−E[X∣Y]E[1∣Y]⏟=1=0\mathbb{E}_X\!\left[X - \mathbb{E}[X\mid Y] \,\Big|\, Y\right] = \mathbb{E}[X\mid Y] - \mathbb{E}\bigl[\mathbb{E}[X\mid Y]\cdot 1 \,\big|\, Y\bigr] = \mathbb{E}[X\mid Y] - \mathbb{E}[X\mid Y]\underbrace{\mathbb{E}[1\mid Y]}_{=1} = 0 内层恒等于 00,故整个交叉项严格等于 00!于是平方和不等式立即给出: E[(X−g(Y))2]=E[(X−E[X∣Y])2]+E[(E[X∣Y]−g(Y))2]⏟≥0≥E[(X−E[X∣Y])2]\mathbb{E}\Bigl[\bigl(X - g(Y)\bigr)^2\Bigr] = \mathbb{E}\Bigl[\bigl(X - \mathbb{E}[X\mid Y]\bigr)^2\Bigr] + \underbrace{\mathbb{E}\Bigl[\bigl(\mathbb{E}[X\mid Y] - g(Y)\bigr)^2\Bigr]}_{\ge 0} \ge \mathbb{E}\Bigl[\bigl(X - \mathbb{E}[X\mid Y]\bigr)^2\Bigr]
  3. 几何视角:线性空间中的正交投影(): 把随机变量看作内积空间 L2(Ω,F,P)L^2(\Omega,\mathcal{F},\mathbb{P}) 中的矢量,均方误差 E[(X−g(Y))2]\mathbb{E}[(X-g(Y))^2] 就是矢量间的距离平方。由 YY 的一切函数 g(Y)g(Y) 构成一个子空间,而使距离最短的点 E[X∣Y]\mathbb{E}[X\mid Y] 满足残差 X−E[X∣Y]X-\mathbb{E}[X\mid Y] 与子空间正交——因此条件期望 E[X∣Y]\mathbb{E}[X\mid Y] 在几何上就是矢量 XX 在 YY 子空间上的正交投影(Orthogonal Projection)!

2.3 完美闭环:如何由条件期望公理严格导出条件概率密度?()

现在张颢老师回过头来兑现了承诺:如何用毫无逻辑漏洞的条件期望公理,严格证明形式化的条件密度公式 fX∣Y(x∣y)=fX,Y(x,y)fY(y)f_{X|Y}(x\mid y) = \frac{f_{X,Y}(x,y)}{f_Y(y)} 是完全合理的?

  1. 用条件期望定义条件分布函数(): 既然“概率就是示性函数的期望”,我们直接定义给定 YY 下 XX 的条件分布函数为示性函数 1{X≤x}\mathbf{1}_{\{X\le x\}} 的条件期望: FX∣Y(x∣Y):=P(X≤x∣Y)=E[1{X≤x} ∣ Y]F_{X|Y}(x \mid Y) := \mathbb{P}(X \le x \mid Y) = \mathbb{E}\bigl[\mathbf{1}_{\{X \le x\}} \,\big|\, Y\bigr] 并定义条件概率密度 fX∣Y(x∣Y)f_{X|Y}(x\mid Y) 为满足 FX∣Y(x∣Y)=∫−∞xfX∣Y(t∣Y) dtF_{X|Y}(x\mid Y) = \int_{-\infty}^x f_{X|Y}(t\mid Y)\,\mathrm{d}t 的被积函数。
  2. 双向验证 Kolmogorov 局部积分恒等式(): 我们要验证“先入为主”的候选式 fX∣Y(t∣Y)=fX,Y(t,Y)fY(Y)f_{X|Y}(t\mid Y) = \frac{f_{X,Y}(t, Y)}{f_Y(Y)} 是否真能让 ∫−∞xfX∣Y(t∣Y) dt\int_{-\infty}^x f_{X|Y}(t\mid Y)\,\mathrm{d}t 等于 E[1{X≤x}∣Y]\mathbb{E}[\mathbf{1}_{\{X\le x\}}\mid Y]。任取测试集 C∈σ(Y)C \in \sigma(Y),分别计算它在 CC 上的积分:
    • 第一条路径(从 E[1{X≤x}∣Y]\mathbb{E}[\mathbf{1}_{\{X\le x\}}\mid Y] 的公理定义出发,): ∫CE[1{X≤x}∣Y] dP=局部积分公理∫C1{X≤x} dP=∫y∈Y(C)∫−∞xfX,Y(t,y) dt dy\int_C \mathbb{E}\bigl[\mathbf{1}_{\{X\le x\}}\mid Y\bigr]\,\mathrm{d}\mathbb{P} \xlongequal{\text{局部积分公理}} \int_C \mathbf{1}_{\{X\le x\}}\,\mathrm{d}\mathbb{P} = \int_{y\in Y(C)}\int_{-\infty}^x f_{X,Y}(t, y)\,\mathrm{d}t\,\mathrm{d}y
    • 第二条路径(将候选式 ∫−∞xfX,Y(t,Y)fY(Y)dt\int_{-\infty}^x \frac{f_{X,Y}(t,Y)}{f_Y(Y)}\mathrm{d}t 在 CC 上积分,): 由于括号内只是关于单变量 YY 的函数,将样本空间积分转到实轴 YY 的边缘密度 fY(y)f_Y(y) 上: ∫C(∫−∞xfX,Y(t,Y)fY(Y) dt)dP=∫y∈Y(C)(∫−∞xfX,Y(t,y)fY(y) dt)fY(y) dy=∫y∈Y(C)∫−∞xfX,Y(t,y) dt dy\int_C \left(\int_{-\infty}^x \frac{f_{X,Y}(t, Y)}{f_Y(Y)}\,\mathrm{d}t\right)\mathrm{d}\mathbb{P} = \int_{y\in Y(C)} \left(\int_{-\infty}^x \frac{f_{X,Y}(t, y)}{f_Y(y)}\,\mathrm{d}t\right) f_Y(y)\,\mathrm{d}y = \int_{y\in Y(C)}\int_{-\infty}^x f_{X,Y}(t, y)\,\mathrm{d}t\,\mathrm{d}y 两条路径在任意 C∈σ(Y)C\in\sigma(Y) 上的积分结果完全一致!从而证明 E[1{X≤x}∣Y]=∫−∞xfX,Y(t,Y)fY(Y)dt\mathbb{E}[\mathbf{1}_{\{X\le x\}}\mid Y] = \int_{-\infty}^x \frac{f_{X,Y}(t,Y)}{f_Y(Y)}\mathrm{d}t,两边对 xx 求导立得 fX∣Y(x∣y)=fX,Y(x,y)fY(y)f_{X|Y}(x\mid y) = \frac{f_{X,Y}(x,y)}{f_Y(y)}()!
CLASSROOM BOARD DIAGRAM · 张颢老师课堂黑板原图矢量化复原

张颢老师黑板手绘还原:希尔伯特空间 L2L^2 上的正交投影与勾股定理展开()

左图精确还原张颢老师在 P81 08:30 的黑板板书:在希尔伯特空间中将 X 分解为垂足 E[X|Y] 与垂直残差 X−E[X|Y],由于残差与子空间中任意误差向量 E[X|Y]−g(Y) 正交,交叉项期望严格为 0。
观测子空间 span(g(Y)) 0 目标向量 X 最优投影 E[X|Y] 正交残差 X − E[X|Y] 任意猜测 g(Y)

张颢老师黑板正交分解():插入最优投影 E[X∣Y]\mathbb{E}[X\mid Y] 后平方展开:E[(X−g(Y))2]=E[(X−E[X∣Y])2]+E[(E[X∣Y]−g(Y))2]+2 E[(X−E[X∣Y])(E[X∣Y]−g(Y))]\mathbb{E}[(X-g(Y))^2] = \mathbb{E}[(X-\mathbb{E}[X\mid Y])^2] + \mathbb{E}[(\mathbb{E}[X\mid Y]-g(Y))^2] + 2\,\mathbb{E}\bigl[(X-\mathbb{E}[X\mid Y])(\mathbb{E}[X\mid Y]-g(Y))\bigr]

利用全期望公式与已知因子提出律证明交叉项恒为 0:记 h(Y)=E[X∣Y]−g(Y)h(Y)=\mathbb{E}[X\mid Y]-g(Y),则:E[(X−E[X∣Y])h(Y)]=E[h(Y) E[X−E[X∣Y]∣Y]]=E[h(Y)⋅0]=0\mathbb{E}\bigl[(X-\mathbb{E}[X\mid Y])h(Y)\bigr] = \mathbb{E}\Bigl[h(Y)\,\mathbb{E}\bigl[X-\mathbb{E}[X\mid Y]\bigm| Y\bigr]\Bigr] = \mathbb{E}[h(Y)\cdot 0] = 0

唯一全局最优结论:当且仅当 g(Y)=E[X∣Y]g(Y) = \mathbb{E}[X\mid Y] 时第二项平方误差为 00,均方误差达到全局最小值!

BLACKBOARD DERIVATION RECONSTRUCTION · 张颢老师黑板推导完整复原
Step ①加减 E[X|Y] 拆平方与“各个击破”消去交叉项(P80 14:40–P81 07:47)
E[(X−E[X∣Y])(E[X∣Y]−g(Y))]=EY[(E[X∣Y]−g(Y))EX[X−E[X∣Y]∣Y]⏟=E[X∣Y]−E[X∣Y]=0]=0\mathbb{E}\bigl[(X-\mathbb{E}[X\mid Y])(\mathbb{E}[X\mid Y]-g(Y))\bigr] = \mathbb{E}_Y\Bigl[(\mathbb{E}[X\mid Y]-g(Y))\underbrace{\mathbb{E}_X[X-\mathbb{E}[X\mid Y]\mid Y]}_{=\mathbb{E}[X\mid Y]-\mathbb{E}[X\mid Y]=0}\Bigr] = 0

交叉项含三个依赖 YY 的因子与一个 XX,先条件住 YY 将后半括号作为“假常数”提出,内层恒为 00。

Step ②用条件期望公理双向验证条件概率密度(P81 14:50–P82 06:43)
∫CE[1{X≤x}∣Y] dP=∫Y(C) ⁣∫−∞xfX,Y(t,y) dtdy=∫C(∫−∞xfX,Y(t,Y)fY(Y) dt)dP\int_C \mathbb{E}[\mathbf{1}_{\{X\le x\}}\mid Y]\,\mathrm{d}\mathbb{P} = \int_{Y(C)}\!\int_{-\infty}^x f_{X,Y}(t,y)\,\mathrm{d}t\mathrm{d}y = \int_C \left(\int_{-\infty}^x \frac{f_{X,Y}(t,Y)}{f_Y(Y)}\,\mathrm{d}t\right)\mathrm{d}\mathbb{P}

通过条件期望这座严密桥梁,彻底补齐了第 14 讲形式化条件密度 fX,Y/fYf_{X,Y}/f_Y 的逻辑地基。

直观交互 · 10

条件数学期望 E[X | 𝒢m]:从事件划分到 L² 正交投影

交互提示:将子 σ-代数 𝒢m 的划分层级 m 从 0(平凡域 {∅, Ω},仅知全局常数均值 E[X])调至 4(16 个二进区间),观察橙色阶梯函数 E[X | 𝒢m] 如何作为 L² 正交投影逼近原随机变量 X(ω),并核对残差内积是否恒为 0。

全期望公式 E[E[X | 𝒢m]]1.1000 = E[X]无论信息粗细 m 如何变化,重期望恒等于无条件期望
正交性 ⟨X − Ym, Ym⟩0.000000误差 X − E[X|𝒢] 与子空间 L²(𝒢) 内任意随机变量正交
全方差分解 Var(X)0.293 + 0.130 = 0.423Var(E[X|𝒢]) + E[Var(X|𝒢)] = Var(X)(勾股定理)
原随机变量 X(ω)(深蓝)与条件期望投影 Yₘ = E[X | 𝒢ₘ](橙色阶梯)在每个原子集 Aₖ 上,条件期望取局部积分平均 P(Aₖ)⁻¹ ∫_Aₖ X dP
深度思辨与反例剖析 (CRITICAL INSIGHT & PITFALL)

如果把估计子限制为只能取常数值 g(Y)≡ag(Y) \equiv a,或者限制为只能取 YY 的线性函数 g(Y)=a+bYg(Y) = a + bY,正交投影图解会给出什么结果? 常数集合 R\mathbb{R} 与线性函数集合 {a+bY}\{a+bY\} 都是 L2(σ(Y))L^2(\sigma(Y)) 内部更小的线性子空间(满足 R⊂{a+bY}⊂L2(σ(Y))⊂L2(Ω)\mathbb{R} \subset \{a+bY\} \subset L^2(\sigma(Y)) \subset L^2(\Omega)):

  1. 在常数子空间 R\mathbb{R} 上的正交投影就是无条件均值 E[X]\mathbb{E}[X](且若在勾股定理中取 g(Y)=E[X]g(Y) = \mathbb{E}[X],立得全方差公式 Var⁡(X)=E[Var⁡(X∣Y)]+Var⁡(E[X∣Y])\operatorname{Var}(X) = \mathbb{E}[\operatorname{Var}(X\mid Y)] + \operatorname{Var}(\mathbb{E}[X\mid Y]));
  2. 在线性子空间 {a+bY}\{a+bY\} 上的正交投影就是最佳线性最小均方估计(LLSE / 线性回归直线) X^L=E[X]+Cov⁡(X,Y)Var⁡(Y)(Y−E[Y])\hat{X}_{\text{L}} = \mathbb{E}[X] + \frac{\operatorname{Cov}(X,Y)}{\operatorname{Var}(Y)}(Y-\mathbb{E}[Y]);
  3. 在全体可测函数子空间 L2(σ(Y))L^2(\sigma(Y)) 上的全局最优投影则是条件数学期望 E[X∣Y]\mathbb{E}[X\mid Y]!当 (X,Y)(X,Y) 服从二元联合高斯分布时,全局最优非线性投影 E[X∣Y]\mathbb{E}[X\mid Y] 恰好退化为线性投影 X^L\hat{X}_{\text{L}}。
本节方法论沉淀 · KEY TAKEAWAYS
  • 条件期望的几何定义:E[X∣Y]\mathbb{E}[X\mid Y] 是 L2L^2 空间中唯一最小化均方误差 E[(X−g(Y))2]\mathbb{E}[(X-g(Y))^2] 的正交投影。

  • 消交叉项的标准手法:凡遇 E[(X−E[X∣Y])h(Y)]\mathbb{E}[(X-\mathbb{E}[X\mid Y])h(Y)],先对 YY 取条件期望并把 h(Y)h(Y) 提出,内层必归零。

3. “各个击破”与“走一步看”实战:Wald 恒等式、独立和卷积公式与几何分布的独立性陷阱

条件期望在实战中的最高哲学浓缩为四个字——“各个击破”。张颢老师通过三道压轴大题:随机个随机变量求和(Wald 恒等式)、用示性函数条件期望重证独立和卷积公式,以及几何分布首次命中枪数 E[N]=1/p 的“独立性误用大坑 vs 走一步看正解”,为整门《概率论》画上了圆满句号。

3.1 条件期望的实战哲学:“各个击破”()

在 ,张颢老师将条件期望应对多随机变量与《随机过程》问题的核心战法总结为四个字——“各个击破”:当两个或更多随机因素同时搅在一起时,先条件住其中一部分(使其随机性暂时冻结),集中火力把另一部分随机性消灭殆尽,回过头来再收拾被条件住的那一部分!

实战例题 ①:随机个随机变量的和(Wald 恒等式,)

问题:设 X1,X2,…X_1, X_2, \dots 独立同分布,而求和项数 NN 本身也是一个正整数随机变量,且 NN 与诸 XkX_k 相互独立。求随机和 SN=∑k=1NXkS_N = \sum_{k=1}^N X_k 的数学期望 E[SN]\mathbb{E}[S_N]。

  • 为什么不能直接写 E[SN]=N E[X1]\mathbb{E}[S_N] = N\,\mathbb{E}[X_1]?() 张颢老师严厉指出:左端 E[SN]\mathbb{E}[S_N] 是求过无条件期望的确定常数,而 NN 是随机变量,如果把 NN 直接摆在外面,就犯了“确定量等于随机量”的低级概念错误!
  • “各个击破”标准推演(): 既然当项数 NN 固定时求和期望是现成的,我们自然选择先条件住 NN(套全期望公式): E[SN]=E ⁣[∑k=1NXk]=EN ⁣[EX ⁣[∑k=1NXk ∣ N]]\mathbb{E}[S_N] = \mathbb{E}\!\left[\sum_{k=1}^N X_k\right] = \mathbb{E}_N\!\left[\mathbb{E}_X\!\left[\sum_{k=1}^N X_k \,\Big|\, N\right]\right] 在内层条件期望中,NN 已被冻结为“假常数”,且由于 NN 与 XkX_k 相互独立,诸 XkX_k 的条件期望就等于无条件期望 E[X1]\mathbb{E}[X_1],共有 NN 项相加: EX ⁣[∑k=1NXk ∣ N]=N E[X1]\mathbb{E}_X\!\left[\sum_{k=1}^N X_k \,\Big|\, N\right] = N\,\mathbb{E}[X_1] 此时 XX 的随机性已被徹底消灭,化为一个确定常数因子 E[X1]\mathbb{E}[X_1]!再算外层关于 NN 的期望,将常数 E[X1]\mathbb{E}[X_1] 提出,一步证毕: E[SN]=EN[N E[X1]]=E[N] E[X1]\mathbb{E}[S_N] = \mathbb{E}_N\bigl[N\,\mathbb{E}[X_1]\bigr] = \mathbb{E}[N]\,\mathbb{E}[X_1]

3.2 实战例题 ②:用示性函数条件期望优雅导出独立和分布与卷积公式()

问题:设 XX 与 YY 相互独立,密度分别为 fX(x), fY(y)f_X(x),\,f_Y(y),令 Z=X+YZ = X + Y。不用特征函数,如何直接用条件期望导出 ZZ 的分布函数 FZ(t)F_Z(t) 与卷积密度 fZ(t)f_Z(t)?

  • 黑板分步推演():
    1. 将分布函数化为示性函数期望,再套全期望公式条件住 YY(): FZ(t)=P(X+Y≤t)=E[1{X+Y≤t}]=EY[EX[1{X≤t−Y} ∣ Y]]F_Z(t) = \mathbb{P}(X + Y \le t) = \mathbb{E}\bigl[\mathbf{1}_{\{X+Y\le t\}}\bigr] = \mathbb{E}_Y\Bigl[\mathbb{E}_X\bigl[\mathbf{1}_{\{X \le t - Y\}} \,\big|\, Y\bigr]\Bigr]
    2. 冻结 YY 击破内层 XX(): 在内层条件期望中,YY 被冻结为常数 yy,且因 X⊥ ⁣ ⁣ ⁣⊥YX \perp\!\!\!\perp Y,对示性函数 1{X≤t−y}\mathbf{1}_{\{X \le t-y\}} 求关于 XX 的期望直接就是 XX 的分布函数在 t−Yt-Y 处的取值: EX[1{X≤t−Y} ∣ Y]=FX(t−Y)\mathbb{E}_X\bigl[\mathbf{1}_{\{X \le t - Y\}} \,\big|\, Y\bigr] = F_X(t - Y)
    3. 展开外层关于 YY 的期望并对 tt 求导得卷积(): FZ(t)=EY[FX(t−Y)]=∫−∞+∞FX(t−y) fY(y) dy→ddtfZ(t)=∫−∞+∞fX(t−y) fY(y) dyF_Z(t) = \mathbb{E}_Y\bigl[F_X(t - Y)\bigr] = \int_{-\infty}^{+\infty} F_X(t - y)\,f_Y(y)\,\mathrm{d}y \quad\xrightarrow{\frac{\mathrm{d}}{\mathrm{d}t}}\quad f_Z(t) = \int_{-\infty}^{+\infty} f_X(t - y)\,f_Y(y)\,\mathrm{d}y

3.3 压轴名局:几何分布首次命中枪数 E[N]=1/p\mathbb{E}[N]=1/p——“过程错误、结果正确”的大坑与“走一步看”正解()

在全课程的最后 15 分钟,张颢老师设计了一个令全场拍案叫绝的教学现场:求独立重复射击(单发命中率为 pp)首次命中所需的枪数 N∼Geom⁡(p)N \sim \operatorname{Geom}(p) 的数学期望 E[N]\mathbb{E}[N]。

  1. 黑板故意埋下的“大坑”——貌似有板有眼、实则暗藏致命错误(): 记第 kk 枪命中的枪数为 Xk∈{0,1}X_k \in \{0, 1\}(服从 Bern⁡(p)\operatorname{Bern}(p),E[Xk]=p\mathbb{E}[X_k]=p)。前 NN 枪总共命中的枪数为 SN=X1+X2+⋯+XNS_N = X_1 + X_2 + \cdots + X_N。

    • 有人立刻套用刚才例题 ① 的公式:E[SN]=E[N] E[X1]=p E[N]\mathbb{E}[S_N] = \mathbb{E}[N]\,\mathbb{E}[X_1] = p\,\mathbb{E}[N];
    • 又因为 NN 是首次命中的枪数,所以打完第 NN 枪时总共恰好打中了 11 枪,即 SN≡1S_N \equiv 1(确定值)!
    • 于是 p E[N]=E[SN]=1  ⟹  E[N]=1pp\,\mathbb{E}[N] = \mathbb{E}[S_N] = 1 \implies \mathbb{E}[N] = \frac{1}{p}! 结果虽然完全正确,但张颢老师当场喝止():

      “如有雷同,纯属偶然!这是典型的【过程错误、结果正确】!这儿有一个大大的坑——例题 ① 成立的前提是项数 NN 与 XkX_k 相互独立!而在首次命中问题里,NN 与 XkX_k 怎么可能独立呢?一旦已知 {N=k}\{N = k\},就唯一确定了 X1=0,X2=0,…,Xk−1=0,Xk=1X_1=0, X_2=0, \dots, X_{k-1}=0, X_k=1!给定 NN 后 XkX_k 的条件分布早就彻底改变了,绝不能套用 E[Xk∣N]=E[Xk]\mathbb{E}[X_k\mid N] = \mathbb{E}[X_k]!”

  2. 无懈可击的正解:“走一步看(First-Step Analysis)”条件住第一枪 X1X_1(): 既然条件住 NN 有坑,我们反过来——效仿早期研究赌徒输光问题的策略,“走一步看”,只条件住第一枪的结果 X1∈{1,0}X_1 \in \{1, 0\}(): E[N]=E[E[N∣X1]]=P(X1=1) E[N∣X1=1]+P(X1=0) E[N∣X1=0]\mathbb{E}[N] = \mathbb{E}\bigl[\mathbb{E}[N \mid X_1]\bigr] = \mathbb{P}(X_1 = 1)\,\mathbb{E}[N \mid X_1 = 1] + \mathbb{P}(X_1 = 0)\,\mathbb{E}[N \mid X_1 = 0]

    • 若第一枪就打中(X1=1X_1 = 1,概率为 pp,):试验当场结束,总枪数确定为 N=1N = 1,故 E[N∣X1=1]=1\mathbb{E}[N \mid X_1 = 1] = 1;
    • 若第一枪没打中(X1=0X_1 = 0,概率为 1−p1-p,):第一枪已经耗费了 11 发子弹(“白打了一枪”),而由于各枪之间相互独立,从第二枪开始往后还要再打多少枪,相当于彻底翻篇、重新迎来一个一模一样的几何分布(这正是离散几何分布的无记忆性, & 16:52)!因此: E[N∣X1=0]=1+E[N]\mathbb{E}[N \mid X_1 = 0] = 1 + \mathbb{E}[N]
    • 一行代数解出期望(): E[N]=p⋅1+(1−p)(1+E[N])=1+(1−p)E[N]⟹p E[N]=1⟹E[N]=1p\mathbb{E}[N] = p \cdot 1 + (1 - p)\bigl(1 + \mathbb{E}[N]\bigr) = 1 + (1 - p)\mathbb{E}[N] \quad\Longrightarrow\quad p\,\mathbb{E}[N] = 1 \quad\Longrightarrow\quad \mathbb{E}[N] = \frac{1}{p}
BLACKBOARD DERIVATION RECONSTRUCTION · 张颢老师黑板推导完整复原
实战 ①随机和 Wald 恒等式(当 N 与 Xk 独立时条件住 N,P82 11:23–16:50)
E ⁣[∑k=1NXk]=EN ⁣[EX ⁣[∑k=1NXk ∣ N]]=EN[N E[X1]]=E[N] E[X1]\mathbb{E}\!\left[\sum_{k=1}^N X_k\right] = \mathbb{E}_N\!\left[\mathbb{E}_X\!\left[\sum_{k=1}^N X_k \,\Big|\, N\right]\right] = \mathbb{E}_N\bigl[N\,\mathbb{E}[X_1]\bigr] = \mathbb{E}[N]\,\mathbb{E}[X_1]

切忌直接写 E[SN]=NE[X1]\mathbb{E}[S_N]=N\mathbb{E}[X_1](混淆常数与随机变量),也切忌在 NN 与 XkX_k 不独立时乱套此式!

实战 ②示性函数条件期望导出独立和分布与卷积(P82 16:50–P83 04:04)
FZ(t)=EY[EX[1{X≤t−Y}∣Y]]=EY[FX(t−Y)]=∫−∞∞FX(t−y)fY(y) dy→d/dtfZ=fX∗fYF_Z(t) = \mathbb{E}_Y\Bigl[\mathbb{E}_X\bigl[\mathbf{1}_{\{X\le t-Y\}}\mid Y\bigr]\Bigr] = \mathbb{E}_Y\bigl[F_X(t-Y)\bigr] = \int_{-\infty}^\infty F_X(t-y)f_Y(y)\,\mathrm{d}y \xrightarrow{\mathrm{d}/\mathrm{d}t} f_Z = f_X * f_Y

利用 P(A)=E[1A]\mathbb{P}(A)=\mathbb{E}[\mathbf{1}_A] 与全期望公式,把二元区域积分拆解为先固定 YY 算 FX(t−Y)F_X(t-Y)。

实战 ③几何分布“走一步看”条件住第一枪 X₁ 与无记忆性再生(P83 10:19–17:21)
E[N]=P(X1=1)E[N∣X1=1]+P(X1=0)E[N∣X1=0]=p⋅1+(1−p)(1+E[N])  ⟹  E[N]=1p\mathbb{E}[N] = \mathbb{P}(X_1=1)\mathbb{E}[N\mid X_1=1] + \mathbb{P}(X_1=0)\mathbb{E}[N\mid X_1=0] = p\cdot 1 + (1-p)(1+\mathbb{E}[N]) \implies \mathbb{E}[N] = \frac{1}{p}

第一枪未中(X1=0X_1=0)时耗时 +1+1 且后续过程无记忆再生,避开了 NN 与 XkX_k 强相关的陷阱。

深度思辨与反例剖析 (CRITICAL INSIGHT & PITFALL)

为什么在几何分布首次命中问题中,尽管 NN 与 XkX_k 强烈相关(不能用 E[Xk∣N]=E[Xk]\mathbb{E}[X_k\mid N]=\mathbb{E}[X_k]),错误推导算出的 1=E[SN]=E[N]E[X1]1 = \mathbb{E}[S_N] = \mathbb{E}[N]\mathbb{E}[X_1] 却偏偏得到了正确结果 E[N]=1/p\mathbb{E}[N]=1/p?() 正如张颢老师所言,在固定总枪数 {N=k}\{N=k\} 的条件下,E[Xi∣N=k]\mathbb{E}[X_i\mid N=k] 在 i<ki<k 时为 00、在 i=ki=k 时为 11,根本不等于 pp!之所以最终答案巧合相等,是因为首次命中时刻 N=inf⁡{n≥1:Xn=1}N = \inf\{n\ge 1: X_n=1\} 在高等概率论(鞅论)中是一个合法的停时(Stopping Time):虽然“知道 N=kN=k”会剧烈改变过去每一枪的后验分布,但事件 {N≥k}={X1=0,…,Xk−1=0}\{N \ge k\} = \{X_1=0,\dots,X_{k-1}=0\} 只依赖于前 k−1k-1 枪的历史,与当下第 kk 枪 XkX_k 相互独立!将求和改写为无穷级数 ∑k=1∞Xk1{N≥k}\sum_{k=1}^\infty X_k \mathbf{1}_{\{N\ge k\}} 后利用 1{N≥k}⊥ ⁣ ⁣ ⁣⊥Xk\mathbf{1}_{\{N\ge k\}} \perp\!\!\!\perp X_k,才能严格证明停时版的 Wald 恒等式。而在初等阶段,如果不加证明地把 E[∑k=1NXk∣N]\mathbb{E}[\sum_{k=1}^N X_k\mid N] 当成 NE[X1]N\mathbb{E}[X_1],一旦把 NN 换成非停时(比如“最后一次命中的枪数”),公式就会立刻算出完全错误的答案!

本节方法论沉淀 · KEY TAKEAWAYS
  • “各个击破”四字真言:多随机源耦合时,选准条件变量将其暂时冻结,先消灭内层随机性,再求外层期望。

  • “走一步看(First-Step Analysis)”:面对带有无记忆性或马尔可夫再生性的多步过程,条件住第一步试验结果 X1X_1 建立关于 E[N]\mathbb{E}[N] 的代数方程,是通往《随机过程》的核心桥梁。

CONCEPTUAL & COUNTEREXAMPLE CHECKS · 第 15 讲随堂思辨与易错反例自测

检验你是否真正掌握了“条件期望是随机变量”、“Kolmogorov 局部积分恒等式”与“L² 正交投影”

先独立判断,再展开详细数学解析。每道题均紧扣张颢老师在本讲(P78–P83)课堂上的追问与经典反例。

CHECK 01

在 与 中,张颢老师给出的 Kolmogorov 条件期望公理化定义及三大核心特性,下列表述完全正确的是:

选择答案

CHECK 02

在 证明“条件期望 E[X∣Y]\mathbb{E}[X\mid Y] 是最小化均方误差 E[(X−g(Y))2]\mathbb{E}[(X-g(Y))^2] 的最优估计(正交投影)”时,张颢老师是如何证明交叉项 E[(X−E[X∣Y])(E[X∣Y]−g(Y))]=0\mathbb{E}\bigl[(X-\mathbb{E}[X\mid Y])(\mathbb{E}[X\mid Y]-g(Y))\bigr] = 0 的?

选择答案

CHECK 03

在 中,张颢老师如何用条件期望公理填补第 14 讲的逻辑悬念,严格导出连续型随机变量的条件分布函数 FX∣Y(x∣Y)F_{X|Y}(x\mid Y) 与条件概率密度 fX∣Y(x∣y)f_{X|Y}(x\mid y)?

选择答案

CHECK 04

在 求几何分布首次命中枪数 NN 的期望 E[N]\mathbb{E}[N] 时,为什么张颢老师指出“由 SN=∑k=1NXk=1S_N=\sum_{k=1}^N X_k=1 直接写 E[SN]=E[N]E[X1]\mathbb{E}[S_N]=\mathbb{E}[N]\mathbb{E}[X_1]”在初等推导中是有大坑的,并改用“走一步看”条件住第一枪 X1X_1?

选择答案
本讲核心概念、黑板记号与中英术语对照 (6 项)
生成子 σ-域 Generated Sub-σ-Algebra σ(Y)

由随机变量 YY 生成的样本空间子集族 σ(Y)={A∈Σ:Y(A)∈B(R)}\sigma(Y)=\{A\in\Sigma: Y(A)\in\mathcal{B}(\mathbb{R})\},刻画仅凭观测变量 YY 能够判断发生与否并计算概率的全部事件信息。

条件数学期望 Conditional Expectation E[X|Y]

满足关于 σ(Y)\sigma(Y) 可测(即依赖于 YY 的随机变量)且在任意测试集 C∈σ(Y)C\in\sigma(Y) 上保持局部积分守恒 ∫CE[X∣Y]dP=∫CXdP\int_C \mathbb{E}[X\mid Y]\mathrm{d}\mathbb{P}=\int_C X\mathrm{d}\mathbb{P} 的随机变量。

全期望公式 Law of Total Expectation / Tower Property

条件期望再取无条件期望等于原随机变量的无条件期望:E[E[X∣Y]]=E[X]\mathbb{E}[\mathbb{E}[X\mid Y]]=\mathbb{E}[X],本质上是全概率公式在数学期望层面的体现。

已知因子提出律 Pulling Out Known Factors

在给定 YY 的条件下,关于 YY 的函数 h(Y)h(Y) 随机性暂时凝固为“假常数”,可提到条件期望算子外:E[h(Y)X∣Y]=h(Y)E[X∣Y]\mathbb{E}[h(Y)X\mid Y]=h(Y)\mathbb{E}[X\mid Y]。

L² 正交投影 L² Orthogonal Projection

在二阶矩有限的希尔伯特空间 L2(Ω,F,P)L^2(\Omega,\mathcal{F},\mathbb{P}) 中,条件期望 E[X∣Y]\mathbb{E}[X\mid Y] 是目标矢量 XX 在观测子空间 L2(σ(Y))L^2(\sigma(Y)) 上的垂足,唯一最小化均方误差 E[(X−g(Y))2]\mathbb{E}[(X-g(Y))^2]。

走一步看 First-Step Analysis

以多步随机试验的第一步结果 X1X_1 为条件应用全期望公式,结合过程的无记忆性或再生性建立代数方程求解期望的经典方法。

公理与机遇 · 清华大学自动化系张颢《概率论》深度精读讲义 · 原课无遮挡 1.5× 对位回看与穿插式直观可视化