LECTURE 15 · P78–P83 原课总长 1:56:39 · 1.5× 回看约 1:17:46第 15 讲 · 条件数学期望 E [ X ∣ Y ] \mathbb{E}[X\mid Y] E [ X ∣ Y ] 的现代公理化理论:σ ( Y ) \sigma(Y) σ ( Y ) 可测随机变量、全期望公式与 L 2 L^2 L 2 正交投影 Lecture 15 · Modern Axiomatic Conditional Expectation E[X|Y]: σ(Y)-Measurable RV, Tower Property & L² Orthogonal Projection
全课程收官之战:为什么现代概率论要“先公理化定义条件期望、再导出条件密度”?为什么条件期望 E[X|Y] 是一个关于 Y 的随机变量而非实数?从 Kolmogorov 局部积分恒等式、全期望公式与已知因子提出律,到希尔伯特空间 L² 正交投影与“各个击破 / 走一步看”实战艺术。
原课分片 (点击默认 1.5× 无字幕播放): P78 · 01 (19:27) P79 · 02 (19:27) P80 · 03 (19:27) P81 · 04 (19:27) P82 · 05 (19:27) P83 · 06 (19:26)本讲主线与问题意识 · LECTURE NARRATIVE ARC
本讲(对应原课视频 P78–P83,总长约 116 分钟)是张颢老师《概率论》全课程的收官压轴之作,也是从初等概率论迈向现代测度概率论与《随机过程》(鞅论、卡尔曼滤波、马尔可夫链)的最关键一跃。在 P78–P79 中,张颢老师彻底破解了第 14 讲遗留的“连续变量单点条件 P ( Y = y ) = 0 \mathbb{P}(Y=y)=0 P ( Y = y ) = 0 分母归零”悬念,直接在子 σ \sigma σ -代数 σ ( Y ) \sigma(Y) σ ( Y ) 上给出 Kolmogorov 条件期望的现代公理化定义(局部积分相等) ,并凝练出条件期望最核心的三大支柱:① E [ X ∣ Y ] \mathbb{E}[X\mid Y] E [ X ∣ Y ] 是关于 Y Y Y 的随机变量 ;② 全期望公式 E [ E [ X ∣ Y ] ] = E [ X ] \mathbb{E}[\mathbb{E}[X\mid Y]]=\mathbb{E}[X] E [ E [ X ∣ Y ]] = E [ X ] (全概率公式的期望化身);③ 已知因子提出律 E [ h ( Y ) X ∣ Y ] = h ( Y ) E [ X ∣ Y ] \mathbb{E}[h(Y)X\mid Y]=h(Y)\mathbb{E}[X\mid Y] E [ h ( Y ) X ∣ Y ] = h ( Y ) E [ X ∣ Y ] 。随后在 P80–P82 前半段,张颢老师一方面从统计信号处理(雷达测控与火箭轨迹估计)出发,用“减一项加一项 + 各个击破消交叉项”严格证明了 E [ X ∣ Y ] \mathbb{E}[X\mid Y] E [ X ∣ Y ] 是希尔伯特空间 L 2 L^2 L 2 上的最小均方误差正交投影 ;另一方面用公理化条件期望逆向严格证明了条件概率密度公式 f X ∣ Y = f X , Y / f Y f_{X|Y}=f_{X,Y}/f_Y f X ∣ Y = f X , Y / f Y 。最后在 P82–P83 中,通过随机和 Wald 恒等式、独立和卷积公式以及几何分布首次命中枪数的“独立性误用大坑 vs 走一步看正解” ,将“各个击破”的概率思维推向高潮。
本讲核心攻克目标: 理解连续型条件概率面临的零分母逻辑危机,掌握 Kolmogorov 条件期望在子 σ \sigma σ -域 Σ 1 \Sigma_1 Σ 1 (及 σ ( Y ) \sigma(Y) σ ( Y ) )上的两条公理化定义:σ ( Y ) \sigma(Y) σ ( Y ) -可测性与局部积分恒等式 ∫ C E [ X ∣ Y ] d P = ∫ C X d P \int_C \mathbb{E}[X\mid Y]\mathrm{d}\mathbb{P}=\int_C X\mathrm{d}\mathbb{P} ∫ C E [ X ∣ Y ] d P = ∫ C X d P 。
完成从确定性常数 E [ X ] \mathbb{E}[X] E [ X ] 到随机变量 E [ X ∣ Y ] = g ( Y ( ω ) ) \mathbb{E}[X\mid Y]=g(Y(\omega)) E [ X ∣ Y ] = g ( Y ( ω )) 的观念蜕变,熟练运用全期望公式 E [ E [ X ∣ Y ] ] = E [ X ] \mathbb{E}[\mathbb{E}[X\mid Y]]=\mathbb{E}[X] E [ E [ X ∣ Y ]] = E [ X ] 、已知因子提出律 E [ h ( Y ) X ∣ Y ] = h ( Y ) E [ X ∣ Y ] \mathbb{E}[h(Y)X\mid Y]=h(Y)\mathbb{E}[X\mid Y] E [ h ( Y ) X ∣ Y ] = h ( Y ) E [ X ∣ Y ] 与独立退化性质。
掌握希尔伯特空间 L 2 ( Ω , F , P ) L^2(\Omega,\mathcal{F},\mathbb{P}) L 2 ( Ω , F , P ) 中最优均方估计的完整黑板证明:通过加减 E [ X ∣ Y ] \mathbb{E}[X\mid Y] E [ X ∣ Y ] 展开平方,并用全期望公式与提出律证明交叉项恒为 0 0 0 (正交投影定理)。
理解如何以条件期望为桥梁严格定义条件分布 P ( X ≤ x ∣ Y ) = E [ 1 { X ≤ x } ∣ Y ] \mathbb{P}(X\le x\mid Y)=\mathbb{E}[\mathbf{1}_{\{X\le x\}}\mid Y] P ( X ≤ x ∣ Y ) = E [ 1 { X ≤ x } ∣ Y ] ,并由局部积分恒等式验证条件密度公式 f X ∣ Y ( x ∣ y ) = f X , Y ( x , y ) / f Y ( y ) f_{X|Y}(x|y)=f_{X,Y}(x,y)/f_Y(y) f X ∣ Y ( x ∣ y ) = f X , Y ( x , y ) / f Y ( y ) 。
熟练运用条件期望“各个击破”与“走一步看(First-Step Analysis)”策略,求解随机个数求和期望、独立和分布卷积公式,并识别几何分布停止时间 N N N 与 X k X_k X k 不独立的经典陷阱。
1. Kolmogorov 条件期望公理化定义、σ(Y) 可测随机变量与三大核心运算律 为什么用条件密度定义条件期望在逻辑上是“舍本逐末”?张颢老师直接从子 σ-域 Σ₁ 上的局部积分恒等式出发给出条件期望的公理化定义,并用生动的“随机性凝固韦恩图”阐明了条件期望最重要的三大支柱:随机变量属性、全期望公式与已知因子提出律。
1.1 为什么初等定义全部碰壁?——Kolmogorov 公理化破局(▶ P78 02:29–19:27 )
在课程开篇(▶ P78 03:01 ),张颢老师回顾了概率空间 ( Ω , Σ , P ) (\Omega, \Sigma, \mathbb{P}) ( Ω , Σ , P ) 上的古典条件概率 P ( A ∣ B ) = P ( A B ) / P ( B ) \mathbb{P}(A\mid B) = \mathbb{P}(AB)/\mathbb{P}(B) P ( A ∣ B ) = P ( A B ) / P ( B ) :它的本质是把样本空间从 Ω \Omega Ω 缩减为子集 B B B ,但这要求分母 P ( B ) ≠ 0 \mathbb{P}(B) \neq 0 P ( B ) = 0 (▶ P78 06:01 )。当考察连续随机变量 ( X , Y ) (X,Y) ( X , Y ) 时:
第一条死胡同 :单点集 { X = x } \{X = x\} { X = x } 或 { Y = y } \{Y = y\} { Y = y } 的概率恒为 0 0 0 ,古典除法定义直接失效(▶ P78 06:26 );
第二条死胡同 :绝大部分教科书直接仿照形式定义 f Y ∣ X ( y ∣ x ) = f X , Y ( x , y ) f X ( x ) f_{Y|X}(y\mid x) = \frac{f_{X,Y}(x,y)}{f_X(x)} f Y ∣ X ( y ∣ x ) = f X ( x ) f X , Y ( x , y ) ,但概率密度并不是概率,这种定义“形似而神不似”,逻辑上极为突兀(▶ P78 08:00 );
第三条死胡同 :若改用累积分布事件定义 P ( Y ≤ y , X ≤ x ) P ( X ≤ x ) \frac{\mathbb{P}(Y\le y,\,X\le x)}{\mathbb{P}(X\le x)} P ( X ≤ x ) P ( Y ≤ y , X ≤ x ) ,分母虽然不为 0 0 0 了,但条件却变成了 { X ≤ x } \{X\le x\} { X ≤ x } 而非原本要求的单点 { X = x } \{X=x\} { X = x } (▶ P78 09:46–11:20 )!
如何既彻底回避“分母等于 0 0 0 ”的麻烦,又不留下任何逻辑漏洞?张颢老师在黑板上正式写下了现代概率论最辉煌的里程碑之一——条件数学期望的公理化定义(▶ P78 12:16–19:27 ) :
设 Σ 1 ⊂ Σ \Sigma_1 \subset \Sigma Σ 1 ⊂ Σ 是原 σ \sigma σ -代数的一个子 σ \sigma σ -域 (相当于把事件域缩小/粗化了一点),X X X 是一个普通随机变量。若存在一个新的随机变量 Z Z Z ,满足以下两条公理,则称 Z Z Z 为 X X X 关于子 σ \sigma σ -域 Σ 1 \Sigma_1 Σ 1 的条件期望 ,记作 Z = E [ X ∣ Σ 1 ] Z = \mathbb{E}[X \mid \Sigma_1] Z = E [ X ∣ Σ 1 ] :
Σ 1 \Sigma_1 Σ 1 -可测性与绝对可积性(▶ P78 13:14–14:12 ) :Z Z Z 是定义在 ( Ω , Σ 1 , P ) (\Omega, \Sigma_1, \mathbb{P}) ( Ω , Σ 1 , P ) 上的随机变量且 E [ ∣ Z ∣ ] < ∞ \mathbb{E}[|Z|] < \infty E [ ∣ Z ∣ ] < ∞ ;
局部积分相等公理(Partial Averaging,▶ P78 14:12–16:22 ) :对任取的集合 C ∈ Σ 1 C \in \Sigma_1 C ∈ Σ 1 ,恒有:
∫ C Z d P = ∫ C X d P ⟺ ∫ C E [ X ∣ Σ 1 ] d P = ∫ C X d P \int_C Z\,\mathrm{d}\mathbb{P} = \int_C X\,\mathrm{d}\mathbb{P} \quad\Longleftrightarrow\quad \int_C \mathbb{E}[X\mid\Sigma_1]\,\mathrm{d}\mathbb{P} = \int_C X\,\mathrm{d}\mathbb{P} ∫ C Z d P = ∫ C X d P ⟺ ∫ C E [ X ∣ Σ 1 ] d P = ∫ C X d P
以随机变量 Y Y Y 为条件的条件期望 E [ X ∣ Y ] \mathbb{E}[X \mid Y] E [ X ∣ Y ] (▶ P78 17:13–19:27 ) :
若给定另一个随机变量 Y Y Y ,记 σ ( Y ) = { A ∈ Σ : Y ( A ) ∈ B ( R ) } \sigma(Y) = \bigl\{A \in \Sigma : Y(A) \in \mathcal{B}(\mathbb{R})\bigr\} σ ( Y ) = { A ∈ Σ : Y ( A ) ∈ B ( R ) } 为由 Y Y Y 生成的子 σ \sigma σ -域 (即样本空间 Ω \Omega Ω 中一切能被 Y Y Y 映射到实轴 Borel 可测集从而能用 Y Y Y 的分布计算概率的子集)。则定义:
E [ X ∣ Y ] : = E [ X ∣ σ ( Y ) ] , 满足 ∀ C ∈ σ ( Y ) , ∫ C E [ X ∣ Y ] d P = ∫ C X d P \mathbb{E}[X \mid Y] := \mathbb{E}\bigl[X \,\big|\, \sigma(Y)\bigr], \qquad \text{满足 } \forall C \in \sigma(Y),\;\; \int_C \mathbb{E}[X \mid Y]\,\mathrm{d}\mathbb{P} = \int_C X\,\mathrm{d}\mathbb{P} E [ X ∣ Y ] := E [ X σ ( Y ) ] , 满足 ∀ C ∈ σ ( Y ) , ∫ C E [ X ∣ Y ] d P = ∫ C X d P
1.2 从公理走入直觉:条件期望最核心的三大特性(▶ P79 00:00–19:27 )
为了让略显抽象的测度论公理变得触手可及,张颢老师在 P79 中用极其生动的语言与黑板韦恩图,提炼出学习与考核必须牢牢掌握的三大核心性质 :
第一大特性:E [ X ∣ Y ] \mathbb{E}[X \mid Y] E [ X ∣ Y ] 不是常数,而是一个依赖于 Y Y Y 的【随机变量】!(▶ P79 00:54–06:26 )
普通无条件期望 E [ X ] \mathbb{E}[X] E [ X ] 把所有随机性消光了,是一个确定常数;但条件期望 E [ X ∣ Y ] \mathbb{E}[X \mid Y] E [ X ∣ Y ] 是一个随机变量 (即 Y Y Y 的函数 g ( Y ) g(Y) g ( Y ) )!
张颢黑板“随机性凝固”直观解读(▶ P79 01:19–05:56 ) :想象 X X X 与 Y Y Y 是两个相交的随机性圆圈。当我们把 Y Y Y 放在条件号 竖线 后面时,相当于把 Y Y Y 这一块的随机性暂时“凝固/冻结”住了 (暂时看作确定量);随后期望算子 E [ ⋅ ] \mathbb{E}[\cdot] E [ ⋅ ] 出手,把 X X X 剩下的那部分独立随机性(黑板红线阴影部分)通过取平均彻底抹掉;最后当期望算完,被冻结的 Y Y Y 的随机性重新释放出来 ——因此最终结果 E [ X ∣ Y ] \mathbb{E}[X \mid Y] E [ X ∣ Y ] 依然带着 Y Y Y 的随机性!
第二大特性:全期望公式 / 塔性质 E [ E [ X ∣ Y ] ] = E [ X ] \mathbb{E}\bigl[\mathbb{E}[X \mid Y]\bigr] = \mathbb{E}[X] E [ E [ X ∣ Y ] ] = E [ X ] (▶ P79 06:26–13:12 )
既然 E [ X ∣ Y ] \mathbb{E}[X \mid Y] E [ X ∣ Y ] 是带着 Y Y Y 的随机性的随机变量,对它再做一次期望 (抹掉剩下的 Y Y Y 的随机性),就必然还原出 X X X 的无条件总期望 E [ X ] \mathbb{E}[X] E [ X ] !(其实在局部积分公理 ∫ C E [ X ∣ Y ] d P = ∫ C X d P \int_C \mathbb{E}[X\mid Y]\mathrm{d}\mathbb{P} = \int_C X\mathrm{d}\mathbb{P} ∫ C E [ X ∣ Y ] d P = ∫ C X d P 中直接取全集 C = Ω ∈ σ ( Y ) C = \Omega \in \sigma(Y) C = Ω ∈ σ ( Y ) ,一步即证!)
本质揭示(▶ P79 07:56–09:44 ) :若在离散情形下展开外层期望,有
E [ E [ X ∣ Y ] ] = ∑ k E [ X ∣ Y = y k ] P ( Y = y k ) = E [ X ] \mathbb{E}\bigl[\mathbb{E}[X \mid Y]\bigr] = \sum_k \mathbb{E}[X \mid Y = y_k]\,\mathbb{P}(Y = y_k) = \mathbb{E}[X] E [ E [ X ∣ Y ] ] = k ∑ E [ X ∣ Y = y k ] P ( Y = y k ) = E [ X ]
对比全概率公式 P ( A ) = ∑ k P ( A ∣ B k ) P ( B k ) \mathbb{P}(A) = \sum_k \mathbb{P}(A \mid B_k)\mathbb{P}(B_k) P ( A ) = ∑ k P ( A ∣ B k ) P ( B k ) ,张颢老师一语中的:“条件期望再求期望就是全期望,条件概率再求和就是全概率——全期望公式本质上就是我们早已熟悉的全概率公式!”
形式化双重积分印证与逻辑次序警告(▶ P79 09:44–13:12 ) :
E [ X ] = ∬ x f X , Y ( x , y ) d x d y = ∫ ( ∫ x f X ∣ Y ( x ∣ y ) d x ) ⏟ 常被教材当作 E [ X ∣ Y = y ] 的定义 f Y ( y ) d y = E [ E [ X ∣ Y ] ] \mathbb{E}[X] = \iint x\,f_{X,Y}(x,y)\,\mathrm{d}x\,\mathrm{d}y = \int \underbrace{\left(\int x\,f_{X|Y}(x\mid y)\,\mathrm{d}x\right)}_{\text{常被教材当作 }\mathbb{E}[X\mid Y=y]\text{ 的定义}}\!f_Y(y)\,\mathrm{d}y = \mathbb{E}\bigl[\mathbb{E}[X \mid Y]\bigr] E [ X ] = ∬ x f X , Y ( x , y ) d x d y = ∫ 常被教材当作 E [ X ∣ Y = y ] 的定义 ( ∫ x f X ∣ Y ( x ∣ y ) d x ) f Y ( y ) d y = E [ E [ X ∣ Y ] ]
张颢老师再次严肃提醒(▶ P79 11:56 ):用条件密度去定义条件期望在逻辑上是“舍本逐末、做反了” !真正严密的逻辑是先有上面的 Kolmogorov 公理化条件期望,再由它推导出条件概率密度。
第三大特性:已知因子提出律 E [ h ( Y ) X ∣ Y ] = h ( Y ) E [ X ∣ Y ] \mathbb{E}\bigl[h(Y)X \mid Y\bigr] = h(Y)\,\mathbb{E}[X \mid Y] E [ h ( Y ) X ∣ Y ] = h ( Y ) E [ X ∣ Y ] (▶ P79 13:12–18:26 )
普通期望具有线性性质 E [ a X ] = a E [ X ] \mathbb{E}[aX] = a\mathbb{E}[X] E [ a X ] = a E [ X ] (真常数 a a a 可提出)。而在条件期望 E [ ⋅ ∣ Y ] \mathbb{E}[\cdot \mid Y] E [ ⋅ ∣ Y ] 的框架下,因为 Y Y Y 被条件住、其随机性暂时凝固,任何由 Y Y Y 决定的函数 h ( Y ) h(Y) h ( Y ) 都相当于一个“假常数”(暂时确定的量) ,因此可以直接提到条件期望算子外面!一旦提到外面,它又立刻恢复随机变量的身份(▶ P79 16:08–18:03 )。
第 4 条常用补充:独立退化律(▶ P79 18:26–19:27 ) :若 X X X 与 Y Y Y 相互独立,则条件住 Y Y Y 对 X X X 毫无影响,E [ X ∣ Y ] = E [ X ] \mathbb{E}[X \mid Y] = \mathbb{E}[X] E [ X ∣ Y ] = E [ X ] 。
CLASSROOM BOARD DIAGRAM · 张颢老师课堂黑板原图矢量化复原
张颢老师黑板手绘还原:“凝固随机性”韦恩圆圈与 Kolmogorov 局部积分守恒(▶ P78 14:27 ) 左图精确还原张颢老师在 P78 14:27 的黑板手绘:上方为相交的 X 与 Y 随机性圆圈(将 Y 放入条件后把斜线区的随机性暂时凝固),下方为任意测试集 C ∈ σ(Y) 上的局部积分面积守恒。
1. 凝固 Y 的随机性(P78 14:27)
X
Y (凝固)
只对 X 剩余随机性求平均
结果仍是 Y 的函数 g(Y)
2. 局部块 C 上的积分面积守恒
块 C₁
块 C₂
块 C₃
原始曲线 X
分块均值 E[X|Y]
从数值到随机变量的飞跃(▶ P78 14:27 ) :给定 Y = y Y=y Y = y 时,g ( y ) = E [ X ∣ Y = y ] g(y)=\mathbb{E}[X\mid Y=y] g ( y ) = E [ X ∣ Y = y ] 是数值函数;代入随机变量 Y ( ω ) Y(\omega) Y ( ω ) 后,E [ X ∣ Y ] = g ( Y ( ω ) ) \mathbb{E}[X\mid Y]=g(Y(\omega)) E [ X ∣ Y ] = g ( Y ( ω )) 是关于 σ ( Y ) \sigma(Y) σ ( Y ) 可测的随机变量 。
Kolmogorov 现代条件期望的两条公理(▶ P82 02:15 ) :
可测性 :E [ X ∣ Y ] ∈ σ ( Y ) \mathbb{E}[X\mid Y] \in \sigma(Y) E [ X ∣ Y ] ∈ σ ( Y ) (即完全由 Y Y Y 的信息决定);
局部积分相等 :∀ C ∈ σ ( Y ) , ∫ C E [ X ∣ Y ] d P = ∫ C X d P \forall C\in\sigma(Y),\quad \int_C \mathbb{E}[X\mid Y]\,\mathrm{d}\mathbb{P} = \int_C X\,\mathrm{d}\mathbb{P} ∀ C ∈ σ ( Y ) , ∫ C E [ X ∣ Y ] d P = ∫ C X d P
当 C = Ω C=\Omega C = Ω 时自动退化为全期望公式(Tower Property) :E [ E [ X ∣ Y ] ] = E [ X ] \mathbb{E}\bigl[\mathbb{E}[X\mid Y]\bigr] = \mathbb{E}[X] E [ E [ X ∣ Y ] ] = E [ X ]
BLACKBOARD DERIVATION RECONSTRUCTION · 张颢老师黑板推导完整复原
Step ① Kolmogorov 公理化定义:子 σ-域 Σ₁ / σ(Y) 上的局部积分守恒(P78 12:16–19:27)
Σ 1 = σ ( Y ) = { A ∈ Σ : Y ( A ) ∈ B ( R ) } , ∀ C ∈ σ ( Y ) , ∫ C E [ X ∣ Y ] d P = ∫ C X d P \Sigma_1 = \sigma(Y) = \{A\in\Sigma: Y(A)\in\mathcal{B}(\mathbb{R})\}, \qquad \forall C\in\sigma(Y),\;\; \int_C \mathbb{E}[X\mid Y]\,\mathrm{d}\mathbb{P} = \int_C X\,\mathrm{d}\mathbb{P} Σ 1 = σ ( Y ) = { A ∈ Σ : Y ( A ) ∈ B ( R )} , ∀ C ∈ σ ( Y ) , ∫ C E [ X ∣ Y ] d P = ∫ C X d P 不作任何除法,彻底规避连续型变量单点集 P ( Y = y ) = 0 \mathbb{P}(Y=y)=0 P ( Y = y ) = 0 的分母归零危机。
Step ② 三大核心性质:随机变量属性、全期望公式与“假常数”提出律(P79 00:54–19:27)
(1) E [ X ∣ Y ] 是 Y 的随机变量 ; (2) E [ E [ X ∣ Y ] ] = E [ X ] ; (3) E [ h ( Y ) X ∣ Y ] = h ( Y ) E [ X ∣ Y ] \text{(1) }\mathbb{E}[X\mid Y]\text{ 是 }Y\text{ 的随机变量}; \quad \text{(2) }\mathbb{E}\bigl[\mathbb{E}[X\mid Y]\bigr]=\mathbb{E}[X]; \quad \text{(3) }\mathbb{E}\bigl[h(Y)X\mid Y\bigr]=h(Y)\mathbb{E}[X\mid Y] (1) E [ X ∣ Y ] 是 Y 的随机变量 ; (2) E [ E [ X ∣ Y ] ] = E [ X ] ; (3) E [ h ( Y ) X ∣ Y ] = h ( Y ) E [ X ∣ Y ] 若 X ⊥ ⊥ Y X\perp\!\!\!\perp Y X ⊥ ⊥ Y ,则 E [ X ∣ Y ] = E [ X ] \mathbb{E}[X\mid Y]=\mathbb{E}[X] E [ X ∣ Y ] = E [ X ] ;特取 X ≡ 1 X\equiv 1 X ≡ 1 立得 E [ h ( Y ) ∣ Y ] = h ( Y ) \mathbb{E}[h(Y)\mid Y]=h(Y) E [ h ( Y ) ∣ Y ] = h ( Y ) 。
深度思辨与反例剖析 (CRITICAL INSIGHT & PITFALL)在 Kolmogorov 公理化定义中,如果只保留第二条“对一切 C ∈ σ ( Y ) C\in\sigma(Y) C ∈ σ ( Y ) 都有 ∫ C Z d P = ∫ C X d P \int_C Z\,\mathrm{d}\mathbb{P} = \int_C X\,\mathrm{d}\mathbb{P} ∫ C Z d P = ∫ C X d P ”,而去掉第一条“Z Z Z 关于 σ ( Y ) \sigma(Y) σ ( Y ) 可测(即 Z Z Z 只能依赖于 Y Y Y )”,会发生什么?
如果去掉“Z Z Z 关于 σ ( Y ) \sigma(Y) σ ( Y ) 可测”的限制,那么直接取 Z = X Z = X Z = X 本身,就平凡地满足对一切集合 C C C 都有 ∫ C X d P = ∫ C X d P \int_C X\,\mathrm{d}\mathbb{P} = \int_C X\,\mathrm{d}\mathbb{P} ∫ C X d P = ∫ C X d P ,这就完全失去了“条件化/取平均”的意义!正是第一条公理强迫 Z Z Z 退化到粗糙子 σ \sigma σ -域 σ ( Y ) \sigma(Y) σ ( Y ) 上(在 Y Y Y 取相同值的样本点上 Z Z Z 必须取相同值) ,再配合第二条公理要求在 σ ( Y ) \sigma(Y) σ ( Y ) 的每个粗糙分块 C C C 上保持积分总量与 X X X 相等 ,两条公理一拉一压,才在测度论(Radon–Nikodym 定理)意义下唯一锁定了正交投影 Z = E [ X ∣ Y ] Z = \mathbb{E}[X \mid Y] Z = E [ X ∣ Y ] !
本节方法论沉淀 · KEY TAKEAWAYS 认清随机与确定 :E [ X ] \mathbb{E}[X] E [ X ] 是常数;E [ X ∣ Y = y ] \mathbb{E}[X\mid Y=y] E [ X ∣ Y = y ] 是关于实数 y y y 的确定函数 g ( y ) g(y) g ( y ) ;E [ X ∣ Y ] = g ( Y ) \mathbb{E}[X\mid Y] = g(Y) E [ X ∣ Y ] = g ( Y ) 是随机变量!
条件期望三大法宝 :它是随机变量、重期望还原无条件期望(E [ E [ X ∣ Y ] ] = E [ X ] \mathbb{E}[\mathbb{E}[X\mid Y]]=\mathbb{E}[X] E [ E [ X ∣ Y ]] = E [ X ] )、条件住谁就能把谁的函数当“假常数”提出去(E [ h ( Y ) X ∣ Y ] = h ( Y ) E [ X ∣ Y ] \mathbb{E}[h(Y)X\mid Y]=h(Y)\mathbb{E}[X\mid Y] E [ h ( Y ) X ∣ Y ] = h ( Y ) E [ X ∣ Y ] )。
标记本节已精读 2. 希尔伯特空间 L² 上的最优均方估计与正交投影,及条件概率密度的严密导出 在雷达探测与火箭测控中,如何利用观测数据 Y 的函数 g(Y) 最优估计目标 X?张颢老师通过“加减 E[X|Y] 拆平方 + 各个击破消交叉项”,严格证明了条件期望 E[X|Y] 就是希尔伯特空间 L² 上的正交投影,并逆向用条件期望公理完美验证了条件密度公式 fX|Y = fX,Y / fY 。
2.1 统计信号处理的核心问题:用样本数据 Y Y Y 最优估计目标 X X X (▶ P80 06:10–14:16 )
在 ▶ P80 06:54 ,张颢老师从统计信号处理与航天测控(如雷达探测飞行器、地面测控站汇聚数据估计火箭飞行轨迹,▶ P80 09:00–10:01 )的实际工程背景出发,提出了最优估计(Optimal Estimation) 问题:
设 X X X 是无法直接观测的目标随机变量 ,Y Y Y 是采集到的样本观测数据 。我们要寻找一个以 Y Y Y 为自变量的函数 g ( Y ) g(Y) g ( Y ) (称为统计量/估计子 ),使其与目标 X X X 在均方误差(Mean Square Error, MSE) 度量下距离最小(▶ P80 10:32–13:42 ):
min g ( ⋅ ) E [ ( X − g ( Y ) ) 2 ] \min_{g(\cdot)} \; \mathbb{E}\Bigl[\bigl(X - g(Y)\bigr)^2\Bigr] g ( ⋅ ) min E [ ( X − g ( Y ) ) 2 ]
回忆在早先学习期望时,若只允许用一个确定常数 a a a 去逼近 X X X ,对 E [ ( X − a ) 2 ] \mathbb{E}[(X-a)^2] E [( X − a ) 2 ] 关于 a a a 求导立知最优常数为无条件期望 a ∗ = E [ X ] a^* = \mathbb{E}[X] a ∗ = E [ X ] (▶ P80 12:02 )。现在允许用依赖于 Y Y Y 的任意函数 g ( Y ) g(Y) g ( Y ) 去逼近 X X X ,无法直接对函数 g g g 求普通导数,最优解是谁?
张颢老师揭晓答案(▶ P80 13:42 ):最优均方估计子恰恰就是条件期望 g ∗ ( Y ) = E [ X ∣ Y ] g^*(Y) = \mathbb{E}[X \mid Y] g ∗ ( Y ) = E [ X ∣ Y ] !
2.2 黑板完整证明:“减一项加一项”与“各个击破”消去交叉项(▶ P80 14:16–P81 09:36 )
为了证明对任意函数 g ( Y ) g(Y) g ( Y ) 恒有 E [ ( X − g ( Y ) ) 2 ] ≥ E [ ( X − E [ X ∣ Y ] ) 2 ] \mathbb{E}[(X-g(Y))^2] \ge \mathbb{E}[(X-\mathbb{E}[X\mid Y])^2] E [( X − g ( Y ) ) 2 ] ≥ E [( X − E [ X ∣ Y ] ) 2 ] ,张颢老师在黑板上调用了刚才讲过的全部三条核心性质:
主角粉墨登场——减一项加一项 E [ X ∣ Y ] \mathbb{E}[X \mid Y] E [ X ∣ Y ] 并展开平方(▶ P80 14:40–16:38 ) :
E [ ( X − g ( Y ) ) 2 ] = E [ ( X − E [ X ∣ Y ] ⏟ 残差 + E [ X ∣ Y ] − g ( Y ) ⏟ 依赖于 Y 的差 ) 2 ] = E [ ( X − E [ X ∣ Y ] ) 2 ] + E [ ( E [ X ∣ Y ] − g ( Y ) ) 2 ] + 2 E [ ( X − E [ X ∣ Y ] ) ( E [ X ∣ Y ] − g ( Y ) ) ] \begin{aligned}
\mathbb{E}\Bigl[\bigl(X - g(Y)\bigr)^2\Bigr] &= \mathbb{E}\Bigl[\bigl(\underbrace{X - \mathbb{E}[X\mid Y]}_{\text{残差}} + \underbrace{\mathbb{E}[X\mid Y] - g(Y)}_{\text{依赖于 }Y\text{ 的差}}\bigr)^2\Bigr] \\
&= \mathbb{E}\Bigl[\bigl(X - \mathbb{E}[X\mid Y]\bigr)^2\Bigr] + \mathbb{E}\Bigl[\bigl(\mathbb{E}[X\mid Y] - g(Y)\bigr)^2\Bigr] + 2\,\mathbb{E}\Bigl[\bigl(X - \mathbb{E}[X\mid Y]\bigr)\bigl(\mathbb{E}[X\mid Y] - g(Y)\bigr)\Bigr]
\end{aligned} E [ ( X − g ( Y ) ) 2 ] = E [ ( 残差 X − E [ X ∣ Y ] + 依赖于 Y 的差 E [ X ∣ Y ] − g ( Y ) ) 2 ] = E [ ( X − E [ X ∣ Y ] ) 2 ] + E [ ( E [ X ∣ Y ] − g ( Y ) ) 2 ] + 2 E [ ( X − E [ X ∣ Y ] ) ( E [ X ∣ Y ] − g ( Y ) ) ]
“老太太吃柿子先拣软的捏”——证明交叉项恒等于 0 0 0 (正交性,▶ P80 16:38–P81 08:15 ) :
审视交叉项 E [ ( X − E [ X ∣ Y ] ) ( E [ X ∣ Y ] − g ( Y ) ) ] \mathbb{E}\bigl[(X - \mathbb{E}[X\mid Y])(\mathbb{E}[X\mid Y] - g(Y))\bigr] E [ ( X − E [ X ∣ Y ]) ( E [ X ∣ Y ] − g ( Y )) ] :里面有四项,其中 E [ X ∣ Y ] , E [ X ∣ Y ] , g ( Y ) \mathbb{E}[X\mid Y],\, \mathbb{E}[X\mid Y],\, g(Y) E [ X ∣ Y ] , E [ X ∣ Y ] , g ( Y ) 三项都只依赖于 Y Y Y ,唯有第一项依赖于 X X X (“三个 Y Y Y 对一个 X X X ”,▶ P81 00:26–01:31 )!
第一步(套全期望公式,先条件住 Y Y Y ) :
E [ ( X − E [ X ∣ Y ] ) ( E [ X ∣ Y ] − g ( Y ) ) ] = E Y [ E X [ ( X − E [ X ∣ Y ] ) ( E [ X ∣ Y ] − g ( Y ) ) ∣ Y ] ] \mathbb{E}\Bigl[\bigl(X - \mathbb{E}[X\mid Y]\bigr)\bigl(\mathbb{E}[X\mid Y] - g(Y)\bigr)\Bigr] = \mathbb{E}_Y\!\left[\mathbb{E}_X\!\left[\bigl(X - \mathbb{E}[X\mid Y]\bigr)\bigl(\mathbb{E}[X\mid Y] - g(Y)\bigr) \,\Big|\, Y\right]\right] E [ ( X − E [ X ∣ Y ] ) ( E [ X ∣ Y ] − g ( Y ) ) ] = E Y [ E X [ ( X − E [ X ∣ Y ] ) ( E [ X ∣ Y ] − g ( Y ) ) Y ] ]
第二步(套提出律,把只与 Y Y Y 有关的后半括号提出内层条件期望,▶ P81 03:28–05:18 ) :
= E Y [ ( E [ X ∣ Y ] − g ( Y ) ) ⋅ E X [ X − E [ X ∣ Y ] ∣ Y ] ⏟ 单独考察此内层项 ] = \mathbb{E}_Y\!\left[\bigl(\mathbb{E}[X\mid Y] - g(Y)\bigr) \cdot \underbrace{\mathbb{E}_X\!\left[X - \mathbb{E}[X\mid Y] \,\Big|\, Y\right]}_{\text{单独考察此内层项}}\right] = E Y ( E [ X ∣ Y ] − g ( Y ) ) ⋅ 单独考察此内层项 E X [ X − E [ X ∣ Y ] Y ]
第三步(线性展开内层项并再次用提出律,▶ P81 05:42–07:47 ) :
E X [ X − E [ X ∣ Y ] ∣ Y ] = E [ X ∣ Y ] − E [ E [ X ∣ Y ] ⋅ 1 ∣ Y ] = E [ X ∣ Y ] − E [ X ∣ Y ] E [ 1 ∣ Y ] ⏟ = 1 = 0 \mathbb{E}_X\!\left[X - \mathbb{E}[X\mid Y] \,\Big|\, Y\right] = \mathbb{E}[X\mid Y] - \mathbb{E}\bigl[\mathbb{E}[X\mid Y]\cdot 1 \,\big|\, Y\bigr] = \mathbb{E}[X\mid Y] - \mathbb{E}[X\mid Y]\underbrace{\mathbb{E}[1\mid Y]}_{=1} = 0 E X [ X − E [ X ∣ Y ] Y ] = E [ X ∣ Y ] − E [ E [ X ∣ Y ] ⋅ 1 Y ] = E [ X ∣ Y ] − E [ X ∣ Y ] = 1 E [ 1 ∣ Y ] = 0
内层恒等于 0 0 0 ,故整个交叉项严格等于 0 0 0 !于是平方和不等式立即给出:
E [ ( X − g ( Y ) ) 2 ] = E [ ( X − E [ X ∣ Y ] ) 2 ] + E [ ( E [ X ∣ Y ] − g ( Y ) ) 2 ] ⏟ ≥ 0 ≥ E [ ( X − E [ X ∣ Y ] ) 2 ] \mathbb{E}\Bigl[\bigl(X - g(Y)\bigr)^2\Bigr] = \mathbb{E}\Bigl[\bigl(X - \mathbb{E}[X\mid Y]\bigr)^2\Bigr] + \underbrace{\mathbb{E}\Bigl[\bigl(\mathbb{E}[X\mid Y] - g(Y)\bigr)^2\Bigr]}_{\ge 0} \ge \mathbb{E}\Bigl[\bigl(X - \mathbb{E}[X\mid Y]\bigr)^2\Bigr] E [ ( X − g ( Y ) ) 2 ] = E [ ( X − E [ X ∣ Y ] ) 2 ] + ≥ 0 E [ ( E [ X ∣ Y ] − g ( Y ) ) 2 ] ≥ E [ ( X − E [ X ∣ Y ] ) 2 ]
几何视角:线性空间中的正交投影(▶ P81 08:15–09:36 ) :
把随机变量看作内积空间 L 2 ( Ω , F , P ) L^2(\Omega,\mathcal{F},\mathbb{P}) L 2 ( Ω , F , P ) 中的矢量,均方误差 E [ ( X − g ( Y ) ) 2 ] \mathbb{E}[(X-g(Y))^2] E [( X − g ( Y ) ) 2 ] 就是矢量间的距离平方。由 Y Y Y 的一切函数 g ( Y ) g(Y) g ( Y ) 构成一个子空间,而使距离最短的点 E [ X ∣ Y ] \mathbb{E}[X\mid Y] E [ X ∣ Y ] 满足残差 X − E [ X ∣ Y ] X-\mathbb{E}[X\mid Y] X − E [ X ∣ Y ] 与子空间正交——因此条件期望 E [ X ∣ Y ] \mathbb{E}[X\mid Y] E [ X ∣ Y ] 在几何上就是矢量 X X X 在 Y Y Y 子空间上的正交投影(Orthogonal Projection) !
2.3 完美闭环:如何由条件期望公理严格导出条件概率密度?(▶ P81 10:08–P82 07:38 )
现在张颢老师回过头来兑现了承诺:如何用毫无逻辑漏洞的条件期望公理,严格证明形式化的条件密度公式 f X ∣ Y ( x ∣ y ) = f X , Y ( x , y ) f Y ( y ) f_{X|Y}(x\mid y) = \frac{f_{X,Y}(x,y)}{f_Y(y)} f X ∣ Y ( x ∣ y ) = f Y ( y ) f X , Y ( x , y ) 是完全合理的?
用条件期望定义条件分布函数(▶ P81 11:03–14:19 ) :
既然“概率就是示性函数的期望”,我们直接定义给定 Y Y Y 下 X X X 的条件分布函数为示性函数 1 { X ≤ x } \mathbf{1}_{\{X\le x\}} 1 { X ≤ x } 的条件期望:
F X ∣ Y ( x ∣ Y ) : = P ( X ≤ x ∣ Y ) = E [ 1 { X ≤ x } ∣ Y ] F_{X|Y}(x \mid Y) := \mathbb{P}(X \le x \mid Y) = \mathbb{E}\bigl[\mathbf{1}_{\{X \le x\}} \,\big|\, Y\bigr] F X ∣ Y ( x ∣ Y ) := P ( X ≤ x ∣ Y ) = E [ 1 { X ≤ x } Y ]
并定义条件概率密度 f X ∣ Y ( x ∣ Y ) f_{X|Y}(x\mid Y) f X ∣ Y ( x ∣ Y ) 为满足 F X ∣ Y ( x ∣ Y ) = ∫ − ∞ x f X ∣ Y ( t ∣ Y ) d t F_{X|Y}(x\mid Y) = \int_{-\infty}^x f_{X|Y}(t\mid Y)\,\mathrm{d}t F X ∣ Y ( x ∣ Y ) = ∫ − ∞ x f X ∣ Y ( t ∣ Y ) d t 的被积函数。
双向验证 Kolmogorov 局部积分恒等式(▶ P81 14:50–P82 07:11 ) :
我们要验证“先入为主”的候选式 f X ∣ Y ( t ∣ Y ) = f X , Y ( t , Y ) f Y ( Y ) f_{X|Y}(t\mid Y) = \frac{f_{X,Y}(t, Y)}{f_Y(Y)} f X ∣ Y ( t ∣ Y ) = f Y ( Y ) f X , Y ( t , Y ) 是否真能让 ∫ − ∞ x f X ∣ Y ( t ∣ Y ) d t \int_{-\infty}^x f_{X|Y}(t\mid Y)\,\mathrm{d}t ∫ − ∞ x f X ∣ Y ( t ∣ Y ) d t 等于 E [ 1 { X ≤ x } ∣ Y ] \mathbb{E}[\mathbf{1}_{\{X\le x\}}\mid Y] E [ 1 { X ≤ x } ∣ Y ] 。任取测试集 C ∈ σ ( Y ) C \in \sigma(Y) C ∈ σ ( Y ) ,分别计算它在 C C C 上的积分:
第一条路径(从 E [ 1 { X ≤ x } ∣ Y ] \mathbb{E}[\mathbf{1}_{\{X\le x\}}\mid Y] E [ 1 { X ≤ x } ∣ Y ] 的公理定义出发,▶ P81 16:17–P82 01:00 ) :
∫ C E [ 1 { X ≤ x } ∣ Y ] d P = 局部积分公理 ∫ C 1 { X ≤ x } d P = ∫ y ∈ Y ( C ) ∫ − ∞ x f X , Y ( t , y ) d t d y \int_C \mathbb{E}\bigl[\mathbf{1}_{\{X\le x\}}\mid Y\bigr]\,\mathrm{d}\mathbb{P} \xlongequal{\text{局部积分公理}} \int_C \mathbf{1}_{\{X\le x\}}\,\mathrm{d}\mathbb{P} = \int_{y\in Y(C)}\int_{-\infty}^x f_{X,Y}(t, y)\,\mathrm{d}t\,\mathrm{d}y ∫ C E [ 1 { X ≤ x } ∣ Y ] d P 局部积分公理 ∫ C 1 { X ≤ x } d P = ∫ y ∈ Y ( C ) ∫ − ∞ x f X , Y ( t , y ) d t d y
第二条路径(将候选式 ∫ − ∞ x f X , Y ( t , Y ) f Y ( Y ) d t \int_{-\infty}^x \frac{f_{X,Y}(t,Y)}{f_Y(Y)}\mathrm{d}t ∫ − ∞ x f Y ( Y ) f X , Y ( t , Y ) d t 在 C C C 上积分,▶ P82 01:24–06:14 ) :
由于括号内只是关于单变量 Y Y Y 的函数,将样本空间积分转到实轴 Y Y Y 的边缘密度 f Y ( y ) f_Y(y) f Y ( y ) 上:
∫ C ( ∫ − ∞ x f X , Y ( t , Y ) f Y ( Y ) d t ) d P = ∫ y ∈ Y ( C ) ( ∫ − ∞ x f X , Y ( t , y ) f Y ( y ) d t ) f Y ( y ) d y = ∫ y ∈ Y ( C ) ∫ − ∞ x f X , Y ( t , y ) d t d y \int_C \left(\int_{-\infty}^x \frac{f_{X,Y}(t, Y)}{f_Y(Y)}\,\mathrm{d}t\right)\mathrm{d}\mathbb{P} = \int_{y\in Y(C)} \left(\int_{-\infty}^x \frac{f_{X,Y}(t, y)}{f_Y(y)}\,\mathrm{d}t\right) f_Y(y)\,\mathrm{d}y = \int_{y\in Y(C)}\int_{-\infty}^x f_{X,Y}(t, y)\,\mathrm{d}t\,\mathrm{d}y ∫ C ( ∫ − ∞ x f Y ( Y ) f X , Y ( t , Y ) d t ) d P = ∫ y ∈ Y ( C ) ( ∫ − ∞ x f Y ( y ) f X , Y ( t , y ) d t ) f Y ( y ) d y = ∫ y ∈ Y ( C ) ∫ − ∞ x f X , Y ( t , y ) d t d y
两条路径在任意 C ∈ σ ( Y ) C\in\sigma(Y) C ∈ σ ( Y ) 上的积分结果完全一致 !从而证明 E [ 1 { X ≤ x } ∣ Y ] = ∫ − ∞ x f X , Y ( t , Y ) f Y ( Y ) d t \mathbb{E}[\mathbf{1}_{\{X\le x\}}\mid Y] = \int_{-\infty}^x \frac{f_{X,Y}(t,Y)}{f_Y(Y)}\mathrm{d}t E [ 1 { X ≤ x } ∣ Y ] = ∫ − ∞ x f Y ( Y ) f X , Y ( t , Y ) d t ,两边对 x x x 求导立得 f X ∣ Y ( x ∣ y ) = f X , Y ( x , y ) f Y ( y ) f_{X|Y}(x\mid y) = \frac{f_{X,Y}(x,y)}{f_Y(y)} f X ∣ Y ( x ∣ y ) = f Y ( y ) f X , Y ( x , y ) (▶ P82 06:14 )!
CLASSROOM BOARD DIAGRAM · 张颢老师课堂黑板原图矢量化复原 张颢老师黑板手绘还原:希尔伯特空间 L 2 L^2 L 2 上的正交投影与勾股定理展开(▶ P81 08:30 ) 左图精确还原张颢老师在 P81 08:30 的黑板板书:在希尔伯特空间中将 X 分解为垂足 E[X|Y] 与垂直残差 X−E[X|Y],由于残差与子空间中任意误差向量 E[X|Y]−g(Y) 正交,交叉项期望严格为 0。
观测子空间 span(g(Y))
0
目标向量 X
最优投影 E[X|Y]
正交残差 X − E[X|Y]
任意猜测 g(Y)
张颢老师黑板正交分解(▶ P81 08:30 ) :插入最优投影 E [ X ∣ Y ] \mathbb{E}[X\mid Y] E [ X ∣ Y ] 后平方展开:E [ ( X − g ( Y ) ) 2 ] = E [ ( X − E [ X ∣ Y ] ) 2 ] + E [ ( E [ X ∣ Y ] − g ( Y ) ) 2 ] + 2 E [ ( X − E [ X ∣ Y ] ) ( E [ X ∣ Y ] − g ( Y ) ) ] \mathbb{E}[(X-g(Y))^2] = \mathbb{E}[(X-\mathbb{E}[X\mid Y])^2] + \mathbb{E}[(\mathbb{E}[X\mid Y]-g(Y))^2] + 2\,\mathbb{E}\bigl[(X-\mathbb{E}[X\mid Y])(\mathbb{E}[X\mid Y]-g(Y))\bigr] E [( X − g ( Y ) ) 2 ] = E [( X − E [ X ∣ Y ] ) 2 ] + E [( E [ X ∣ Y ] − g ( Y ) ) 2 ] + 2 E [ ( X − E [ X ∣ Y ]) ( E [ X ∣ Y ] − g ( Y )) ]
利用全期望公式与已知因子提出律证明交叉项恒为 0 :记 h ( Y ) = E [ X ∣ Y ] − g ( Y ) h(Y)=\mathbb{E}[X\mid Y]-g(Y) h ( Y ) = E [ X ∣ Y ] − g ( Y ) ,则:E [ ( X − E [ X ∣ Y ] ) h ( Y ) ] = E [ h ( Y ) E [ X − E [ X ∣ Y ] ∣ Y ] ] = E [ h ( Y ) ⋅ 0 ] = 0 \mathbb{E}\bigl[(X-\mathbb{E}[X\mid Y])h(Y)\bigr] = \mathbb{E}\Bigl[h(Y)\,\mathbb{E}\bigl[X-\mathbb{E}[X\mid Y]\bigm| Y\bigr]\Bigr] = \mathbb{E}[h(Y)\cdot 0] = 0 E [ ( X − E [ X ∣ Y ]) h ( Y ) ] = E [ h ( Y ) E [ X − E [ X ∣ Y ] Y ] ] = E [ h ( Y ) ⋅ 0 ] = 0
唯一全局最优结论 :当且仅当 g ( Y ) = E [ X ∣ Y ] g(Y) = \mathbb{E}[X\mid Y] g ( Y ) = E [ X ∣ Y ] 时第二项平方误差为 0 0 0 ,均方误差达到全局最小值!
BLACKBOARD DERIVATION RECONSTRUCTION · 张颢老师黑板推导完整复原
Step ① 加减 E[X|Y] 拆平方与“各个击破”消去交叉项(P80 14:40–P81 07:47)
E [ ( X − E [ X ∣ Y ] ) ( E [ X ∣ Y ] − g ( Y ) ) ] = E Y [ ( E [ X ∣ Y ] − g ( Y ) ) E X [ X − E [ X ∣ Y ] ∣ Y ] ⏟ = E [ X ∣ Y ] − E [ X ∣ Y ] = 0 ] = 0 \mathbb{E}\bigl[(X-\mathbb{E}[X\mid Y])(\mathbb{E}[X\mid Y]-g(Y))\bigr] = \mathbb{E}_Y\Bigl[(\mathbb{E}[X\mid Y]-g(Y))\underbrace{\mathbb{E}_X[X-\mathbb{E}[X\mid Y]\mid Y]}_{=\mathbb{E}[X\mid Y]-\mathbb{E}[X\mid Y]=0}\Bigr] = 0 E [ ( X − E [ X ∣ Y ]) ( E [ X ∣ Y ] − g ( Y )) ] = E Y [ ( E [ X ∣ Y ] − g ( Y )) = E [ X ∣ Y ] − E [ X ∣ Y ] = 0 E X [ X − E [ X ∣ Y ] ∣ Y ] ] = 0 交叉项含三个依赖 Y Y Y 的因子与一个 X X X ,先条件住 Y Y Y 将后半括号作为“假常数”提出,内层恒为 0 0 0 。
Step ② 用条件期望公理双向验证条件概率密度(P81 14:50–P82 06:43)
∫ C E [ 1 { X ≤ x } ∣ Y ] d P = ∫ Y ( C ) ∫ − ∞ x f X , Y ( t , y ) d t d y = ∫ C ( ∫ − ∞ x f X , Y ( t , Y ) f Y ( Y ) d t ) d P \int_C \mathbb{E}[\mathbf{1}_{\{X\le x\}}\mid Y]\,\mathrm{d}\mathbb{P} = \int_{Y(C)}\!\int_{-\infty}^x f_{X,Y}(t,y)\,\mathrm{d}t\mathrm{d}y = \int_C \left(\int_{-\infty}^x \frac{f_{X,Y}(t,Y)}{f_Y(Y)}\,\mathrm{d}t\right)\mathrm{d}\mathbb{P} ∫ C E [ 1 { X ≤ x } ∣ Y ] d P = ∫ Y ( C ) ∫ − ∞ x f X , Y ( t , y ) d t d y = ∫ C ( ∫ − ∞ x f Y ( Y ) f X , Y ( t , Y ) d t ) d P 通过条件期望这座严密桥梁,彻底补齐了第 14 讲形式化条件密度 f X , Y / f Y f_{X,Y}/f_Y f X , Y / f Y 的逻辑地基。
直观交互 · 10
条件数学期望 E[X | 𝒢m ]:从事件划分到 L² 正交投影 m = 0:平凡 σ-代数 {∅, Ω} → E[X | 𝒢₀] ≡ E[X] m = 2:4 块二进划分(粗糙信息) m = 4:16 块二进划分(精细信息逼近 X)
交互提示: 将子 σ-代数 𝒢m 的划分层级 m 从 0(平凡域 {∅, Ω},仅知全局常数均值 E[X])调至 4(16 个二进区间),观察橙色阶梯函数 E[X | 𝒢m ] 如何作为 L² 正交投影逼近原随机变量 X(ω),并核对残差内积是否恒为 0。
全期望公式 E[E[X | 𝒢m ]] 1.1000 = E[X] 无论信息粗细 m 如何变化,重期望恒等于无条件期望
正交性 ⟨X − Ym , Ym ⟩ 0.000000 误差 X − E[X|𝒢] 与子空间 L²(𝒢) 内任意随机变量正交
全方差分解 Var(X) 0.293 + 0.130 = 0.423 Var(E[X|𝒢]) + E[Var(X|𝒢)] = Var(X)(勾股定理)
原随机变量 X(ω)(深蓝)与条件期望投影 Yₘ = E[X | 𝒢ₘ](橙色阶梯) 在每个原子集 Aₖ 上,条件期望取局部积分平均 P(Aₖ)⁻¹ ∫_Aₖ X dP 深度思辨与反例剖析 (CRITICAL INSIGHT & PITFALL)如果把估计子限制为只能取常数值 g ( Y ) ≡ a g(Y) \equiv a g ( Y ) ≡ a ,或者限制为只能取 Y Y Y 的线性函数 g ( Y ) = a + b Y g(Y) = a + bY g ( Y ) = a + bY ,正交投影图解会给出什么结果?
常数集合 R \mathbb{R} R 与线性函数集合 { a + b Y } \{a+bY\} { a + bY } 都是 L 2 ( σ ( Y ) ) L^2(\sigma(Y)) L 2 ( σ ( Y )) 内部更小的线性子空间(满足 R ⊂ { a + b Y } ⊂ L 2 ( σ ( Y ) ) ⊂ L 2 ( Ω ) \mathbb{R} \subset \{a+bY\} \subset L^2(\sigma(Y)) \subset L^2(\Omega) R ⊂ { a + bY } ⊂ L 2 ( σ ( Y )) ⊂ L 2 ( Ω ) ):
在常数子空间 R \mathbb{R} R 上的正交投影就是无条件均值 E [ X ] \mathbb{E}[X] E [ X ] (且若在勾股定理中取 g ( Y ) = E [ X ] g(Y) = \mathbb{E}[X] g ( Y ) = E [ X ] ,立得全方差公式 Var ( X ) = E [ Var ( X ∣ Y ) ] + Var ( E [ X ∣ Y ] ) \operatorname{Var}(X) = \mathbb{E}[\operatorname{Var}(X\mid Y)] + \operatorname{Var}(\mathbb{E}[X\mid Y]) Var ( X ) = E [ Var ( X ∣ Y )] + Var ( E [ X ∣ Y ]) );
在线性子空间 { a + b Y } \{a+bY\} { a + bY } 上的正交投影就是最佳线性最小均方估计(LLSE / 线性回归直线) X ^ L = E [ X ] + Cov ( X , Y ) Var ( Y ) ( Y − E [ Y ] ) \hat{X}_{\text{L}} = \mathbb{E}[X] + \frac{\operatorname{Cov}(X,Y)}{\operatorname{Var}(Y)}(Y-\mathbb{E}[Y]) X ^ L = E [ X ] + Var ( Y ) Cov ( X , Y ) ( Y − E [ Y ]) ;
在全体可测函数子空间 L 2 ( σ ( Y ) ) L^2(\sigma(Y)) L 2 ( σ ( Y )) 上的全局最优投影则是条件数学期望 E [ X ∣ Y ] \mathbb{E}[X\mid Y] E [ X ∣ Y ] !当 ( X , Y ) (X,Y) ( X , Y ) 服从二元联合高斯分布时,全局最优非线性投影 E [ X ∣ Y ] \mathbb{E}[X\mid Y] E [ X ∣ Y ] 恰好退化为线性投影 X ^ L \hat{X}_{\text{L}} X ^ L 。
本节方法论沉淀 · KEY TAKEAWAYS 条件期望的几何定义 :E [ X ∣ Y ] \mathbb{E}[X\mid Y] E [ X ∣ Y ] 是 L 2 L^2 L 2 空间中唯一最小化均方误差 E [ ( X − g ( Y ) ) 2 ] \mathbb{E}[(X-g(Y))^2] E [( X − g ( Y ) ) 2 ] 的正交投影。
消交叉项的标准手法 :凡遇 E [ ( X − E [ X ∣ Y ] ) h ( Y ) ] \mathbb{E}[(X-\mathbb{E}[X\mid Y])h(Y)] E [( X − E [ X ∣ Y ]) h ( Y )] ,先对 Y Y Y 取条件期望并把 h ( Y ) h(Y) h ( Y ) 提出,内层必归零。
标记本节已精读 3. “各个击破”与“走一步看”实战:Wald 恒等式、独立和卷积公式与几何分布的独立性陷阱 条件期望在实战中的最高哲学浓缩为四个字——“各个击破”。张颢老师通过三道压轴大题:随机个随机变量求和(Wald 恒等式)、用示性函数条件期望重证独立和卷积公式,以及几何分布首次命中枪数 E[N]=1/p 的“独立性误用大坑 vs 走一步看正解”,为整门《概率论》画上了圆满句号。
3.1 条件期望的实战哲学:“各个击破”(▶ P82 10:20–16:50 )
在 ▶ P82 10:54 ,张颢老师将条件期望应对多随机变量与《随机过程》问题的核心战法总结为四个字——“各个击破” :当两个或更多随机因素同时搅在一起时,先条件住其中一部分 (使其随机性暂时冻结),集中火力把另一部分随机性消灭殆尽,回过头来再收拾被条件住的那一部分!
实战例题 ①:随机个随机变量的和(Wald 恒等式,▶ P82 11:23–16:50 )
问题 :设 X 1 , X 2 , … X_1, X_2, \dots X 1 , X 2 , … 独立同分布,而求和项数 N N N 本身也是一个正整数随机变量,且 N N N 与诸 X k X_k X k 相互独立 。求随机和 S N = ∑ k = 1 N X k S_N = \sum_{k=1}^N X_k S N = ∑ k = 1 N X k 的数学期望 E [ S N ] \mathbb{E}[S_N] E [ S N ] 。
为什么不能直接写 E [ S N ] = N E [ X 1 ] \mathbb{E}[S_N] = N\,\mathbb{E}[X_1] E [ S N ] = N E [ X 1 ] ?(▶ P82 12:54 )
张颢老师严厉指出:左端 E [ S N ] \mathbb{E}[S_N] E [ S N ] 是求过无条件期望的确定常数 ,而 N N N 是随机变量 ,如果把 N N N 直接摆在外面,就犯了“确定量等于随机量”的低级概念错误!
“各个击破”标准推演(▶ P82 14:09–16:50 ) :
既然当项数 N N N 固定时求和期望是现成的,我们自然选择先条件住 N N N (套全期望公式):
E [ S N ] = E [ ∑ k = 1 N X k ] = E N [ E X [ ∑ k = 1 N X k ∣ N ] ] \mathbb{E}[S_N] = \mathbb{E}\!\left[\sum_{k=1}^N X_k\right] = \mathbb{E}_N\!\left[\mathbb{E}_X\!\left[\sum_{k=1}^N X_k \,\Big|\, N\right]\right] E [ S N ] = E [ k = 1 ∑ N X k ] = E N [ E X [ k = 1 ∑ N X k N ] ]
在内层条件期望中,N N N 已被冻结为“假常数”,且由于 N N N 与 X k X_k X k 相互独立,诸 X k X_k X k 的条件期望就等于无条件期望 E [ X 1 ] \mathbb{E}[X_1] E [ X 1 ] ,共有 N N N 项相加:
E X [ ∑ k = 1 N X k ∣ N ] = N E [ X 1 ] \mathbb{E}_X\!\left[\sum_{k=1}^N X_k \,\Big|\, N\right] = N\,\mathbb{E}[X_1] E X [ k = 1 ∑ N X k N ] = N E [ X 1 ]
此时 X X X 的随机性已被徹底消灭,化为一个确定常数因子 E [ X 1 ] \mathbb{E}[X_1] E [ X 1 ] !再算外层关于 N N N 的期望,将常数 E [ X 1 ] \mathbb{E}[X_1] E [ X 1 ] 提出,一步证毕:
E [ S N ] = E N [ N E [ X 1 ] ] = E [ N ] E [ X 1 ] \mathbb{E}[S_N] = \mathbb{E}_N\bigl[N\,\mathbb{E}[X_1]\bigr] = \mathbb{E}[N]\,\mathbb{E}[X_1] E [ S N ] = E N [ N E [ X 1 ] ] = E [ N ] E [ X 1 ]
3.2 实战例题 ②:用示性函数条件期望优雅导出独立和分布与卷积公式(▶ P82 16:50–P83 04:04 )
问题 :设 X X X 与 Y Y Y 相互独立,密度分别为 f X ( x ) , f Y ( y ) f_X(x),\,f_Y(y) f X ( x ) , f Y ( y ) ,令 Z = X + Y Z = X + Y Z = X + Y 。不用特征函数,如何直接用条件期望导出 Z Z Z 的分布函数 F Z ( t ) F_Z(t) F Z ( t ) 与卷积密度 f Z ( t ) f_Z(t) f Z ( t ) ?
黑板分步推演(▶ P82 18:15–P83 04:04 ) :
将分布函数化为示性函数期望,再套全期望公式条件住 Y Y Y (▶ P82 19:12–P83 00:40 ) :
F Z ( t ) = P ( X + Y ≤ t ) = E [ 1 { X + Y ≤ t } ] = E Y [ E X [ 1 { X ≤ t − Y } ∣ Y ] ] F_Z(t) = \mathbb{P}(X + Y \le t) = \mathbb{E}\bigl[\mathbf{1}_{\{X+Y\le t\}}\bigr] = \mathbb{E}_Y\Bigl[\mathbb{E}_X\bigl[\mathbf{1}_{\{X \le t - Y\}} \,\big|\, Y\bigr]\Bigr] F Z ( t ) = P ( X + Y ≤ t ) = E [ 1 { X + Y ≤ t } ] = E Y [ E X [ 1 { X ≤ t − Y } Y ] ]
冻结 Y Y Y 击破内层 X X X (▶ P83 00:40–02:40 ) :
在内层条件期望中,Y Y Y 被冻结为常数 y y y ,且因 X ⊥ ⊥ Y X \perp\!\!\!\perp Y X ⊥ ⊥ Y ,对示性函数 1 { X ≤ t − y } \mathbf{1}_{\{X \le t-y\}} 1 { X ≤ t − y } 求关于 X X X 的期望直接就是 X X X 的分布函数在 t − Y t-Y t − Y 处的取值:
E X [ 1 { X ≤ t − Y } ∣ Y ] = F X ( t − Y ) \mathbb{E}_X\bigl[\mathbf{1}_{\{X \le t - Y\}} \,\big|\, Y\bigr] = F_X(t - Y) E X [ 1 { X ≤ t − Y } Y ] = F X ( t − Y )
展开外层关于 Y Y Y 的期望并对 t t t 求导得卷积(▶ P83 02:40–04:04 ) :
F Z ( t ) = E Y [ F X ( t − Y ) ] = ∫ − ∞ + ∞ F X ( t − y ) f Y ( y ) d y → d d t f Z ( t ) = ∫ − ∞ + ∞ f X ( t − y ) f Y ( y ) d y F_Z(t) = \mathbb{E}_Y\bigl[F_X(t - Y)\bigr] = \int_{-\infty}^{+\infty} F_X(t - y)\,f_Y(y)\,\mathrm{d}y \quad\xrightarrow{\frac{\mathrm{d}}{\mathrm{d}t}}\quad f_Z(t) = \int_{-\infty}^{+\infty} f_X(t - y)\,f_Y(y)\,\mathrm{d}y F Z ( t ) = E Y [ F X ( t − Y ) ] = ∫ − ∞ + ∞ F X ( t − y ) f Y ( y ) d y d t d f Z ( t ) = ∫ − ∞ + ∞ f X ( t − y ) f Y ( y ) d y
3.3 压轴名局:几何分布首次命中枪数 E [ N ] = 1 / p \mathbb{E}[N]=1/p E [ N ] = 1/ p ——“过程错误、结果正确”的大坑与“走一步看”正解(▶ P83 04:16–19:11 )
在全课程的最后 15 分钟,张颢老师设计了一个令全场拍案叫绝的教学现场:求独立重复射击(单发命中率为 p p p )首次命中所需的枪数 N ∼ Geom ( p ) N \sim \operatorname{Geom}(p) N ∼ Geom ( p ) 的数学期望 E [ N ] \mathbb{E}[N] E [ N ] 。
黑板故意埋下的“大坑”——貌似有板有眼、实则暗藏致命错误(▶ P83 04:16–09:53 ) :
记第 k k k 枪命中的枪数为 X k ∈ { 0 , 1 } X_k \in \{0, 1\} X k ∈ { 0 , 1 } (服从 Bern ( p ) \operatorname{Bern}(p) Bern ( p ) ,E [ X k ] = p \mathbb{E}[X_k]=p E [ X k ] = p )。前 N N N 枪总共命中的枪数为 S N = X 1 + X 2 + ⋯ + X N S_N = X_1 + X_2 + \cdots + X_N S N = X 1 + X 2 + ⋯ + X N 。
有人立刻套用刚才例题 ① 的公式:E [ S N ] = E [ N ] E [ X 1 ] = p E [ N ] \mathbb{E}[S_N] = \mathbb{E}[N]\,\mathbb{E}[X_1] = p\,\mathbb{E}[N] E [ S N ] = E [ N ] E [ X 1 ] = p E [ N ] ;
又因为 N N N 是首次命中 的枪数,所以打完第 N N N 枪时总共恰好打中了 1 1 1 枪,即 S N ≡ 1 S_N \equiv 1 S N ≡ 1 (确定值)!
于是 p E [ N ] = E [ S N ] = 1 ⟹ E [ N ] = 1 p p\,\mathbb{E}[N] = \mathbb{E}[S_N] = 1 \implies \mathbb{E}[N] = \frac{1}{p} p E [ N ] = E [ S N ] = 1 ⟹ E [ N ] = p 1 !
结果虽然完全正确,但张颢老师当场喝止(▶ P83 06:35–09:53 ):
“如有雷同,纯属偶然!这是典型的【过程错误、结果正确】!这儿有一个大大的坑——例题 ① 成立的前提是项数 N N N 与 X k X_k X k 相互独立!而在首次命中问题里,N N N 与 X k X_k X k 怎么可能独立呢?一旦已知 { N = k } \{N = k\} { N = k } ,就唯一确定了 X 1 = 0 , X 2 = 0 , … , X k − 1 = 0 , X k = 1 X_1=0, X_2=0, \dots, X_{k-1}=0, X_k=1 X 1 = 0 , X 2 = 0 , … , X k − 1 = 0 , X k = 1 !给定 N N N 后 X k X_k X k 的条件分布早就彻底改变了,绝不能套用 E [ X k ∣ N ] = E [ X k ] \mathbb{E}[X_k\mid N] = \mathbb{E}[X_k] E [ X k ∣ N ] = E [ X k ] !”
无懈可击的正解:“走一步看(First-Step Analysis)”条件住第一枪 X 1 X_1 X 1 (▶ P83 10:19–17:52 ) :
既然条件住 N N N 有坑,我们反过来——效仿早期研究赌徒输光问题的策略,“走一步看”,只条件住第一枪的结果 X 1 ∈ { 1 , 0 } X_1 \in \{1, 0\} X 1 ∈ { 1 , 0 } (▶ P83 10:51–13:08 ):
E [ N ] = E [ E [ N ∣ X 1 ] ] = P ( X 1 = 1 ) E [ N ∣ X 1 = 1 ] + P ( X 1 = 0 ) E [ N ∣ X 1 = 0 ] \mathbb{E}[N] = \mathbb{E}\bigl[\mathbb{E}[N \mid X_1]\bigr] = \mathbb{P}(X_1 = 1)\,\mathbb{E}[N \mid X_1 = 1] + \mathbb{P}(X_1 = 0)\,\mathbb{E}[N \mid X_1 = 0] E [ N ] = E [ E [ N ∣ X 1 ] ] = P ( X 1 = 1 ) E [ N ∣ X 1 = 1 ] + P ( X 1 = 0 ) E [ N ∣ X 1 = 0 ]
若第一枪就打中(X 1 = 1 X_1 = 1 X 1 = 1 ,概率为 p p p ,▶ P83 13:08 ) :试验当场结束,总枪数确定为 N = 1 N = 1 N = 1 ,故 E [ N ∣ X 1 = 1 ] = 1 \mathbb{E}[N \mid X_1 = 1] = 1 E [ N ∣ X 1 = 1 ] = 1 ;
若第一枪没打中(X 1 = 0 X_1 = 0 X 1 = 0 ,概率为 1 − p 1-p 1 − p ,▶ P83 13:58–15:51 ) :第一枪已经耗费了 1 1 1 发子弹(“白打了一枪”),而由于各枪之间相互独立,从第二枪开始往后还要再打多少枪,相当于彻底翻篇、重新迎来一个一模一样的几何分布 (这正是离散几何分布的无记忆性 ,▶ P83 14:54 & 16:52)!因此:
E [ N ∣ X 1 = 0 ] = 1 + E [ N ] \mathbb{E}[N \mid X_1 = 0] = 1 + \mathbb{E}[N] E [ N ∣ X 1 = 0 ] = 1 + E [ N ]
一行代数解出期望(▶ P83 15:51 ) :
E [ N ] = p ⋅ 1 + ( 1 − p ) ( 1 + E [ N ] ) = 1 + ( 1 − p ) E [ N ] ⟹ p E [ N ] = 1 ⟹ E [ N ] = 1 p \mathbb{E}[N] = p \cdot 1 + (1 - p)\bigl(1 + \mathbb{E}[N]\bigr) = 1 + (1 - p)\mathbb{E}[N] \quad\Longrightarrow\quad p\,\mathbb{E}[N] = 1 \quad\Longrightarrow\quad \mathbb{E}[N] = \frac{1}{p} E [ N ] = p ⋅ 1 + ( 1 − p ) ( 1 + E [ N ] ) = 1 + ( 1 − p ) E [ N ] ⟹ p E [ N ] = 1 ⟹ E [ N ] = p 1
BLACKBOARD DERIVATION RECONSTRUCTION · 张颢老师黑板推导完整复原
实战 ① 随机和 Wald 恒等式(当 N 与 Xk 独立时条件住 N,P82 11:23–16:50)
E [ ∑ k = 1 N X k ] = E N [ E X [ ∑ k = 1 N X k ∣ N ] ] = E N [ N E [ X 1 ] ] = E [ N ] E [ X 1 ] \mathbb{E}\!\left[\sum_{k=1}^N X_k\right] = \mathbb{E}_N\!\left[\mathbb{E}_X\!\left[\sum_{k=1}^N X_k \,\Big|\, N\right]\right] = \mathbb{E}_N\bigl[N\,\mathbb{E}[X_1]\bigr] = \mathbb{E}[N]\,\mathbb{E}[X_1] E [ k = 1 ∑ N X k ] = E N [ E X [ k = 1 ∑ N X k N ] ] = E N [ N E [ X 1 ] ] = E [ N ] E [ X 1 ] 切忌直接写 E [ S N ] = N E [ X 1 ] \mathbb{E}[S_N]=N\mathbb{E}[X_1] E [ S N ] = N E [ X 1 ] (混淆常数与随机变量),也切忌在 N N N 与 X k X_k X k 不独立时乱套此式!
实战 ② 示性函数条件期望导出独立和分布与卷积(P82 16:50–P83 04:04)
F Z ( t ) = E Y [ E X [ 1 { X ≤ t − Y } ∣ Y ] ] = E Y [ F X ( t − Y ) ] = ∫ − ∞ ∞ F X ( t − y ) f Y ( y ) d y → d / d t f Z = f X ∗ f Y F_Z(t) = \mathbb{E}_Y\Bigl[\mathbb{E}_X\bigl[\mathbf{1}_{\{X\le t-Y\}}\mid Y\bigr]\Bigr] = \mathbb{E}_Y\bigl[F_X(t-Y)\bigr] = \int_{-\infty}^\infty F_X(t-y)f_Y(y)\,\mathrm{d}y \xrightarrow{\mathrm{d}/\mathrm{d}t} f_Z = f_X * f_Y F Z ( t ) = E Y [ E X [ 1 { X ≤ t − Y } ∣ Y ] ] = E Y [ F X ( t − Y ) ] = ∫ − ∞ ∞ F X ( t − y ) f Y ( y ) d y d / d t f Z = f X ∗ f Y 利用 P ( A ) = E [ 1 A ] \mathbb{P}(A)=\mathbb{E}[\mathbf{1}_A] P ( A ) = E [ 1 A ] 与全期望公式,把二元区域积分拆解为先固定 Y Y Y 算 F X ( t − Y ) F_X(t-Y) F X ( t − Y ) 。
实战 ③ 几何分布“走一步看”条件住第一枪 X₁ 与无记忆性再生(P83 10:19–17:21)
E [ N ] = P ( X 1 = 1 ) E [ N ∣ X 1 = 1 ] + P ( X 1 = 0 ) E [ N ∣ X 1 = 0 ] = p ⋅ 1 + ( 1 − p ) ( 1 + E [ N ] ) ⟹ E [ N ] = 1 p \mathbb{E}[N] = \mathbb{P}(X_1=1)\mathbb{E}[N\mid X_1=1] + \mathbb{P}(X_1=0)\mathbb{E}[N\mid X_1=0] = p\cdot 1 + (1-p)(1+\mathbb{E}[N]) \implies \mathbb{E}[N] = \frac{1}{p} E [ N ] = P ( X 1 = 1 ) E [ N ∣ X 1 = 1 ] + P ( X 1 = 0 ) E [ N ∣ X 1 = 0 ] = p ⋅ 1 + ( 1 − p ) ( 1 + E [ N ]) ⟹ E [ N ] = p 1 第一枪未中(X 1 = 0 X_1=0 X 1 = 0 )时耗时 + 1 +1 + 1 且后续过程无记忆再生,避开了 N N N 与 X k X_k X k 强相关的陷阱。
深度思辨与反例剖析 (CRITICAL INSIGHT & PITFALL)为什么在几何分布首次命中问题中,尽管 N N N 与 X k X_k X k 强烈相关(不能用 E [ X k ∣ N ] = E [ X k ] \mathbb{E}[X_k\mid N]=\mathbb{E}[X_k] E [ X k ∣ N ] = E [ X k ] ),错误推导算出的 1 = E [ S N ] = E [ N ] E [ X 1 ] 1 = \mathbb{E}[S_N] = \mathbb{E}[N]\mathbb{E}[X_1] 1 = E [ S N ] = E [ N ] E [ X 1 ] 却偏偏得到了正确结果 E [ N ] = 1 / p \mathbb{E}[N]=1/p E [ N ] = 1/ p ?(▶ P83 06:35–09:53 )
正如张颢老师所言,在固定总枪数 { N = k } \{N=k\} { N = k } 的条件下,E [ X i ∣ N = k ] \mathbb{E}[X_i\mid N=k] E [ X i ∣ N = k ] 在 i < k i<k i < k 时为 0 0 0 、在 i = k i=k i = k 时为 1 1 1 ,根本不等于 p p p !之所以最终答案巧合相等,是因为首次命中时刻 N = inf { n ≥ 1 : X n = 1 } N = \inf\{n\ge 1: X_n=1\} N = inf { n ≥ 1 : X n = 1 } 在高等概率论(鞅论)中是一个合法的停时(Stopping Time) :虽然“知道 N = k N=k N = k ”会剧烈改变过去每一枪的后验分布,但事件 { N ≥ k } = { X 1 = 0 , … , X k − 1 = 0 } \{N \ge k\} = \{X_1=0,\dots,X_{k-1}=0\} { N ≥ k } = { X 1 = 0 , … , X k − 1 = 0 } 只依赖于前 k − 1 k-1 k − 1 枪的历史,与当下第 k k k 枪 X k X_k X k 相互独立 !将求和改写为无穷级数 ∑ k = 1 ∞ X k 1 { N ≥ k } \sum_{k=1}^\infty X_k \mathbf{1}_{\{N\ge k\}} ∑ k = 1 ∞ X k 1 { N ≥ k } 后利用 1 { N ≥ k } ⊥ ⊥ X k \mathbf{1}_{\{N\ge k\}} \perp\!\!\!\perp X_k 1 { N ≥ k } ⊥ ⊥ X k ,才能严格证明停时版的 Wald 恒等式 。而在初等阶段,如果不加证明地把 E [ ∑ k = 1 N X k ∣ N ] \mathbb{E}[\sum_{k=1}^N X_k\mid N] E [ ∑ k = 1 N X k ∣ N ] 当成 N E [ X 1 ] N\mathbb{E}[X_1] N E [ X 1 ] ,一旦把 N N N 换成非停时(比如“最后一次命中的枪数”),公式就会立刻算出完全错误的答案!
本节方法论沉淀 · KEY TAKEAWAYS “各个击破”四字真言 :多随机源耦合时,选准条件变量将其暂时冻结,先消灭内层随机性,再求外层期望。
“走一步看(First-Step Analysis)” :面对带有无记忆性或马尔可夫再生性的多步过程,条件住第一步试验结果 X 1 X_1 X 1 建立关于 E [ N ] \mathbb{E}[N] E [ N ] 的代数方程,是通往《随机过程》的核心桥梁。
标记本节已精读 CONCEPTUAL & COUNTEREXAMPLE CHECKS · 第 15 讲随堂思辨与易错反例自测
检验你是否真正掌握了“条件期望是随机变量”、“Kolmogorov 局部积分恒等式”与“L² 正交投影” 先独立判断,再展开详细数学解析。每道题均紧扣张颢老师在本讲(P78–P83)课堂上的追问与经典反例。
本讲核心概念、黑板记号与中英术语对照 (6 项) 生成子 σ-域 Generated Sub-σ-Algebra σ(Y) 由随机变量 Y Y Y 生成的样本空间子集族 σ ( Y ) = { A ∈ Σ : Y ( A ) ∈ B ( R ) } \sigma(Y)=\{A\in\Sigma: Y(A)\in\mathcal{B}(\mathbb{R})\} σ ( Y ) = { A ∈ Σ : Y ( A ) ∈ B ( R )} ,刻画仅凭观测变量 Y Y Y 能够判断发生与否并计算概率的全部事件信息。
条件数学期望 Conditional Expectation E[X|Y] 满足关于 σ ( Y ) \sigma(Y) σ ( Y ) 可测(即依赖于 Y Y Y 的随机变量)且在任意测试集 C ∈ σ ( Y ) C\in\sigma(Y) C ∈ σ ( Y ) 上保持局部积分守恒 ∫ C E [ X ∣ Y ] d P = ∫ C X d P \int_C \mathbb{E}[X\mid Y]\mathrm{d}\mathbb{P}=\int_C X\mathrm{d}\mathbb{P} ∫ C E [ X ∣ Y ] d P = ∫ C X d P 的随机变量。
全期望公式 Law of Total Expectation / Tower Property 条件期望再取无条件期望等于原随机变量的无条件期望:E [ E [ X ∣ Y ] ] = E [ X ] \mathbb{E}[\mathbb{E}[X\mid Y]]=\mathbb{E}[X] E [ E [ X ∣ Y ]] = E [ X ] ,本质上是全概率公式在数学期望层面的体现。
已知因子提出律 Pulling Out Known Factors 在给定 Y Y Y 的条件下,关于 Y Y Y 的函数 h ( Y ) h(Y) h ( Y ) 随机性暂时凝固为“假常数”,可提到条件期望算子外:E [ h ( Y ) X ∣ Y ] = h ( Y ) E [ X ∣ Y ] \mathbb{E}[h(Y)X\mid Y]=h(Y)\mathbb{E}[X\mid Y] E [ h ( Y ) X ∣ Y ] = h ( Y ) E [ X ∣ Y ] 。
L² 正交投影 L² Orthogonal Projection 在二阶矩有限的希尔伯特空间 L 2 ( Ω , F , P ) L^2(\Omega,\mathcal{F},\mathbb{P}) L 2 ( Ω , F , P ) 中,条件期望 E [ X ∣ Y ] \mathbb{E}[X\mid Y] E [ X ∣ Y ] 是目标矢量 X X X 在观测子空间 L 2 ( σ ( Y ) ) L^2(\sigma(Y)) L 2 ( σ ( Y )) 上的垂足,唯一最小化均方误差 E [ ( X − g ( Y ) ) 2 ] \mathbb{E}[(X-g(Y))^2] E [( X − g ( Y ) ) 2 ] 。
走一步看 First-Step Analysis 以多步随机试验的第一步结果 X 1 X_1 X 1 为条件应用全期望公式,结合过程的无记忆性或再生性建立代数方程求解期望的经典方法。
← 上一讲 (第 14 讲) 随机收敛四模式与条件密度:a.s. / P / L 2 L^2 L 2 / d 强弱图谱、打字机乌云反例与切片条件分布 完成全部 16 讲 → 返回全 16 讲总览