第 14 讲 · 随机收敛四模式与条件密度：a.s. / P / $L^2$ / d 强弱图谱、打字机乌云反例与切片条件分布

1.1 为什么随机变量会有四种收敛？——看 $\lim_{n\to\infty}$ 落在哪一层！（▶ P73 04:30–19:52）

在 ▶ P73 05:34 开篇，张颢老师再次唤醒了贯穿全课的灵魂定义：随机变量 $X_n(\omega)$ 是定义在样本空间 $\Omega$ 上、不带任何随机性的确定性实值函数（▶ P73 11:43）。既然是函数序列，其收敛品种自然丰富多彩。为了看清概率论中最核心的四种收敛模式及其对应极限定理，张颢老师在黑板上刻意把自变量 $\omega$ 完整写出来（▶ P73 06:20–15:24）：

收敛模式	数学记号与严格定义	对应极限定理	$\lim_{n\to\infty}$ 作用的对象层级（▶ P73 16:45–19:52）
① 几乎必然/几乎处处收敛（Almost Surely, a.s.）	$X_n\xrightarrow{\text{a.s.}}X \iff \mathbb{P}\bigl(\{\omega\in\Omega: \lim_{n\to\infty}X_n(\omega)=X(\omega)\}\bigr)=1$	强大数定律（SLLN）	第 1 层（最本质）：$\lim$ 直接作用在随机变量函数取值 $X_n(\omega)$ 自身上（仅忽略零概率例外点集）
② 依概率收敛（In Probability, $P$）	$X_n\xrightarrow{P}X \iff \forall\varepsilon>0,\; \lim_{n\to\infty}\mathbb{P}\bigl(\{\omega: |X_n(\omega)-X(\omega)|\ge\varepsilon\}\bigr)=0$	弱大数定律（WLLN）	第 2 层（导出概率）：$\lim$ 退居到外层的事件概率 $\mathbb{P}(\cdot)$ 上，刻画偏差事件的整体测度
③ 均方收敛（In Mean Square, $L^2$）	$X_n\xrightarrow{L^2}X \iff \lim_{n\to\infty}\mathbb{E}\bigl[|X_n(\omega)-X(\omega)|^2\bigr]=0$	二阶矩过程/滤波估计	第 3 层（导出数字特征）：$\lim$ 作用在更粗糙的数学期望/二阶矩 $\mathbb{E}[\cdot]$ 上
④ 依分布收敛（In Distribution, $d$）	$X_n\xrightarrow{d}X \iff$ 在 $F_X(x)$ 的一切连续点 $x$ 上，$\lim_{n\to\infty}F_{X_n}(x)=F_X(x)$	中心极限定理（CLT）	第 4 层（最外层马甲）：$\lim$ 仅作用在分布函数 $F_{X_n}(x)$ 上（甚至不要求 $X_n,X$ 同概率空间，如 $X_n=-X$）

• 为什么概率论用“几乎处处收敛”取代微积分的“逐点收敛”？（▶ P73 07:45–10:49） 微积分中的逐点收敛要求在定义域 $\Omega$ 的每一个点 $\omega$ 上都收敛；但概率论认为零概率事件与不存在没有本质区别（▶ P73 09:12），因此只需收敛点集在 $\Omega$ 中占到概率 $1$（允许存在一个概率为 $0$ 的例外集），这就是“几乎处处收敛（a.s.）”。

---

1.2 黑板硬核推演：逻辑语言转集合语言与嵌套尾集证明 $\text{a.s.} \implies P$（▶ P74 09:02–P75 04:59）

如何用严密的数学逻辑证明“几乎处处收敛必能导出依概率收敛”？张颢老师在黑板上展示了一堂堪称典范的测度论分析课：

1. 取补集转向“不收敛点集”（▶ P74 09:37–12:01）： $\mathbb{P}(\lim_{n\to\infty}X_n(\omega)=X(\omega))=1$ 等价于不收敛样本点集的概率等于 $0$：$\mathbb{P}(\{\omega: X_n(\omega)\not\to X(\omega)\})=0$。 什么叫在某个点 $\omega$ 上不收敛？把微积分极限定义“$\forall\varepsilon>0,\;\exists N,\;\forall n>N,\;|X_n(\omega)-X(\omega)|<\varepsilon$”的所有量词全部反转（▶ P74 10:58）： $$X_n(\omega)\not\to X(\omega) \iff \mathbf{\exists}\,\varepsilon > 0,\quad \mathbf{\forall}\,N\ge 1,\quad \mathbf{\exists}\,n > N,\quad \text{使得 } |X_n(\omega) - X(\omega)| \ge \varepsilon$$

2. 神来之笔：将逻辑量词翻译为集合运算（▶ P74 12:25–15:22）： 逻辑描述无法直接算概率，必须翻译成集合语言！张颢老师给出黄金翻译法则（▶ P74 13:30）：逻辑上的“存在（$\exists$）”对应集合的“并集（$\bigcup$）”，逻辑上的“任取（$\forall$）”对应集合的“交集（$\bigcap$）”！于是： $$\mathbb{P}\bigl(\{\omega: X_n(\omega)\not\to X(\omega)\}\bigr) = \mathbb{P}\!\left(\bigcup_{\varepsilon > 0}\bigcap_{N=1}^\infty \bigcup_{n > N} \bigl\{\omega: |X_n(\omega)-X(\omega)|\ge\varepsilon\bigr\}\right) = 0$$

3. 逐层剥茧：消去第一重并集 $\bigcup_{\varepsilon>0}$ 与第二重嵌套交集 $\bigcap_{N=1}^\infty$（▶ P74 15:22–P75 03:35）：

   • 消去 $\bigcup_{\varepsilon>0}$（▶ P74 15:22–17:12）：若干个集合并集的概率为 $0$，则其中任意单个集合的概率必为 $0$！故对任意固定的 $\varepsilon > 0$，恒有： $$\mathbb{P}\!\left(\bigcap_{N=1}^\infty B_N\right) = 0, \qquad \text{其中定义尾部并集 } B_N := \bigcup_{n > N}\bigl\{\omega: |X_n(\omega)-X(\omega)|\ge\varepsilon\bigr\}$$
   • 构造单调递减嵌套序列 $B_N$ 并把交集化为极限（▶ P74 17:12–P75 02:22）： 仔细观察 $B_N$（从 $N+1$ 往后所有犯错事件的并）与 $B_{N+1}$（从 $N+2$ 往后所有犯错事件的并）：$B_N$ 参与并集的集合个数恰好比 $B_{N+1}$ 多一个第 $N+1$ 项！因此它们是一列一重一重向内收缩的单调递减嵌套集合： $$B_1 \supset B_2 \supset \cdots \supset B_N \supset B_{N+1} \supset \cdots \quad\Longrightarrow\quad \bigcap_{N=1}^\infty B_N = \lim_{N\to\infty} B_N$$ 由概率测度的连续性，可把极限符号从概率号内部直接提出来（▶ P75 01:22）： $$0 = \mathbb{P}\!\left(\lim_{N\to\infty} B_N\right) = \lim_{N\to\infty} \mathbb{P}(B_N) = \lim_{N\to\infty} \mathbb{P}\!\left(\bigcup_{n > N}\{|X_n - X|\ge\varepsilon\}\right)$$
   • 导出依概率收敛（▶ P75 02:22–03:35）： 既然从 $N+1$ 往后无穷多个集合并起来的概率 $\mathbb{P}(B_N)$ 都趋于 $0$，那么单看其中某一项 $\{|X_n - X|\ge\varepsilon\} \subset B_N$（取 $n=N+1$），其概率自然更趋于 $0$： $$0 \le \lim_{n\to\infty}\mathbb{P}\bigl(|X_n - X|\ge\varepsilon\bigr) \le \lim_{N\to\infty}\mathbb{P}\!\left(\bigcup_{n > N}\{|X_n - X|\ge\varepsilon\}\right) = 0 \quad\Longrightarrow\quad X_n \xrightarrow{P} X$$

4. 张颢老师的绝妙微积分级数类比（▶ P75 03:35–04:59）： 为什么几乎处处收敛比依概率收敛强得多？

   “这就好比微积分里的级数收敛！依概率收敛只要求单步犯错概率 $\mathbb{P}(|X_n-X|\ge\varepsilon)\to 0$，相当于只要求【级数通项趋于 0】；而几乎处处收敛要求 $\mathbb{P}(\bigcup_{n>N}\{|X_n-X|\ge\varepsilon\})\to 0$，相当于要求 $N$ 往后的【整条大尾巴并集趋于 0】（如同级数余项趋于 0）！通项趋于 0 未必能保证整条大尾巴趋于 0，但大尾巴趋于 0 一定蕴含通项趋于 0！”

2.1 反例 ①：滑块/打字机“乌云”序列（$P, L^2 \not\implies \text{a.s.}$，▶ P74 04:32–08:37 & ▶ P75 15:41）

为了让大家直观看清为什么依概率收敛比几乎处处收敛弱得多，张颢老师在 ▶ P74 04:32 构造了著名的滑动乌云序列（Typewriter Sequence）：

• 取样本空间 $\Omega = [0, 1]$，赋予均匀概率测度（区间长度即为概率）。构造一列非零支集如滑块般在 $[0,1]$ 上循环横扫、且宽度逐轮减半的随机变量 $X_n(\omega) = \mathbf{1}_{I_n}(\omega)$（▶ P74 05:05–06:38）：
  • 第 1 轮（宽 $1/2$，共 2 项）：$X_1$ 在 $[0, 1/2]$ 上非零，$X_2$ 在 $[1/2, 1]$ 上非零；
  • 第 2 轮（宽 $1/4$，共 4 项）：$X_3, X_4, X_5, X_6$ 依次在 $[0, 1/4],\,[1/4, 1/2],\,[1/2, 3/4],\,[3/4, 1]$ 上非零；
  • 第 $m$ 轮（宽 $2^{-m}$，共 $2^m$ 项）：滑块宽度缩减为 $2^{-m}$，继续从左到右把 $[0,1]$ 完整横扫一遍！
• 为什么依概率收敛且均方收敛于 $0$？（▶ P74 06:12–07:25） 因为在均匀分布下，$X_n$ 不等于 $0$ 的概率直接就是滑块的宽度 $|I_n|$！随着 $n\to\infty$，滑块宽度 $|I_n| \to 0$，故 $\mathbb{P}(|X_n - 0|\ge\varepsilon) = |I_n| \to 0$（即 $X_n \xrightarrow{P} 0$），同时 $\mathbb{E}[X_n^2] = |I_n| \to 0$（即 $X_n \xrightarrow{L^2} 0$）。
• 为什么在 $[0,1]$ 的【每一个点 $\omega$】上都不收敛？（▶ P74 07:25–08:37） 张颢老师打了一个极其生动的比方（▶ P74 08:01）：

  “把那个非零滑块想象成一片在 $[0,1]$ 上空往复飘移的乌云。虽然这片乌云越来越小（确保了任一时刻被乌云遮住的概率趋于 0），但由于它周而复始地横扫整个 $[0,1]$，站在地面上任何一个位置 $\omega$ 的人，终究会有被乌云再次划过头顶的那一天！只要乌云每次划过你头顶，$X_n(\omega)$ 就跳回 $1$，乌云移开又变回 $0$——因此在每一个样本点 $\omega$ 上它都永不收敛！”

---

2.2 证明 $L^2 \implies P$ 与反例 ②：尖峰逃逸序列（$P, \text{a.s.} \not\implies L^2$，▶ P75 08:58–16:40）

1. 为什么均方收敛一定蕴含依概率收敛（$L^2 \implies P$，▶ P75 08:58–10:38）？ 只需一行 Chebyshev 不等式！对任意 $\varepsilon > 0$： $$\mathbb{P}\bigl(|X_n - X| \ge \varepsilon\bigr) \le \frac{\mathbb{E}\bigl[|X_n - X|^2\bigr]}{\varepsilon^2} \xrightarrow{n\to\infty} 0 \quad\Longrightarrow\quad X_n \xrightarrow{L^2} X \implies X_n \xrightarrow{P} X$$
2. 反过来为什么不成立？——尖峰逃逸反例（▶ P75 11:09–16:40）： 在样本空间 $\Omega = [0, 1]$（均匀分布）上，定义随机变量序列（▶ P75 12:10）： $$X_n(\omega) = \begin{cases} n, & \omega \in \bigl(0, \tfrac{1}{n}\bigr), \\[4pt] 0, & \text{其他}. \end{cases}$$
   • 依概率收敛（且几乎处处收敛）于 $0$：$X_n$ 不为 $0$ 的区间长度仅为 $\frac{1}{n}$，故 $\mathbb{P}(|X_n - 0|\ge\varepsilon) = \frac{1}{n} \to 0 \implies X_n \xrightarrow{P} 0$（同时对任意 $\omega\in(0,1]$，只要 $n > 1/\omega$ 就有 $X_n(\omega)=0$，故 $X_n \xrightarrow{\text{a.s.}} 0$）。
   • 均方发散到无穷大（▶ P75 14:38）：虽然非零底座宽度以 $1/n$ 收缩，但尖峰高度在以 $n$ 疯长！计算二阶矩： $$\mathbb{E}[X_n^2] = n^2 \cdot \frac{1}{n} = n \xrightarrow{n\to\infty} +\infty \neq 0$$ 这结合前面的滑块序列，完美证明了：几乎处处收敛（a.s.）与均方收敛（$L^2$）之间没有任何相互蕴含关系（▶ P75 15:41）！

---

2.3 黑板压轴证明：用辅助点放缩与上下极限夹逼证明 $P \implies d$（▶ P75 18:28–P76 11:10）

在 ▶ P75 18:28–P76 11:10，张颢老师完整推演了主干链条的最后一环——依概率收敛必推出依分布收敛（$X_n \xrightarrow{P} X \implies X_n \xrightarrow{d} X$）：

1. 右半边上极限估计（任取 $y > x$，▶ P75 18:28–P76 05:32）： 为了在 $F_{X_n}(x) = \mathbb{P}(X_n \le x)$ 中引入目标变量 $X$，按 $X \le y$ 与 $X > y$ 对事件 $\{X_n \le x\}$ 作全集分解并放缩（▶ P76 00:00–02:47）： $$\begin{aligned} F_{X_n}(x) = \mathbb{P}(X_n \le x) &= \mathbb{P}(X_n \le x,\; X \le y) + \mathbb{P}(X_n \le x,\; X > y) \\ &\le \mathbb{P}(X \le y) + \mathbb{P}\bigl(|X_n - X| \ge y - x\bigr) = F_X(y) + \mathbb{P}\bigl(|X_n - X| \ge y - x\bigr) \end{aligned}$$ （几何原因：当 $X_n \le x$ 且 $X > y$（其中 $x < y$）时，$X_n$ 在 $x$ 左侧而 $X$ 在 $y$ 右侧，两者距离必满足 $|X_n - X| \ge y - x > 0$！） 令 $n \to \infty$：由于事先不知道 $F_{X_n}(x)$ 极限是否存在，先取上极限 $\limsup$；而右端第二项由依概率收敛必趋于 $0$（▶ P76 03:18–04:36）： $$\limsup_{n\to\infty} F_{X_n}(x) \le F_X(y) \quad (\forall y > x) \quad\xrightarrow{\text{令 } y \downarrow x\text{（假设 }x\text{ 为连续点）}}\quad \limsup_{n\to\infty} F_{X_n}(x) \le F_X(x)$$
2. 左半边下极限对称估计（任取 $y < x$，黑板蓝笔推导，▶ P76 05:32–10:35）： 完全对称地，取 $y < x$，对 $\mathbb{P}(X \le y)$ 按 $X_n \le x$ 与 $X_n > x$ 拆分放缩： $$F_X(y) = \mathbb{P}(X \le y) = \mathbb{P}(X \le y,\; X_n \le x) + \mathbb{P}(X \le y,\; X_n > x) \le F_{X_n}(x) + \mathbb{P}\bigl(|X_n - X| \ge x - y\bigr)$$ 固定 $y < x$ 令 $n \to \infty$ 取下极限 $\liminf$，得 $F_X(y) \le \liminf_{n\to\infty} F_{X_n}(x)$；再令 $y \uparrow x$（利用 $F_X$ 在 $x$ 处连续），得： $$F_X(x) \le \liminf_{n\to\infty} F_{X_n}(x)$$
3. 上下极限夹逼合龙（▶ P76 06:06 & 10:35）： 将左右两半不等式串接起来： $$F_X(x) \le \liminf_{n\to\infty} F_{X_n}(x) \le \limsup_{n\to\infty} F_{X_n}(x) \le F_X(x) \quad\Longrightarrow\quad \lim_{n\to\infty} F_{X_n}(x) = F_X(x)$$

3.1 连续条件分布的“分母归零危机”与现代概率论的顺序倒转（▶ P77 00:00–08:17）

在 P77 中，张颢老师开启了条件概率向随机变量的延伸：设二元随机变量 $(X, Y)$ 具有联合分布 $F_{X,Y}(x,y)$ 与联合密度 $f_{X,Y}(x,y)$，我们希望定义给定 $Y=y$ 条件下 $X$ 的条件分布函数（Conditional CDF）： $$F_{X|Y}(x \mid y) = \mathbb{P}(X \le x \mid Y = y) = \frac{\mathbb{P}(X \le x,\; Y = y)}{\mathbb{P}(Y = y)}$$

• 逻辑短板：连续随机变量单点概率恒为 $0$！（▶ P77 01:42–03:50） 早在学期初我们就知道，条件概率 $\mathbb{P}(A\mid B) = \mathbb{P}(AB)/\mathbb{P}(B)$ 的本质是把样本空间从 $\Omega$ 缩小为子集 $B$，其合法前提是分母 $\mathbb{P}(B) \neq 0$（▶ P77 02:13）。然而当 $Y$ 是连续型随机变量时，单点集 $\{Y = y\}$ 的概率必然等于 $0$！分母为 $0$ 使得古典定义直接崩塌。
• 为什么朴素的“窄带微元极限”依然不够严密？（▶ P77 05:38–07:07） 有人试图先将单点放宽为小区间 $\{y - \delta \le Y \le y + \varepsilon\}$，计算 $$\lim_{\delta\downarrow 0,\,\varepsilon\downarrow 0}\mathbb{P}(X \le x \mid y - \delta \le Y \le y + \varepsilon) = \lim_{\varepsilon\downarrow 0}\frac{F_{X,Y}(x, y+\varepsilon) - F_{X,Y}(x, y)}{F_Y(y+\varepsilon) - F_Y(y)} = \int_{-\infty}^x \frac{f_{X,Y}(u, y)}{f_Y(y)}\,\mathrm{d}u$$ 张颢老师指出（▶ P77 06:33）：教材上专门有反例（著名的 Borel–Kolmogorov 悖论）表明，在高维空间中用不同形状的窄带收缩到同一个零概率子集 $\{Y=y\}$ 时，极限算出的条件概率竟然依赖于逼近路径！
• 振聋发聩的现代观念（▶ P77 04:15–05:38 & 07:07–08:17）： 在无条件的世界里，总是先有分布（精准无损），后有期望（取平均损耗信息）；但在带条件的世界里，为了彻底绕开除以零概率分母的逻辑漏洞，现代概率论实现了惊人的顺序倒转：

  “在带有条件的前提下，我们必须强调：是【先有条件期望，后有条件分布】！因为条件期望的公理化定义根本不需要做除法，从而从根源上回避了分母等于 0 的困难；然后再利用‘概率就是示性函数期望’，由条件期望顺理成章地导出条件分布与条件密度！”

---

3.2 形式化条件概率密度、连续型全概率公式与独立性判据（▶ P77 08:17–11:38）

在将严密公理化基础留给第 15 讲填补的前提下，张颢老师给出了工程与计算中广泛使用的形式化条件概率密度（Conditional PDF，▶ P77 08:17）： $$f_{X|Y}(x \mid y) = \frac{f_{X,Y}(x, y)}{f_Y(y)} = \frac{f_{X,Y}(x, y)}{\int_{-\infty}^{+\infty} f_{X,Y}(x, y)\,\mathrm{d}x} \qquad \bigl(\text{要求边缘密度 } f_Y(y) > 0\bigr)$$

1. 连续版本的全概率公式（▶ P77 09:29–10:35）： 将上式移项得 $f_{X,Y}(x, y) = f_{X|Y}(x \mid y)\,f_Y(y)$，两边对 $y$ 积分即还原出 $X$ 的边缘密度： $$f_X(x) = \int_{-\infty}^{+\infty} f_{X,Y}(x, y)\,\mathrm{d}y = \int_{-\infty}^{+\infty} f_{X|Y}(x \mid y)\,f_Y(y)\,\mathrm{d}y$$ 张颢老师强调：这恰恰就是学期初离散全概率公式 $\mathbb{P}(A) = \sum_k \mathbb{P}(A\mid B_k)\mathbb{P}(B_k)$ 的连续积分版本！
2. 独立性判据（▶ P77 10:35–11:38）： 若 $X$ 与 $Y$ 相互独立，则 $f_{X,Y}(x,y) = f_X(x)f_Y(y)$，代入立得 $f_{X|Y}(x \mid y) = f_X(x)$（条件密度退化为无条件边缘密度）。

---

3.3 黑板例题：单位圆盘均匀分布的切片条件密度（▶ P77 11:38–16:48）

问题：设二元随机变量 $(X, Y)$ 在单位圆盘 $D = \{(x,y): x^2 + y^2 \le 1\}$ 上服从均匀分布，即联合密度为 $$f_{X,Y}(x, y) = \begin{cases} \dfrac{1}{\pi}, & x^2 + y^2 \le 1, \\[4pt] 0, & x^2 + y^2 > 1. \end{cases}$$ 求给定 $Y = y\;(|y| < 1)$ 条件下 $X$ 的条件概率密度 $f_{X|Y}(x \mid y)$。

• 张颢黑板分步推演（▶ P77 13:08–16:48）：
  1. 为什么 $X$ 与 $Y$ 不独立？ 因为给定纵坐标 $Y = y$ 后，横坐标 $X$ 的允许取值范围被圆边界限制在弦长区间 $\bigl[-\sqrt{1-y^2},\; +\sqrt{1-y^2}\bigr]$ 内，支撑集依赖于 $y$，故二者绝不独立（▶ P77 12:45）。
  2. 计算边缘密度 $f_Y(y)$（沿水平弦积分）：固定 $y \in (-1, 1)$，对 $x$ 从左端点 $-\sqrt{1-y^2}$ 积分到右端点 $+\sqrt{1-y^2}$（▶ P77 14:17–15:42）： $$f_Y(y) = \int_{-\infty}^{+\infty} f_{X,Y}(x, y)\,\mathrm{d}x = \int_{-\sqrt{1-y^2}}^{+\sqrt{1-y^2}} \frac{1}{\pi}\,\mathrm{d}x = \frac{2\sqrt{1-y^2}}{\pi} \qquad (y \in [-1, 1])$$
  3. 相除得切片条件密度（▶ P77 15:11–16:48）： $$f_{X|Y}(x \mid y) = \frac{f_{X,Y}(x, y)}{f_Y(y)} = \frac{1/\pi}{\frac{2\sqrt{1-y^2}}{\pi}}\,\mathbf{1}_{\{-\sqrt{1-y^2}\le x\le \sqrt{1-y^2}\}} = \frac{1}{2\sqrt{1-y^2}}\,\mathbf{1}_{\{-\sqrt{1-y^2}\le x\le \sqrt{1-y^2}\}}, \qquad (|y| < 1)$$ 几何意义一目了然：在高度 $Y=y$ 处水平切过单位圆盘，截出的弦长为 $2\sqrt{1-y^2}$，条件分布 $X\mid (Y=y)$ 正是这条水平弦上的均匀分布 $\operatorname{Unif}\bigl(-\sqrt{1-y^2},\, \sqrt{1-y^2}\bigr)$！