TSINGHUA AUTOMATION · PROBABILITY & STOCHASTIC PROCESSES (I)

从样本空间 (Ω, ℱ, P),
看见不确定性的秩序。

跟随清华大学自动化系张颢老师《概率论》全 16 讲(83 P)课堂推演:
从抛硬币的刚体力学与 Bertrand 几何悖论出发,沿着 Kolmogorov 公理化测度体系,把随机变量还原为可测映射,直抵大数定律、中心极限定理与条件期望的希尔伯特空间正交投影。

全 16 讲 · 83 个课堂分片 (27:53:21)·19 个紧凑穿插式直观交互·33 幅课堂黑板矢量图解还原与 1,300+ 处 1.5× 对位跳转

(Ω, ℱ, P)A = X⁻¹(B)ωX : Ω → ℝ (可测映射)B ⊂ ℝfX(x)X ∈ L²X − E[X|𝒢]Ŷ = E[X | 𝒢] ⊂ L²(𝒢)
PX(B)=P({ω∈Ω:X(ω)∈B}),E[(X−E[X∣G])Z]=0P_X(B)=P\bigl(\{\omega\in\Omega:X(\omega)\in B\}\bigr),\quad \mathbb{E}\bigl[(X-\mathbb{E}[X\mid\mathcal{G}])Z\bigr]=0测度诱导分布 · 条件期望作为 L² 子空间上的正交投影
课程知识主线古典概型与几何悖论σ-代数与公理化 (Ω, ℱ, P)可测函数 X: Ω → ℝ 与条件化雅可比变换、卷积与特征函数四种收敛、LLN/CLT 与 E[X|𝒢]

THE 16 LECTURES · 83 VIDEO PARTS

把 28 小时的黑板推导,读成结构化的思想地图。

每一讲均聚合对应 B 站分片(P01–P83),支持分片无缝续播、板书对照、反例剖析与交互实验。

00
LECTURE
P01–P04 · 4P

第 0 讲 · 课程导论:为什么概率论难学?从排列组合到现代公理化视角

从线上教学说明、微积分/线性代数的“小脑反应(Working Knowledge)”与五条硬核学习铁律,到为什么概率论比确定性数学更难建立直觉(概念抽象 vs 随机噪声数据感知缺失),以及从中学排列组合到 Kolmogorov 公理化三元组 (Ω, ℱ, ℙ) 的全景跨越与“十选五”竹竿效应考核哲学。

y=ax+b+ε,P(A)=#A#Ω→公理化(Ω,F,P),Sfinal=2∑i=15s(i)y = ax + b + \varepsilon,\quad \mathbb{P}(A)=\frac{\#A}{\#\Omega} \xrightarrow{\text{公理化}} (\Omega,\mathcal{F},\mathbb{P}),\quad S_{\text{final}} = 2\sum_{i=1}^{5} s_{(i)}
1:19:423 个核心小节4 道辨析题进入讲义 ↗
01
LECTURE
P05–P09 · 5P

第 1 讲 · 不确定性的根源、样本空间至高地位与古典概型三大名题

从斯坦福真空抛硬币机、Cardano 古典概型三步法,到生日问题的对数泰勒解析近似、帕斯卡–费马分赌本通信(7:1)与贝特朗弦长悖论(1/3, 1/4, 1/2)的完整黑板推导。

P(A)=#A#Ω,Pbday≈1−e−N(N−1)2C,PBertrand∈{13,14,12}\mathbb{P}(A)=\frac{\#A}{\#\Omega},\quad \mathbb{P}_{\text{bday}}\approx 1-e^{-\frac{N(N-1)}{2C}},\quad \mathbb{P}_{\text{Bertrand}}\in\Bigl\{\frac{1}{3},\frac{1}{4},\frac{1}{2}\Bigr\}
1:37:485 个核心小节4 道辨析题进入讲义 ↗
02
LECTURE
P10–P14 · 5P

第 2 讲 · 从古典概型局限到 Kolmogorov 公理化:Vitali 不可测集、σ-代数与概率空间

从 Hilbert 第六问题(1900)与 Kolmogorov《概率论基本概念》(1933)出发,完整复现黑板上震撼人心的 [0,1) 圆周 Vitali 不可测集构造(0=1 与 ∞=1 的致命矛盾),自底向上建立 σ-域 ℱ 与 Borel 域 ℬ(ℝ),并用可列可加性、大饼切圈连续性证明与容斥原理攻克 N 人拿帽配对难题。

x∼y  ⟺  x−y∈Q,Hq=H⊕q,(Ω,F,P),P ⁣(⨆k=1∞Ak)=∑k=1∞P(Ak)x\sim y\iff x-y\in\mathbb{Q},\quad H_q=H\oplus q,\quad (\Omega,\mathcal{F},\mathbb{P}),\quad \mathbb{P}\!\left(\bigsqcup_{k=1}^{\infty}A_k\right)=\sum_{k=1}^{\infty}\mathbb{P}(A_k)
1:41:343 个核心小节4 道辨析题进入讲义 ↗
03
LECTURE
P15–P19 · 5P

第 3 讲 · 随机变量的本质与分布函数:可测映射 X(ω)、右连续 CDF 与概率密度

彻底粉碎“随机变量是变来变去的小精灵”的字面错觉:随机变量其实一点随机性都没有,它是给非数值样本空间 Ω 穿上“数的马甲”的确定性可测函数 X: Ω → ℝ!深入剖析 Borel 原像可测条件 X⁻¹(A) ∈ ℱ、分布函数 FX(x) 的右连续与第一类跳跃质量 ΔF(x₀) = ℙ(X=x₀)、概率密度 fX(x) = FX'(x) 的父子对偶,以及概率论与数理统计的哲学分野。

X:(Ω,F,P)→(R,B(R)),FX(x)=P(X≤x),ΔFX(x0)=P(X=x0),fX(x)=FX′(x)X:(\Omega,\mathcal{F},\mathbb{P})\to(\mathbb{R},\mathcal{B}(\mathbb{R})),\quad F_X(x)=\mathbb{P}(X\le x),\quad \Delta F_X(x_0)=\mathbb{P}(X=x_0),\quad f_X(x)=F_X'(x)
1:44:233 个核心小节4 道辨析题进入讲义 ↗
04
LECTURE
P20–P24 · 5P

第 4 讲 · 独立性结构与示性函数代数:两两独立 vs 相互独立、Bernstein 反例与容斥原理

从事件独立性 P(AB)=P(A)P(B) 的“微妙相交”与互斥的对立出发,完整推演两两独立 vs 相互独立(2ⁿ−n−1 个约束)的 Bernstein 反例,并用示性函数 1A(ω) 代数法一步秒杀容斥原理、对称差结合律与 Borel–Cantelli 引理。

P(AB)=P(A)P(B),1⋃Ai=1−∏i=1n(1−1Ai),lim sup⁡n→∞An=⋂n=1∞⋃k=n∞Ak\mathbb{P}(AB)=\mathbb{P}(A)\mathbb{P}(B),\quad \mathbf{1}_{\bigcup A_i}=1-\prod_{i=1}^n(1-\mathbf{1}_{A_i}),\quad \limsup_{n\to\infty}A_n=\bigcap_{n=1}^{\infty}\bigcup_{k=n}^{\infty}A_k
1:41:284 个核心小节4 道辨析题进入讲义 ↗
05
LECTURE
P25–P30 · 6P

第 5 讲 · 条件概率 P(A|B) 的深层哲学:先验信息坍缩、历史争议与荷兰赌无套利推导

从“已知 B 发生后样本空间从 Ω 坍缩重归一化到 B”与双孩家庭历史争议(按家庭采样 1/3 vs 按孩子采样 1/2),到张颢老师黑板独家硬核推导:基于荷兰赌(Dutch Book / 无套利定价原理)严格证明为什么条件概率必须定义为 P(AB)/P(B)。

P(A∣B)=P(AB)P(B),ΔW(ω)≡pAB−q⋅pB=0  ⟺  q=pABpB\mathbb{P}(A\mid B)=\frac{\mathbb{P}(AB)}{\mathbb{P}(B)},\quad \Delta W(\omega)\equiv p_{AB}-q\cdot p_B=0 \iff q=\frac{p_{AB}}{p_B}
2:03:274 个核心小节4 道辨析题进入讲义 ↗
06
LECTURE
P31–P35 · 5P

第 6 讲 · 条件概率三大经典模型与辛普森悖论:配帽问题、赌徒输光与混杂变量假象

将条件概率乘法原理(DFS 剥笋)与全概率加法原理(BFS 分而治之)化为实战利器,完整推演配帽错排问题(e⁻¹)、赌徒输光二阶差分方程(久赌必输)与辛普森悖论的混杂变量权重扭曲,并升华出贝叶斯公式的机器学习哲学。

P(B)=∑iP(B∣Ai)P(Ai),ak=pak+1+qak−1,P(B∣A)=P(B)P(A∣B)P(A)\mathbb{P}(B)=\sum_i\mathbb{P}(B\mid A_i)\mathbb{P}(A_i),\quad a_k=pa_{k+1}+qa_{k-1},\quad \mathbb{P}(B\mid A)=\frac{\mathbb{P}(B)\mathbb{P}(A\mid B)}{\mathbb{P}(A)}
1:38:174 个核心小节4 道辨析题进入讲义 ↗
07
LECTURE
P36–P41 · 6P

第 7 讲 · 数学期望 E[X]、示性函数线性分解大法与方差的 L² 最优逼近几何意义

从期望的加权平均物理重心直觉与绝对收敛铁律出发,掌握“无视相关性”的万有线性性 E[∑Xᵢ]=∑E[Xᵢ] 与示性函数分解大法,秒杀配对、0-1 游程、夫妻留存、空盒与双罐扩散难题,并从凸函数 Jensen 不等式与 L² 最优常数逼近透彻理解方差与 n-1 样本方差修正。

E ⁣[∑i=1nXi]=∑i=1nE[Xi],arg⁡min⁡a∈RE[(X−a)2]=E[X],Var⁡(X)=E[X2]−(EX)2\mathbb{E}\!\left[\sum_{i=1}^n X_i\right]=\sum_{i=1}^n \mathbb{E}[X_i],\quad \arg\min_{a\in\mathbb{R}}\mathbb{E}[(X-a)^2]=\mathbb{E}[X],\quad \operatorname{Var}(X)=\mathbb{E}[X^2]-(\mathbb{E}X)^2
1:54:543 个核心小节4 道辨析题进入讲义 ↗
08
LECTURE
P42–P46 · 5P

第 8 讲 · 离散随机变量与金融二叉树期权定价:风险中性概率 p*、二项分布与 Poisson 极限

从可数样本空间的原像概率出发,完整复现张颢老师最经典的单步与多步二叉树期权定价黑板推导(用 Δ 股股票与无风险现金构造复制组合,消去上帝才知道的真实涨跌概率 p,涌现出风险中性概率 p* 与二项分布公式),并严格证明稀有事件 Poisson 三项极限及生日配对数(相依 Bernoulli 和)的 Poisson 逼近。

p∗=(1+r)S0−SdSu−Sd=1+r−du−d,P0=1(1+r)n∑i=0n(ni)(p∗)i(1−p∗)n−iPn,i,(nk)pk(1−p)n−k→λkk!e−λp^*=\frac{(1+r)S_0-S_d}{S_u-S_d}=\frac{1+r-d}{u-d},\quad P_0=\frac{1}{(1+r)^n}\sum_{i=0}^n\binom{n}{i}(p^*)^i(1-p^*)^{n-i}P_{n,i},\quad \binom{n}{k}p^k(1-p)^{n-k}\to \frac{\lambda^k}{k!}e^{-\lambda}
1:45:523 个核心小节4 道辨析题进入讲义 ↗
09
LECTURE
P47–P51 · 5P

第 9 讲 · 连续随机变量与最大微分熵原理:均匀、指数(失效率与无记忆性)与高斯正态分布

为什么几乎所有概率论教科书都把均匀分布、指数分布与高斯分布奉为连续随机变量的“老三样”?张颢老师从统计物理 Boltzmann 熵与通信工程 Shannon 信息熵切入,用一条基本不等式 ln x ≤ x - 1 严格证明最大微分熵原理,统一生成三大连续分布,并深入推演指数分布无记忆性、浴盆曲线失效率微分方程、高斯高阶矩双阶乘递推与标准正态尾概率上下界夹逼。

H(f)=−∫fln⁡f dx,r(t)=f(t)1−F(t)=λ,E[X2k]=(2k−1)!!σ2k,t1+t2e−t2/2≤∫t∞e−x2/2dx≤1te−t2/2H(f)=-\int f\ln f\,\mathrm{d}x,\quad r(t)=\frac{f(t)}{1-F(t)}=\lambda,\quad \mathbb{E}[X^{2k}]=(2k-1)!!\sigma^{2k},\quad \frac{t}{1+t^2}e^{-t^2/2}\le\int_t^{\infty}e^{-x^2/2}\mathrm{d}x\le\frac{1}{t}e^{-t^2/2}
1:49:483 个核心小节4 道辨析题进入讲义 ↗
10
LECTURE
P52–P56 · 5P

第 10 讲 · 随机变量的函数 Y = g(X):雅可比密度公式、χ² / Gamma 分布与逆变换采样

从分布函数定义法推导一维雅可比导数绝对值 |g'(x)| 与无意识统计学家“Magic 公式”,精讲标准正态平方导出 χ²(1) 与 Gamma/Erlang 分布族,揭秘计算机伪随机数生成的逆变换采样定理与 Weibull 澡盆失效率模型。

fY(y)=∑g(xk)=yfX(xk)∣g′(xk)∣,Z2∼χ2(1)=Γ ⁣(12,12),FX−1(U)∼FXf_Y(y)=\sum_{g(x_k)=y}\frac{f_X(x_k)}{|g'(x_k)|},\quad Z^2\sim\chi^2(1)=\Gamma\!\left(\tfrac{1}{2},\tfrac{1}{2}\right),\quad F_X^{-1}(U)\sim F_X
1:40:183 个核心小节4 道辨析题进入讲义 ↗
11
LECTURE
P57–P61 · 5P

第 11 讲 · 多元随机变量:联合分布、圆盘降维边缘积分与“同边缘不同联合”反例

从二维 Borel 域与左下无穷象限“两加两减”容斥差分(CV 积分图同构)出发,掌握“把不想要的变量积掉”的降维边缘积分法则,剖析圆盘均匀分布为何投影出半椭圆边缘且不独立,并亲手构造“边缘均匀/高斯但联合非均匀/带百褶裙非高斯”的经典反例。

ΔabΔcdF≥0,fX(x)=2πR2R2−x2,fX,Y(x,y)=12πe−x2+y22(1+sin⁡xsin⁡y)\Delta_a^b\Delta_c^d F\ge 0,\quad f_X(x)=\frac{2}{\pi R^2}\sqrt{R^2-x^2},\quad f_{X,Y}(x,y)=\frac{1}{2\pi}e^{-\frac{x^2+y^2}{2}}(1+\sin x\sin y)
1:39:363 个核心小节4 道辨析题进入讲义 ↗
12
LECTURE
P62–P66 · 5P

第 12 讲 · 随机变量的和、商与特征函数:卷积公式 fX∗fYf_X * f_Y、傅里叶变换 ΦX(ω)\Phi_X(\omega) 与柯西平均悖论

从半平面滑动积分推导独立和的卷积公式 fX * fY(辨析为什么算术平均是概率混合而非随机变量相加),精讲矩形窗卷出三角分布、指数和差导出 Erlang 与 Laplace 分布;引入特征函数 φX(t) = E[ejtX] 将卷积化为乘积,黑板复平面配方证明高斯再生性,并揭示正态之商 Cauchy 分布“算术平均降噪彻底失效”的奇观。

fX+Y(z)=(fX∗fY)(z),φX(t)=E[ejtX]=ejμt−12σ2t2,XY∼1π(1+z2)f_{X+Y}(z)=(f_X*f_Y)(z),\quad \varphi_X(t)=\mathbb{E}[e^{jtX}]=e^{j\mu t-\frac{1}{2}\sigma^2 t^2},\quad \frac{X}{Y}\sim\frac{1}{\pi(1+z^2)}
1:48:503 个核心小节4 道辨析题进入讲义 ↗
13
LECTURE
P67–P72 · 6P

第 13 讲 · 多维雅可比变换、次序统计量与极限定理:Markov/Chebyshev、大数定律与中心极限定理

从积分换元三步法导出多维雅可比公式、极坐标 Rayleigh 分布与 Box–Muller 正态随机数生成,到双指数次序统计量的上三角支撑集陷阱,再到用示性函数期望一步秒证 Markov/Chebyshev 不等式与弱大数定律,最终以特征函数二阶泰勒展开完整证明中心极限定理并剖析 √n、n 与 √(n ln ln n) 的随机临界尺度。

fY(y)=fX(g−1(y))∣det⁡∂x∂y∣,P(∣X−μ∣≥ε)≤σ2ε2,Sn−nμnσ→dN(0,1)f_{\mathbf{Y}}(\mathbf{y})=f_{\mathbf{X}}(\mathbf{g}^{-1}(\mathbf{y}))\left|\det\frac{\partial\mathbf{x}}{\partial\mathbf{y}}\right|,\quad \mathbb{P}(|X-\mu|\ge\varepsilon)\le\frac{\sigma^2}{\varepsilon^2},\quad \frac{S_n-n\mu}{\sqrt{n}\sigma}\xrightarrow{d}\mathcal{N}(0,1)
1:51:254 个核心小节4 道辨析题进入讲义 ↗
14
LECTURE
P73–P77 · 5P

第 14 讲 · 随机收敛四模式与条件密度:a.s. / P / L2L^2 / d 强弱图谱、打字机乌云反例与切片条件分布

为什么随机变量序列会有四种截然不同的收敛模式?从逻辑量词转集合交并、单调递减嵌套尾集 BN 严格证明 a.s. ⟹ P,到滑块“乌云”序列与尖峰逃逸反例,再到上下极限夹逼证明 P ⟹ d 与单位圆盘切片条件密度。

a.s.L2}  ⟹  →P  ⟹  →d,BN=⋃n>N{∣Xn−X∣≥ε}↓,fX∣Y(x∣y)=fX,Y(x,y)fY(y)\left.\begin{array}{r}\text{a.s.}\\[2pt] L^2\end{array}\right\}\implies\xrightarrow{P}\implies\xrightarrow{d},\quad B_N=\bigcup_{n>N}\{|X_n-X|\ge\varepsilon\}\downarrow,\quad f_{X|Y}(x|y)=\frac{f_{X,Y}(x,y)}{f_Y(y)}
1:39:203 个核心小节4 道辨析题进入讲义 ↗
15
LECTURE
P78–P83 · 6P

第 15 讲 · 条件数学期望 E[X∣Y]\mathbb{E}[X\mid Y] 的现代公理化理论:σ(Y)\sigma(Y) 可测随机变量、全期望公式与 L2L^2 正交投影

全课程收官之战:为什么现代概率论要“先公理化定义条件期望、再导出条件密度”?为什么条件期望 E[X|Y] 是一个关于 Y 的随机变量而非实数?从 Kolmogorov 局部积分恒等式、全期望公式与已知因子提出律,到希尔伯特空间 L² 正交投影与“各个击破 / 走一步看”实战艺术。

∫CE[X∣Y] dP=∫CX dP  (∀C∈σ(Y)),E[E[X∣Y]]=E[X],E[(X−E[X∣Y])h(Y)]=0\int_C \mathbb{E}[X\mid Y]\,\mathrm{d}\mathbb{P}=\int_C X\,\mathrm{d}\mathbb{P}\;(\forall C\in\sigma(Y)),\quad \mathbb{E}[\mathbb{E}[X\mid Y]]=\mathbb{E}[X],\quad \mathbb{E}[(X-\mathbb{E}[X\mid Y])h(Y)]=0
1:56:393 个核心小节4 道辨析题进入讲义 ↗

SIGNATURES OF ZHANG HAO'S LECTURES

课堂四大灵魂追问与反例坐标

张颢老师在课堂上反复强调:“不要把概率论学成背公式的算术,要看清每一步操作背后的集合与测度含义。”

为什么必须引入 σ\sigma-代数 F\mathcal{F}?

在连续空间 [0,1)[0,1) 上,Vitali 不可测集与 Bertrand 弦悖论说明“对一切子集定义几何等可能概率”在数学上自相矛盾。σ\sigma-代数划定了可严格赋测度的事件边界(第 2 讲)。

随机变量到底“随机”在哪里?

随机变量 X(ω)X(\omega) 本身是一个完全确定性的可测函数 X:Ω→RX: \Omega \to \mathbb{R}!真正具有不确定性的是底层样本空间中的抽样 ω\omega,XX 只是把抽象事件穿上“数的马甲”(第 3 讲)。

为什么 fX+Y(z)≠12(fX(z)+fY(z))f_{X+Y}(z) \neq \frac{1}{2}(f_X(z)+f_Y(z))?

算术平均 12(fX+fY)\frac{1}{2}(f_X+f_Y) 是以 1/21/2 概率二选一的混合抽样(Mixture);而两个独立随机变量数值相加 X+YX+Y 必须遍历所有 x+y=zx+y=z 的组合,即卷积 (fX∗fY)(z)(f_X * f_Y)(z)(第 12 讲板书反例)。

四种收敛与条件期望的几何本质

滑块“乌云”序列依概率收敛到 00 却在每个 ω\omega 上无限次跳变(不 a.s. 收敛,第 14 讲);而 E[X∣Y]\mathbb{E}[X\mid Y] 则是将 XX 正交投影到由观测信息 σ(Y)\sigma(Y) 生成的希尔伯特子空间上(第 15 讲)。

原课 83 分片视频、硅基流动 VAD 字幕与经典教材三重印证。

本复习网站直接挂载本地已下载的 83 个高清课堂视频(p01–p83),通过 FFmpeg 语音能量包络剔除课前静默后由 FunAudioLLM/SenseVoiceSmall 识别时间轴字幕,并与张颢《概率论》、Sheldon Ross《A First Course in Probability》及 Bertsekas《Introduction to Probability》章节交叉核对。

查看第 0 讲板书、教材对照与分片字幕
(Ω, ℱ, P)
L²(Ω)