第 2 讲 · 条件概率、Bayes 与独立性

条件概率处理的是“知道一部分信息以后，概率怎样改变”。它既是 Bayes 推断的起点，也是独立性的定义入口。

1. 条件概率不是两个概率相除的技巧

在 BB 已发生的条件下，可能结果被限制在 BB 内。只要 P(B)>0P(B)>0，定义

P(A∣B)=P(AB)P(B).P(A\mid B)=\frac{P(AB)}{P(B)}.

分子是 A,BA,B 同时发生的概率，分母把缩小后的样本空间重新归一化为 11。固定 BB 后，P(⋅∣B)P(\cdot\mid B) 本身仍满足概率公理。

例：不放回抽次品

100 件产品中有 10 件次品，不放回抽 3 件。已知前两件合格，第三件为次品的概率是

P(A3∣B1B2)=1098.P(A_3\mid B_1B_2)=\frac{10}{98}.

这里不能继续用 10/10010/100，因为已知信息改变了样本空间。

2. 乘法公式：沿一条路径逐步乘

把条件概率定义改写即可得到

P(AB)=P(A)P(B∣A)=P(B)P(A∣B).P(AB)=P(A)P(B\mid A)=P(B)P(A\mid B).

推广到多个事件：

P(A1⋯An)=P(A1)P(A2∣A1)⋯P(An∣A1⋯An−1).P(A_1\cdots A_n) =P(A_1)P(A_2\mid A_1)\cdots P(A_n\mid A_1\cdots A_{n-1}).

因此，树状图中一条完整路径的概率等于沿途条件概率相乘。

3. 全概率：把结果按原因拆开

若 B1,…,BnB_1,\ldots,B_n 是样本空间的划分，且 P(Bi)>0P(B_i)>0，则任何事件 AA 都可按来源拆成互不相容的 ABiAB_i：

P(A)=∑i=1nP(Bi)P(A∣Bi).P(A)=\sum_{i=1}^nP(B_i)P(A\mid B_i).

例：两批产品

两批产品数量相同。第一批全是合格品，第二批有 25%25\% 次品。等概率选一批，再等概率选一件。第一次检查为合格，放回后再抽一件。求第二件是次品的概率。

设 B1,B2B_1,B_2 表示批次，GG 表示第一次合格。先用全概率：

P(G)=12⋅1+12⋅34=78.P(G)=\frac12\cdot1+\frac12\cdot\frac34=\frac78.

看到合格品后，第二批的后验概率为

P(B2∣G)=12⋅3478=37.P(B_2\mid G)= \frac{\frac12\cdot\frac34}{\frac78}=\frac37.

第二次只有选中第二批才可能次品，因此

P(第二次次品∣G)=37⋅14=328.P(\text{第二次次品}\mid G)=\frac37\cdot\frac14=\frac3{28}.

这个例子同时展示了全概率、Bayes 和后验预测。

4. Bayes：从结果倒推原因

由乘法公式和全概率公式得到

P(Bj∣A)=P(Bj)P(A∣Bj)∑i=1nP(Bi)P(A∣Bi).P(B_j\mid A)= \frac{P(B_j)P(A\mid B_j)} {\sum_{i=1}^nP(B_i)P(A\mid B_i)}.
  • P(Bj)P(B_j) 是先验概率；
  • P(A∣Bj)P(A\mid B_j) 是似然；
  • P(Bj∣A)P(B_j\mid A) 是看到证据后的后验概率。

做题时不要死背“先验乘似然除证据”，只要记住：分子是目标原因和观测共同发生，分母是所有原因产生该观测的总概率。

Monty Hall 为什么换门更好

你先选一门。主持人知道奖品位置，并且必定打开另一扇没有奖品的门。最初选中奖品的概率仍是 1/31/3；最初没选中的概率是 2/32/3，主持人的操作会把这 2/32/3 集中到剩下那扇门上，所以换门胜率为 2/32/3。

关键不是“现在只剩两扇门”，而是主持人的开门规则包含信息。若主持人随便开门，条件概率模型就变了。

5. Pólya 罐：条件概率可以制造相关性

罐中有 bb 个黑球、rr 个红球。每次抽出后放回，并加入 cc 个同色球。第一次抽黑球的概率为 b/(b+r)b/(b+r)。虽然后续抽取会受到历史影响，但用全概率展开可证明任意第 kk 次抽到黑球的边际概率仍为

P(Xk=黑)=bb+r.P(X_k=\text{黑})=\frac{b}{b+r}.

注意：边际概率相同不代表各次独立。同色强化使相邻结果正相关。这是“同分布”和“独立”不能混为一谈的典型例子。

若每次还加入异色球，条件概率要按当前两种球数逐步更新；方法仍是沿树路径相乘，再按路径求和。

6. 独立性的不同层次

事件 A,BA,B 独立，当且仅当

P(AB)=P(A)P(B).P(AB)=P(A)P(B).

若 P(A)>0P(A)>0，它等价于 P(B∣A)=P(B)P(B\mid A)=P(B)：知道 AA 没有改变 BB 的概率。

若 A,BA,B 独立，那么 AA 与 Bˉ\bar B、Aˉ\bar A 与 BB、Aˉ\bar A 与 Bˉ\bar B 也独立。例如

P(ABˉ)=P(A)−P(AB)=P(A)[1−P(B)].P(A\bar B)=P(A)-P(AB)=P(A)[1-P(B)].

两两独立不等于相互独立

三个事件两两独立要求

P(AB)=P(A)P(B),P(AC)=P(A)P(C),P(BC)=P(B)P(C).P(AB)=P(A)P(B),\quad P(AC)=P(A)P(C),\quad P(BC)=P(B)P(C).

相互独立还要求

P(ABC)=P(A)P(B)P(C).P(ABC)=P(A)P(B)P(C).

反例：抛两枚公平硬币，令 AA 为第一枚正面，BB 为第二枚正面，CC 为两枚结果相同。三者两两独立，但知道任意两个事件就完全决定第三个，因此不相互独立。

7. 独立试验与 Bernoulli 模型

若各次试验相互独立，每次成功概率都为 pp，称为 Bernoulli 试验序列。nn 次中成功次数 XX 满足

P(X=k)=(nk)pk(1−p)n−k,k=0,1,…,n.P(X=k)=\binom nkp^k(1-p)^{n-k}, \qquad k=0,1,\ldots,n.

轮流射击的思路

甲命中率 pp，乙命中率 qq，甲先射，轮流射到首次命中为止。甲获胜可能发生在第 1 轮、双方各失手后第 2 轮，等等：

P(甲胜)=p+(1−p)(1−q)p+[(1−p)(1−q)]2p+⋯ .P(\text{甲胜}) =p+(1-p)(1-q)p+[(1-p)(1-q)]^2p+\cdots.

这是等比级数，故

P(甲胜)=p1−(1−p)(1−q).P(\text{甲胜})=\frac{p}{1-(1-p)(1-q)}.

该计算同时用到了独立、乘法公式和互斥路径求和。

8. 系统可靠性

元件独立工作，元件 ii 正常概率为 pip_i。

  • 串联系统全部正常才正常：P=∏ipiP=\prod_i p_i。
  • 并联系统至少一个正常：P=1−∏i(1−pi)P=1-\prod_i(1-p_i)。

复杂系统先按串并联结构逐层化简。若元件故障有共同原因，独立假设失效，不能直接相乘。

9. 这一讲的检查清单

  • 条件写在竖线右边，分母一定是条件事件的概率。
  • 树上一条路径相乘，多条互斥路径相加。
  • 全概率从原因推结果，Bayes 从结果反推原因。
  • 互不相容不等于独立；正概率互斥事件一定不独立。
  • 两两独立还差一个高阶交集条件。
  • 同样的边际概率不等于独立，Pólya 罐就是反例。

评论