概率统计是研究随机现象数量规律的科学,既是数学的重要分支，也是数据科学、机器学习、金融工程等领域的基础工具，本文系统梳理概率统计的核心知识点，从概率论基础到数理统计方法，再到实际应用逻辑，帮助读者构建清晰的知识框架。
概率论基础：随机现象的数学描述
随机事件与概率
- 随机事件：随机试验的可能结果（必然事件、不可能事件、随机事件）。
- 概率的定义：
- 古典概型：有限样本空间下，事件概率 ( P(A) = \frac{k}{n} )（( k ) 为有利事件数，( n ) 为样本点总数）。
- 几何概型：无限样本空间下，概率与几何度量（长度、面积、体积）成正比。
- 统计概型：大量重复试验中，事件频率的稳定值（( P(A) = \lim_{n \to \infty} \frac{n_A}{n} )）。
- 概率性质：非负性（( P(A) \geq 0 )）、规范性（( P(\Omega) = 1 )）、可加性（互斥事件 ( P(A+B) = P(A) + P(B) )）。
条件概率与独立性
- 条件概率：事件 ( A ) 发生条件下，事件 ( B ) 发生的概率，定义 ( P(B|A) = \frac{P(AB)}{P(A)} )（( P(A) > 0 )）。
- 全概率公式：若 ( B_1, B_2, \dots, Bn ) 为完备事件组，则 ( P(A) = \sum{i=1}^n P(B_i)P(A|B_i) )（用于“由因推果”）。
- 贝叶斯公式：( P(B_i|A) = \frac{P(B_i)P(A|Bi)}{\sum{j=1}^n P(B_j)P(A|B_j)} )（用于“由果溯因”，如反问题推断）。
- 独立性：事件 ( A ) 与 ( B ) 独立当且仅当 ( P(AB) = P(A)P(B) )，( P(B|A) = P(B) )。
随机变量及其分布
- 随机变量：将随机试验的结果数量化的变量（离散型、连续型）。
- 离散型随机变量：
- 分布律：( P(X = x_i) = p_i )，满足 ( p_i \geq 0 ) 且 ( \sum p_i = 1 )。
- 常见分布：
- 0-1分布：( P(X=1)=p ), ( P(X=0)=1-p )。
- 二项分布 ( B(n,p) )：( n ) 次独立试验中“成功”次数的分布，( P(X=k) = C_n^k p^k (1-p)^{n-k} )。
- 泊松分布 ( P(\lambda) )：单位时间内稀有事件发生次数的分布，( P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!} )。
- 连续型随机变量：
- 概率密度函数（PDF）：( f(x) \geq 0 )，( \int_{-\infty}^{+\infty} f(x) dx = 1 )，概率 ( P(a < X \leq b) = \int_a^b f(x) dx )。
- 常见分布：
- 均匀分布 ( U(a,b) )：( f(x) = \frac{1}{b-a} )（( a \leq x \leq b )）。
- 指数分布 ( E(\lambda) )：( f(x) = \lambda e^{-\lambda x} )（( x \geq 0 )），无记忆性 ( P(X > s+t | X > s) = P(X > t) )。
- 正态分布 ( N(\mu, \sigma^2) )：( f(x) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}} )，标准正态分布 ( N(0,1) ) 通过 ( Z = \frac{X-\mu}{\sigma} ) 转换。
多维随机变量及其分布
- 联合分布：描述多个随机变量的联合概率规律（离散型用联合
