概率论和数理统计
概率论的基本概念¶
Poisson 分布 - 定义：设随机变量X所有可能取的值为0,1,2,…，而取各个值的概率为 - 概率密度函数 (PDF)： $$ P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k = 0, 1, 2, \ldots $$
正态分布 - 定义：若随机变量 \(X\) 服从正态分布，记作 \(X \sim N(\mu, \sigma^2)\)。 - 概率密度函数 (PDF)： $$ f(x) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left( -\frac{(x - \mu)^2}{2\sigma^2} \right) $$
指数分布 - 定义：若随机变量 \(X\) 服从参数为 \(\lambda\) 的指数分布，记作 \(X \sim \text{Exp}(\lambda)\)。 - 概率密度函数 (PDF)： $$ f(x) = \lambda e^{-\lambda x}, \quad x \ge 0 $$
条件概率：
定义： $P(A|B) = \frac{P(AB)}{P(b)} $
三个相关公式： 1. 乘法公式 \(\(P(AB) = P(A)P(B|A)\)\) 2. 全概率公式 \(\(P(A) = \sum_{j = 1}^n P(AB_j) = \sum_{j =1 }^n P(A|B_j)P(B_j)\)\) 其中，{ \(B_j , j = 1,2,···,n\) }为一完备事件组 3. Bayes公式 \(\(P(B_i|A) = \frac{P(AB_i)}{P(A)} = \frac{P(A|B_i)P(B_i)}{\sum_{j=1}^n P(A|B_j)P(B_j)}\)\)
- 条件概率的全概率公式，在全概率公式的基础上理解 \(\(P(A|C) = \sum_{j=1}^nP(A|B_jC)P(B_j|C)\)\)
独立性：
- A与B相互独立 $\Leftrightarrow P(AB)=P(A)P(B) $
- \(A_i,i=1,2\dots ,n 相互独立 \Leftrightarrow\) \(\(P(A_{i_1} , A_{i_2} , \dots , A_{i_k}) = P(A_{i_1})P(A{i_2})\dots P(A{i_k}),\forall 2\le k\le n.\)\)
注意区别“两两独立”及“互斥”；
注意区别“两两独立”及“相互独立”
随机变量及其概率分布¶
方差：
协方差定义： \(\(Cov(X,Y) = E[(X-EX)(Y-EY)] = E[XY] - EXEY\)\)
相关系数定义： \(\(\rho_{XY} = \frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}\)\)
Multivariate Random Varibles and Their Distributions¶
联合分布律和联合分布函数会相互推导
若G是xoy平面上的某个区域，则点（x,y）落在G中的概率为：
$$ P((X,Y)\in G)=\iint_{G}f(x,y)dxdy $$ 卷积公式
当x,y相互独立时，Z = X + Y 的概率密度函数公式称为卷积公式，即： $$ f_x * f_y = \int_{\infty}^{\infty}f_x(x)f_y(z-x)dx $$
大数定律和中心极限定理¶
Markov不等式： 设随机变量Y的k阶矩存在 \(( k \le 1 )\) , 即 \(E[Y_k]\) 存在，则对于 \(\forall \epsilon \gt 0\) ,都有
成立
Chebyshev不等式： 设随机变量X具有数学期望 $ EX = \mu $ ,方差 \(DX = \sigma^2\) , 则对于\(\forall \epsilon \gt 0\) ,都有
成立
- 依概率收敛 设随机变量序列 \(Y_1,Y_2,\dots\) ，若存在某常数a ,使得 \(\forall \epsilon \gt 0\)
或
则称随机变量序列 \(\{ Y_n \}\) 依概率收敛于常数a，记作 $Y_n \stackrel{P}{\longrightarrow} a, 当n\to \infty $
- 辛钦定理： 设随机变量序列 \(X_1 , X_2 , \dots , X_n ,\dots\) 独立同分布，且存在数学期望 \(\mu\) .取前 \(n\) 个随机变量的算术平均 $ Y_n = \frac{1}{n} \sum_{k=1}^n X_k $ ,则对于 \(\forall \epsilon \gt 0\)
$当Y_n \stackrel{P}{\longrightarrow} a, 当n\to \infty $
- 独立同分布的中心极限定理： 设随机变量序列 \(X_1 , X_2 , \dots , X_n ,\dots\) 独立同分布，期望为 \(\mu\) ，方差为 \(\sigma^2\) , 则当n充分大时，有： \(\(\sum_{i = 1}^nX_i(近似) ～ N(E[\sum_{i = 1}^nX_i] , D[\sum_{i = 1}^n]X_i)\)\) 即： \(\(\sum_{i = 1}^nX_i(近似) ～ N(n\mu , n\sigma^2)\)\)
样本及抽样分布¶
- 样本方差 \(S^2\): $$ S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \bar{X})^2 $$
\(t\) 分布
- 当总体服从正态分布，样本均值 \(\bar{X}\) 服从正态分布，样本方差 \(S^2\) 服从 \(\chi^2\) 分布时： $$ t = \frac{\bar{X} - \mu}{S / \sqrt{n}} \sim t(n-1) $$
\(\chi^2\) 分布
- 当总体服从正态分布，随机变量 \(X_i\) 独立同分布时： $$ \chi^2 = \sum_{i=1}^{n} \left( \frac{X_i - \mu}{\sigma} \right)^2 \sim \chi^2(n) $$
\(F\) 分布
-
当 \(X_1^2 \sim \chi^2(m)\) 和 \(X_2^2 \sim \chi^2(n)\) 独立时： $$ F = \frac{\frac{X_1^2}{m}}{\frac{X_2^2}{n}} \sim F(m, n) $$
-
样本 \(k\) 阶矩： $$ \hat{\mu}k = \frac{1}{n} \sum)^k $$}^{n} (X_i - \bar{X
极大似然估计¶
一般地, 设离散型总体 $ X \sim f(x ; \theta)=\mathrm{P}{X=x}, \theta $ 未知, $ \theta \in $ 参数空间 $ \Theta $ . 从总体中取得样本 $ \boldsymbol{X}=\left(X_{1}, \ldots, X_{n}\right) $ , 其样本观察值为 $ \boldsymbol{x}=\left(x_{1}, \ldots, x_{n}\right) $ , 则事件 $ {\boldsymbol{X}=\boldsymbol{x}} $ 发生的概率为
它是参数 $ \theta $ 的函数，记为似然函数 (likelihood function)，即似然函数为
称
为 $ \theta $ 的极大似然估计值，即 $ \widehat{\theta} (\boldsymbol{x}) $ 为满足
相应的统计量
即为 $ \theta $ 的极大似然估计量 (maximum likelihood estimator).
假设检验¶
根据问题提出原假设 $ H_0 $ 和备择假设 $ H_1 $; 确定检验统计量 $ T(X) $, 并根据原假设和备择假设确定拒绝域的形式( $ W $ 的形式主要依赖于备择假设, 且 $ W $ 中一般含有 "=" ): - 单侧拒绝域: $ W={x:T(x)\leq c} $ 或 $ W={x:T(x)\geq c} $; - 双侧拒绝域: $ W={x:c_1\leq T(x)\leq c_2} $ 或 $ W={x:|T(x)|\leq c} $ 或 $ W={x:T(x)\leq c_1\(或\)T(x)\geq c_2}\(或\)W={x:|T(x)|\geq c} $ ;
选取适当的显著性水平 $ \alpha $, 根据 N-P 原则求出拒绝域的临界值. 一般求 $ c $, 使得
$ \sup_{H_0下}P(X\in W|H_0为真)\leq\alpha $ 并尽可能地接近 $\alpha $ .
在总体为连续型随机变量时, 往往要使得 $ \sup_{H_0下}P(X\in W|H_0为真)=\alpha $ ;
根据样本的观测值 $ x $ 算出检验统计量 $ T(X) $ 的值 $ T(x) $, 并与临界点进行比较:
- 若观察值 $ x $ 落入拒绝域 $ W $ , 则拒绝原假设,
- 否则接受原假设.