事件

事件运算

$$ \begin{aligned} &A - B = A \bar{B} \\ &A - B = A - AB \\ &A = AB \cup A\bar{B} = A - B + AB \end{aligned} $$

概率运算(减法公式, 加法公式)

$$ \begin{aligned} &P(A-B) = P(A) - P(B)\\ &P(A \cup B) = P(A) + P(B) - PAB\\ \end{aligned} $$

条件概率(理解为除法)

$$ P(B|A) = \frac{P(AB)}{P(A)} $$

乘法公式

$$ P(ABC) = P(C|AB)P(B|A)P(A) $$

全概率公式

$$ P(A) = P(A|B_{1})P(B_{1}) + P(A|B_{2})P(B_{2}) + \dots + P(A|B_{n})P(B_{n}) $$

Bayes 公式

$$ P(B_{i}|A) = \frac{P(A|B_{i})P(B_{i})}{\sum_{j=1}^n P(A|B_{j})P(B_{j})} $$

随机变量

六大分布

分布0-1 分布二项分布 $B(n,p)$泊松分布 $P(\lambda)$均匀分布 $U(a,b)$指数分布 $E(\lambda)$正态分布 $N(\mu, \sigma^2 )$
分布律/F(x)$p^k (1-p)^{1-k}$$C_{n}^kp^kq^{n-k}$$\frac{\lambda^ke^{-\lambda}}{k!}$$\frac{x}{b-a}$$-e^{-\lambda}$-
f(x)--$\frac{1}{b-a}, a < x $\lambda e^{-\lambda x}$$f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},\; -\infty < x < \infty$
E(x)$p$$np$$\lambda$$\frac{a+b}{2}$$\frac{1}{\lambda}$$\mu$
D(x)$p(1-p)$$np(1-p)$$\lambda$$\frac{(b-a)^2}{12}$$\frac{1}{\lambda^2}$$\sigma^2$

对于任意的$(x_1,y_1),(x_2,y_2), x_1 < x_2, y_1 < y_2$ 有

$$ F(x_2,y_2) - F(x_2, y_1) + F(x_1,y_1) - F(x_1, y_2) \geq 0 $$

条件概率

$$ P\{X = x_i | Y = y_j\} = \sum_{i=1}^\infty \frac{P\{X = x_i, Y = y_j\}}{P\{Y = y_j\}} = \frac{p_{ij}}{p_{\cdot j}},\ i=1,2,\cdots $$

若 $F(x,y) = F_X(x)F_Y(y)$ 则两个变量相互独立

随机变量函数

分布函数 $F(x)$:

  1. 不减性
  2. $F(-\infty) =0, F(+\infty) = 1$
  3. 右连续性

密度函数 $f(x)$: $F'(x) = f(x)$

二维随机变量 $f(x,y)$ 如果两变量独立,则有 $f(x,y) = f_{X}(x) \cdot f_{Y}(y)$

随机变量函数的分布

一维

已知 $X$ 求 $Y = g(X)$ 的概率分布(密度)函数

  1. 若已知 $f(x)$ 先求 $F(x)$
  2. $F_{Y}(y) = P \left\{ y \leq g(X) \right\}$ 反解出 $P \left\{ g'(y) \leq x \leq g'(y) \right\}$ 得到 $F_{X}(y)$
  3. 求导得到$f_{Y}(y)$

二维

已知 $X,Y$的分布, 求 $Z = h(X,Y)$的概率分布

  1. 求分段点(确定情况个数, 画图观察)
  2. 对于不同区间进行计算(二重积分得到 $F_{Z}$)
  3. 求导得到 $f_{Z}(z)$

数字特征

均值(数学期望)

$$ E(x) = \int xf(x) \, dx $$

对于 $Y = g(X)$

$$ E(Y) = \int g(x)f(x) \, dx $$

方差 $D(X)$

$$ D(X) = E \left\{ (X - E(X))^2 \right\} $$

有公式

$$ D(x) = E(X^2) + E^2(X) $$

协方差

$$ Cov(X,Y) = E \left\{ [X-E(X)][Y-E(Y)] \right\} $$

特殊的

$$ \begin{aligned} D(X) =Cov(X,X) \\\\ Cov(X,Y)= E(XY) + E(X)E(Y) \end{aligned} $$

相关系数

$$ \rho_{XY} = \frac{Cov(X,Y)}{\sqrt{ D(X) }\sqrt{ D(Y) }} $$

中心极限定理

独立 同分布 的 多个 变量近似服从正态分布.

参数估计

简单样本:

  1. 独立
  2. 同分布
分布形式
$\chi^2$分布$X = X_{1}^2 + X_{2}^2 + \dots + X_{n}^2$ 其中 $X_{i} \sim N(0,1)$ 独立
t 分布$X = \frac{X_{1}}{\sqrt{ X_{2} / n }}$ 其中 $X_{1} \sim N(0,1), X_{2} \sim \chi_{n}^2$ 独立
F 分布$X = \frac{X_{1} / n_{1}}{X_{2} / n_{2}}$ 其中 $X_{1} \sim \chi_{n_{1}}^2, X_{2} \sim \chi_{n_{2}}^2$ 独立

都存在上$\alpha$分位点

$X \sim t(n)$ 那么 $X^2 \sim F(1,n)$, $\frac{1}{X^2} \sim F(n,1)$

$\chi^2$分布存在可加性

矩估计

当样本量足够大时, 总体矩和样本矩相等.

对于总体 $X$

  1. 求 $E(X)$ 总体一阶矩
  2. 求 $\bar{x}$ 样本矩
  3. 令 $\bar{x} = E(X)$ 求解 $\hat{\theta}$

最大似然估计

当样本发生概率最大时,对应的 $\theta$ 最恰当

  1. 样本似然函数 $L(x_{1},x_{2},\dots, x_{n})$
    1. 离散型: $p_{1}p_{2}\dots p_{n}$
    2. 连续型: $f_{1}f_{2}\dots f_{n}$
  2. 取对数 $\ln L(\theta)$
  3. 求最大值点(驻点, 求一阶导令之0)

无偏性和有效性

若$E(\hat{\theta}) = \theta$ 为无偏估计 若均为无偏估计, 且 $D(\hat{\theta_{1}}) < D(\hat{\theta_{2}})$,则更有效

未知参数的区间估计

求$\mu$的区间估计:

  1. 若 $\sigma^2$已知,选择枢轴量 $\frac{\bar{x}-\mu}{ \frac{\sigma}{\sqrt{ n }}} \sim N(0,1)$ 置信区间 $\bar{x} \pm \frac{\sigma}{\sqrt{ r }} \frac{\mu\alpha}{2}$
  2. 若$\sigma^2$ 未知则 $\frac{\bar{x}-\mu}{s / \sqrt{ n }} \sim t(n-1)$ 则$1-\alpha$的置信区间为 $\bar{x} \pm \frac{s}{\sqrt{ n }} \frac{t_{\alpha}(n-1)}{2}$

求 $\sigma^2$ 的区间估计: $\mu$未知, 枢轴量 $\frac{(n-1)s^2}{\sigma^2} \sim \chi^2(n-1)$ 置信区间

$$ \left( \frac{(n-1)s^2}{\chi^2_{\frac{\alpha}{2}}(n-1)}, \frac{(n-1)s^2}{\chi_{1 - \frac{\alpha}{2}}^2(n-1)} \right) $$

注意三个枢轴量

  • $\frac{\bar{x}-\mu}{\frac{\sigma}{\sqrt{ n }}} \sim N(0,1)$
  • $\frac{\bar{x}-\mu}{s / \sqrt{ n }} \sim t(n-1)$
  • $\frac{(n-1)s^2}{\sigma^2} \sim \chi^2(n-1)$

假设检验

正态总体下均值 $\mu$ 的假设检验 (U检验,T检验)

  1. 提出假设 $H_{0}: \mu = \mu_{0}$(原假设), $H_{1}: \mu \neq \mu_{0}$ (备择假设)
  2. 选择检验统计量
    • $\sigma^2$已知, 选$N \sim (0,1)$ U 检验
    • $\sigma^2$ 未知,选 $t(n-1)$ T 检验
  3. 拒绝域
    • $W = \left( -\infty, -\mu_{\frac{\alpha}{2}} \right) \cup \left( \mu_{\frac{\alpha}{2}}, +\infty \right)$
    • $W = \left( -\infty, -t_{\frac{\alpha}{2}}(n-1) \right) \cup \left( t_{\frac{\alpha}{2}}(n-1), +\infty \right)$
  4. 作出判断, 落入拒绝域则拒绝$H_{0}$

正态总体下 $\sigma^2$的检验($\chi^2$检验)

  1. 提出假设
  2. 选统计量 $\chi^2(n-1)$
  3. 求拒绝域 $W = \left( 0, \chi^2_{1-\frac{\alpha}{2}}(n-1) \right) \cup \left( \chi^2_{\frac{\alpha}{2}(n - 1), +\infty} \right)$
  4. 作出判断, 落入拒绝域则拒绝$H_{0}$