mirror of
https://github.com/handsomezhuzhu/handsomezhuzhu.github.io.git
synced 2026-02-20 11:50:14 +00:00
概统笔记
This commit is contained in:
1525
docs/sop/notes/probability-statistics-notes.md
Normal file
1525
docs/sop/notes/probability-statistics-notes.md
Normal file
File diff suppressed because it is too large
Load Diff
89
otherdocs/概统/01-概率论基本概念.md
Normal file
89
otherdocs/概统/01-概率论基本概念.md
Normal file
@@ -0,0 +1,89 @@
|
||||
# 一、概率论基本概念
|
||||
|
||||
## 1. 基本概念
|
||||
|
||||
| 术语 | 定义 |
|
||||
|------|------|
|
||||
| **随机现象** | 不能预先确定结果的事件,即随机试验 |
|
||||
| **基本事件** | 随机试验中的每个单一结果 |
|
||||
| **随机事件** | 在随机试验中可能出现的各种结果,由若干基本事件组成 |
|
||||
| **样本空间** | 随机试验中所有基本事件的集合,记为S,其中的元素称为样本点 |
|
||||
| **概率** | 随机事件发生可能性的数字表征,介于0-1之间 |
|
||||
|
||||
**重要关系**:样本空间的子集是随机事件
|
||||
|
||||
---
|
||||
|
||||
## 2. 概率的三个基本性质
|
||||
|
||||
1. **非负性**:对任意事件A,$P(A) \geq 0$
|
||||
2. **规范性**:$P(S) = 1$,样本空间S的概率是1
|
||||
3. **可列可加性**:设$A_1, A_2, ...$是两两互不相容事件,则
|
||||
$$P(A_1 \cup A_2 \cup ...) = P(A_1) + P(A_2) + ...$$
|
||||
|
||||
---
|
||||
|
||||
## 3. 古典概型
|
||||
|
||||
**条件**:有限性,等可能性
|
||||
|
||||
**排列数**:$A_n^r = \frac{n!}{(n-r)!}$
|
||||
|
||||
**组合数**:$C_n^r = \frac{n!}{(n-r)!r!}$
|
||||
|
||||
**多组组合模式**:n个不同物体分成k堆,有 $\frac{n!}{r_1!r_2!...r_k!}$ 种分法
|
||||
|
||||
**概率的统计定义**:事件发生的频率在试验次数足够大时趋近的值
|
||||
|
||||
---
|
||||
|
||||
## 4. 条件概率
|
||||
|
||||
**定义**:A,B是随机试验中两个事件,$P(B) > 0$,称
|
||||
$$P(A|B) = \frac{P(AB)}{P(B)}$$
|
||||
为事件B发生条件下A发生的概率
|
||||
|
||||
**乘法定理**:$P(AB) = P(A|B) \cdot P(B) = P(B|A) \cdot P(A)$
|
||||
|
||||
**推论**:若A,B独立,则 $P(A|B) = P(A)$,$P(AB) = P(A)P(B)$
|
||||
|
||||
---
|
||||
|
||||
## 5. 全概率公式
|
||||
|
||||
设试验E的样本空间为S,A为E的事件,$B_1, B_2, ..., B_n$为S的一个**划分**,$P(B_i) > 0$,$i = 1,2,...,n$,则
|
||||
|
||||
$$P(A) = \sum_{i=1}^{n} P(A|B_i)P(B_i) = P(A|B_1)P(B_1) + P(A|B_2)P(B_2) + ... + P(A|B_n)P(B_n)$$
|
||||
|
||||
**理解**:将复杂事件A分解为多个互不相容的简单事件求和
|
||||
|
||||
---
|
||||
|
||||
## 6. 贝叶斯公式
|
||||
|
||||
设试验E的样本空间为S,A为E的事件,$B_1, B_2, ..., B_n$为S的一个划分,$P(A) > 0$,$P(B_i) > 0$,$i = 1,2,...,n$,则
|
||||
|
||||
$$P(B_i|A) = \frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n} P(A|B_j)P(B_j)}$$
|
||||
|
||||
**理解**:
|
||||
- $P(B_i)$:先验概率(原因发生的概率)
|
||||
- $P(B_i|A)$:后验概率(观测到结果后,原因的概率)
|
||||
- 贝叶斯公式用于"由果溯因"
|
||||
|
||||
---
|
||||
|
||||
## 7. 典型例题
|
||||
|
||||
**例**:有两箱同种类的零件,第一箱装50只,其中10只一等品。第二箱装30只,其中18只一等品。今从两箱中任挑出一箱,然后从该箱中取零件两次,每次任取一只,作不放回抽样。求:
|
||||
(1) 第一次取到的零件是一等品的概率
|
||||
(2) 第一次取到的零件是一等品的条件下,第二次取到的也是一等品的概率
|
||||
|
||||
**解**:记$A_i$="在第i次中取到一等品",$B_i$="挑到第i箱",$i=1,2$
|
||||
|
||||
(1) 由全概率公式:
|
||||
$$P(A_1) = P(A_1|B_1) \cdot P(B_1) + P(A_1|B_2) \cdot P(B_2) = \frac{10}{50} \times \frac{1}{2} + \frac{18}{30} \times \frac{1}{2} = 0.4$$
|
||||
|
||||
(2) $P(A_1A_2) = P(A_1A_2|B_1) \cdot P(B_1) + P(A_1A_2|B_2) \cdot P(B_2)$
|
||||
$= \frac{1}{2} \times \frac{10}{50} \times \frac{9}{49} + \frac{1}{2} \times \frac{18}{30} \times \frac{17}{29} = 0.19423$
|
||||
|
||||
$P(A_2|A_1) = \frac{P(A_1A_2)}{P(A_1)} = \frac{0.19423}{0.4} = 0.4856$
|
||||
80
otherdocs/概统/02-随机变量及其分布.md
Normal file
80
otherdocs/概统/02-随机变量及其分布.md
Normal file
@@ -0,0 +1,80 @@
|
||||
# 二、随机变量及其分布
|
||||
|
||||
## 1. 分布函数
|
||||
|
||||
**定义**:设X是一个随机变量,对任意实数x,称 $F(x) = P(X \leq x)$ 为X的**分布函数**,记为 $X \sim F(x)$
|
||||
|
||||
**分布函数的三条基本性质**:
|
||||
|
||||
1. **单调非减性**:对任意的$x_1 < x_2$,有$F(x_1) \leq F(x_2)$
|
||||
2. **有界性**:对任意的x,有$0 \leq F(x) \leq 1$,且
|
||||
- $F(-\infty) = \lim_{x \to -\infty} F(x) = 0$
|
||||
- $F(+\infty) = \lim_{x \to +\infty} F(x) = 1$
|
||||
3. **右连续性**:对任意的$x_0$,有 $\lim_{x \to x_0^+} F(x) = F(x_0)$
|
||||
|
||||
**重要**:具有上述三条性质的函数F(x)一定是某个随机变量的分布函数
|
||||
|
||||
**关于F(x)的常识结论**:设F(x), G(x)为分布函数,a,b为实数,则
|
||||
1. $aF(x) + bG(x)$ 为分布函数 $\Leftrightarrow a+b=1, a \ge 0, b \ge 0$
|
||||
2. $F(ax+b)$ 为分布函数 $\Leftrightarrow a>0$,b为任意常数
|
||||
3. $F(x)G(x)$ 必为分布函数
|
||||
|
||||
---
|
||||
|
||||
## 2. 离散型随机变量的分布律
|
||||
|
||||
设离散型随机变量X所有可能取值为$x_k$($k = 1,2,...$),X取各个可能值的概率为
|
||||
$$P\{X = x_k\} = p_k, \quad k = 1,2,...$$
|
||||
|
||||
**分布律满足的条件**:
|
||||
1. 非负性:$p_k \geq 0$
|
||||
2. 正则性:$\sum_{k=1}^{\infty} p_k = 1$
|
||||
|
||||
---
|
||||
|
||||
## 3. 连续型随机变量的概率密度
|
||||
|
||||
如果对于随机变量X的分布函数$F(x)$,存在非负可积函数$f(x)$,使对于任意实数x有
|
||||
$$F(x) = \int_{-\infty}^{x} f(t)dt$$
|
||||
|
||||
则称$f(x)$为X的**概率密度函数**
|
||||
|
||||
**概率密度的性质**:
|
||||
1. $f(x) \geq 0$
|
||||
2. $\int_{-\infty}^{+\infty} f(x)dx = 1$
|
||||
3. 对于任意实数$x_1, x_2$($x_1 \leq x_2$),$P\{x_1 < X \leq x_2\} = F(x_2) - F(x_1) = \int_{x_1}^{x_2} f(x)dx$
|
||||
4. 若$f(x)$在点x处连续,则有$F'(x) = f(x)$
|
||||
|
||||
**小常识**:
|
||||
1. 不改变$f(x)$在有限点的值,不影响分布
|
||||
2. $f(x)$不必连续,只需可积
|
||||
3. 连续型X的分布函数$F(x)$是连续函数,且对任意$a$有$P\{X=a\}=0$
|
||||
4. 若$f(x)$在点x处连续,则$F'(x)=f(x)$
|
||||
|
||||
**区间范围小结**:若X可能取值范围为$a \le X \le b$,则
|
||||
1. 当$x<a$时,$F(x)=0$
|
||||
2. 当$x\ge b$时,$F(x)=1$
|
||||
|
||||
---
|
||||
|
||||
## 4. 随机变量函数的分布
|
||||
|
||||
**定理**:设随机变量X具有概率密度$f_X(x)$,$-\infty < x < +\infty$,又设函数g(x)处处可导且恒有$g'(x) > 0$(或$g'(x) < 0$),则$Y = g(X)$是连续型随机变量,其概率密度为
|
||||
|
||||
$$f_Y(y) = \begin{cases} f_X[h(y)]|h'(y)|, & \alpha < y < \beta \\ 0, & \text{其他} \end{cases}$$
|
||||
|
||||
其中$\alpha = \min\{g(-\infty), g(+\infty)\}$,$\beta = \max\{g(-\infty), g(+\infty)\}$,$h(y)$是$g(x)$的反函数
|
||||
|
||||
---
|
||||
|
||||
## 5. 典型例题
|
||||
|
||||
**例**:设随机变量X的概率密度为$f(x) = \begin{cases} e^{-x}, & x > 0 \\ 0, & \text{其他} \end{cases}$,求$Y = X^2$的概率密度
|
||||
|
||||
**解**:当$y \leq 0$时,$f_Y(y) = 0$
|
||||
|
||||
当$y > 0$时,$F_Y(y) = P\{Y \leq y\} = P\{X^2 \leq y\} = P\{0 < X \leq \sqrt{y}\} = \int_0^{\sqrt{y}} e^{-x}dx$
|
||||
|
||||
$f_Y(y) = F'_Y(y) = e^{-\sqrt{y}} \cdot \frac{1}{2\sqrt{y}}$
|
||||
|
||||
所以 $f_Y(y) = \begin{cases} \frac{1}{2\sqrt{y}}e^{-\sqrt{y}}, & y > 0 \\ 0, & y \leq 0 \end{cases}$
|
||||
139
otherdocs/概统/03-离散型随机变量分布.md
Normal file
139
otherdocs/概统/03-离散型随机变量分布.md
Normal file
@@ -0,0 +1,139 @@
|
||||
# 三、离散型随机变量分布
|
||||
|
||||
## 1. 0-1分布(伯努利分布)b(1, p)
|
||||
|
||||
**定义**:随机变量X只取0和1两个值
|
||||
|
||||
**分布律**:
|
||||
$$P(X=k) = p^k(1-p)^{1-k}, \quad k=0,1$$
|
||||
|
||||
| X | 0 | 1 |
|
||||
|---|---|---|
|
||||
| P | 1-p | p |
|
||||
|
||||
**期望与方差**:
|
||||
- $E(X) = p$
|
||||
- $D(X) = p(1-p)$
|
||||
|
||||
**适用场景**:单次试验的成功/失败
|
||||
|
||||
---
|
||||
|
||||
## 2. 二项分布 B(n, p)
|
||||
|
||||
**定义**:n次独立重复试验中,事件A发生的次数X
|
||||
|
||||
**概率公式**:
|
||||
$$P(X=k) = C_n^k p^k (1-p)^{n-k}, \quad k=0,1,2,...,n$$
|
||||
|
||||
**期望与方差**:
|
||||
- $E(X) = np$
|
||||
- $D(X) = np(1-p)$
|
||||
|
||||
**正态近似(德莫弗-拉普拉斯)**:当n充分大时,
|
||||
$$X \sim B(n,p) \approx N(np, np(1-p))$$
|
||||
|
||||
**适用场景关键词**:
|
||||
- "n次独立试验"
|
||||
- "成功/失败"、"合格/不合格"、"命中/未命中"
|
||||
- "每次成功概率为p"
|
||||
- "求恰好k次成功的概率"
|
||||
|
||||
**例题特征**:
|
||||
> 某射击运动员命中率为0.8,独立射击10次,求恰好命中8次的概率。
|
||||
> → X ~ B(10, 0.8)
|
||||
|
||||
---
|
||||
|
||||
## 3. 泊松分布 P(λ) 或 π(λ)
|
||||
|
||||
**定义**:单位时间/空间内随机事件发生的次数
|
||||
|
||||
**概率公式**:
|
||||
$$P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k=0,1,2,...$$
|
||||
|
||||
**期望与方差**:
|
||||
- $E(X) = \lambda$
|
||||
- $D(X) = \lambda$
|
||||
|
||||
**特点**:期望=方差=λ
|
||||
|
||||
**适用场景关键词**:
|
||||
- "单位时间内"、"每天"、"每小时"
|
||||
- "平均发生λ次"
|
||||
- "稀有事件"(n大p小,np适中)
|
||||
- 电话呼叫次数、到达人数、故障次数、放射性衰变
|
||||
|
||||
**泊松定理(二项分布的近似)**:
|
||||
当 $n \geq 20, p \leq 0.05$ 时,$B(n,p) \approx P(np)$
|
||||
|
||||
**例题特征**:
|
||||
> 某服务台平均每小时接到5个电话,求1小时内接到3个电话的概率。
|
||||
> → X ~ P(5)
|
||||
|
||||
---
|
||||
|
||||
## 4. 几何分布 G(p)
|
||||
|
||||
**定义**:独立重复试验中,首次成功时的试验次数X
|
||||
|
||||
**概率公式**:
|
||||
$$P(X=k) = (1-p)^{k-1}p, \quad k=1,2,3,...$$
|
||||
|
||||
**期望与方差**:
|
||||
- $E(X) = \frac{1}{p}$
|
||||
- $D(X) = \frac{1-p}{p^2}$
|
||||
|
||||
**无记忆性**:$P(X > m+n | X > m) = P(X > n)$
|
||||
|
||||
**适用场景关键词**:
|
||||
- "首次成功"、"第一次出现"
|
||||
- "直到...为止"
|
||||
- "需要多少次才能成功"
|
||||
|
||||
**例题特征**:
|
||||
> 抛硬币直到第一次出现正面,求所需次数的期望。
|
||||
> → X ~ G(0.5), E(X) = 2
|
||||
|
||||
---
|
||||
|
||||
## 5. 超几何分布 H(n, M, N)
|
||||
|
||||
**定义**:N件产品中有M件次品,从中不放回抽取n件,次品数X
|
||||
|
||||
**概率公式**:
|
||||
$$P(X=k) = \frac{C_M^k C_{N-M}^{n-k}}{C_N^n}$$
|
||||
|
||||
**期望与方差**:
|
||||
- $E(X) = \frac{nM}{N}$
|
||||
- $D(X) = \frac{nM(N-M)(N-n)}{N^2(N-1)}$
|
||||
|
||||
**适用场景关键词**:
|
||||
- "不放回抽样"
|
||||
- "N件中有M件..."
|
||||
- 抽奖问题、质检问题(小批量)
|
||||
|
||||
**与二项分布的区别**:
|
||||
- 超几何:不放回抽样
|
||||
- 二项分布:放回抽样(或总体很大时的不放回)
|
||||
|
||||
**例题特征**:
|
||||
> 10件产品中有3件次品,不放回抽取4件,求恰好有2件次品的概率。
|
||||
> → X ~ H(4, 3, 10)
|
||||
|
||||
---
|
||||
|
||||
## 6. 负二项分布(帕斯卡分布)NB(r, p)
|
||||
|
||||
**定义**:独立重复试验中,第r次成功时的试验次数X
|
||||
|
||||
**概率公式**:
|
||||
$$P(X=k) = C_{k-1}^{r-1} p^r (1-p)^{k-r}, \quad k=r,r+1,...$$
|
||||
|
||||
**期望与方差**:
|
||||
- $E(X) = \frac{r}{p}$
|
||||
- $D(X) = \frac{r(1-p)}{p^2}$
|
||||
|
||||
**适用场景关键词**:
|
||||
- "第r次成功"
|
||||
- 几何分布是r=1的特例
|
||||
109
otherdocs/概统/04-连续型随机变量分布.md
Normal file
109
otherdocs/概统/04-连续型随机变量分布.md
Normal file
@@ -0,0 +1,109 @@
|
||||
# 四、连续型随机变量分布
|
||||
|
||||
## 1. 均匀分布 U(a, b)
|
||||
|
||||
**概率密度函数**:
|
||||
$$f(x) = \begin{cases} \frac{1}{b-a}, & a \leq x \leq b \\ 0, & 其他 \end{cases}$$
|
||||
|
||||
**分布函数**:
|
||||
$$F(x) = \begin{cases} 0, & x < a \\ \frac{x-a}{b-a}, & a \leq x \leq b \\ 1, & x > b \end{cases}$$
|
||||
|
||||
**期望与方差**:
|
||||
- $E(X) = \frac{a+b}{2}$
|
||||
- $D(X) = \frac{(b-a)^2}{12}$
|
||||
|
||||
**适用场景关键词**:
|
||||
- "等可能"、"随机取一点"
|
||||
- "在[a,b]上均匀分布"
|
||||
- 舍入误差、随机数生成
|
||||
|
||||
**例题特征**:
|
||||
> 公交车每10分钟一班,乘客随机到达,求等待时间不超过3分钟的概率。
|
||||
> → X ~ U(0, 10), P(X ≤ 3) = 0.3
|
||||
|
||||
---
|
||||
|
||||
## 2. 指数分布 Exp(λ)
|
||||
|
||||
**概率密度函数**:
|
||||
$$f(x) = \begin{cases} \lambda e^{-\lambda x}, & x \geq 0 \\ 0, & x < 0 \end{cases}$$
|
||||
|
||||
**分布函数**:
|
||||
$$F(x) = \begin{cases} 1 - e^{-\lambda x}, & x \geq 0 \\ 0, & x < 0 \end{cases}$$
|
||||
|
||||
**期望与方差**:
|
||||
- $E(X) = \frac{1}{\lambda}$
|
||||
- $D(X) = \frac{1}{\lambda^2}$
|
||||
|
||||
**无记忆性**:$P(X > s+t | X > s) = P(X > t)$
|
||||
|
||||
**重要结论**:$P(X > a) = e^{-\lambda a}$($a>0$)
|
||||
|
||||
**适用场景关键词**:
|
||||
- "寿命"、"等待时间"、"服务时间"
|
||||
- "无记忆性"
|
||||
- 电子元件寿命、顾客到达间隔、放射性衰变间隔
|
||||
- 与泊松过程相关(泊松过程的时间间隔服从指数分布)
|
||||
|
||||
**重要关系**:若单位时间内事件发生次数 ~ P(λ),则相邻事件的时间间隔 ~ Exp(λ)
|
||||
|
||||
**例题特征**:
|
||||
> 某元件寿命服从参数λ=0.01的指数分布,求使用超过100小时的概率。
|
||||
> → P(X > 100) = e^(-0.01×100) = e^(-1)
|
||||
|
||||
---
|
||||
|
||||
## 3. 正态分布 N(μ, σ²)
|
||||
|
||||
**概率密度函数**:
|
||||
$$f(x) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}, \quad -\infty < x < +\infty$$
|
||||
|
||||
**期望与方差**:
|
||||
- $E(X) = \mu$
|
||||
- $D(X) = \sigma^2$
|
||||
|
||||
**标准化**:若 $X \sim N(\mu, \sigma^2)$,则 $Z = \frac{X-\mu}{\sigma} \sim N(0,1)$
|
||||
|
||||
**标准正态分布**:$Z \sim N(0,1)$
|
||||
- 密度函数:$\varphi(x) = \frac{1}{\sqrt{2\pi}}e^{-x^2/2}$
|
||||
- 分布函数:$\Phi(x) = P(Z \le x)$
|
||||
|
||||
**区间概率**:若 $X \sim N(\mu, \sigma^2)$,则
|
||||
$$P(a < X \le b) = \Phi\left(\frac{b-\mu}{\sigma}\right) - \Phi\left(\frac{a-\mu}{\sigma}\right)$$
|
||||
|
||||
**标准正态性质**:
|
||||
- $\Phi(-x) = 1 - \Phi(x)$
|
||||
- $\Phi(0) = \frac{1}{2}$
|
||||
- $P(|Z| \le a) = 2\Phi(a) - 1$($a>0$)
|
||||
|
||||
**密度识别**:若 $f(x) = A e^{ax^2+bx+c}$,$a<0$,$-\infty < x < +\infty$,则X为正态分布
|
||||
|
||||
**重要性质**:
|
||||
- 对称性:$\Phi(-x) = 1 - \Phi(x)$
|
||||
- $P(|X-\mu| < \sigma) \approx 68.27\%$
|
||||
- $P(|X-\mu| < 2\sigma) \approx 95.45\%$
|
||||
- $P(|X-\mu| < 3\sigma) \approx 99.73\%$ (3σ原则)
|
||||
|
||||
**适用场景关键词**:
|
||||
- 测量误差、身高体重、考试成绩
|
||||
- "正态分布"、"高斯分布"
|
||||
- 大量独立随机因素叠加的结果
|
||||
|
||||
**例题特征**:
|
||||
> X ~ N(100, 16),求P(92 < X < 108)。
|
||||
> → 标准化:P(-2 < Z < 2) = 2Φ(2) - 1
|
||||
|
||||
---
|
||||
|
||||
## 4. 伽马分布 Γ(α, λ)
|
||||
|
||||
**概率密度函数**:
|
||||
$$f(x) = \begin{cases} \frac{\lambda^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\lambda x}, & x > 0 \\ 0, & x \leq 0 \end{cases}$$
|
||||
|
||||
**期望与方差**:
|
||||
- $E(X) = \frac{\alpha}{\lambda}$
|
||||
- $D(X) = \frac{\alpha}{\lambda^2}$
|
||||
|
||||
**特殊情况**:
|
||||
- α=1 时为指数分布 Exp(λ)
|
||||
- α=n/2, λ=1/2 时为 χ²(n) 分布
|
||||
192
otherdocs/概统/05-多维随机变量及其分布.md
Normal file
192
otherdocs/概统/05-多维随机变量及其分布.md
Normal file
@@ -0,0 +1,192 @@
|
||||
# 五、多维随机变量及其分布
|
||||
|
||||
## 1. 二维分布函数
|
||||
|
||||
**定义**:$F(x,y) = P\{X \leq x, Y \leq y\}$
|
||||
|
||||
**四条基本性质**:
|
||||
|
||||
1. **单调不减性**:F(x,y)是变量x和y的不减函数
|
||||
- 对于任意固定的y,当$x_2 > x_1$时,$F(x_2,y) \geq F(x_1,y)$
|
||||
- 对于任意固定的x,当$y_2 > y_1$时,$F(x,y_2) \geq F(x,y_1)$
|
||||
|
||||
2. **有界性**:$0 \leq F(x,y) \leq 1$,且
|
||||
- $F(-\infty, y) = F(x, -\infty) = 0$
|
||||
- $F(-\infty, -\infty) = 0$,$F(+\infty, +\infty) = 1$
|
||||
|
||||
3. **右连续性**:$F(x+0, y) = F(x, y)$,$F(x, y+0) = F(x, y)$
|
||||
|
||||
4. **非负性**:对于任意$(x_1, y_1), (x_2, y_2)$,$x_1 < x_2$, $y_1 < y_2$,有
|
||||
$$F(x_2, y_2) - F(x_2, y_1) + F(x_1, y_1) - F(x_1, y_2) \geq 0$$
|
||||
|
||||
---
|
||||
|
||||
## 2. 联合分布
|
||||
|
||||
### 离散型:联合分布律
|
||||
$$p_{ij} = P\{X = x_i, Y = y_j\}, \quad i,j = 1,2,...$$
|
||||
|
||||
**性质**:
|
||||
- 非负性:$p_{ij} \geq 0$
|
||||
- 规范性:$\sum_{i=1}^{\infty}\sum_{j=1}^{\infty} p_{ij} = 1$
|
||||
|
||||
### 连续型:联合概率密度
|
||||
$f(x,y)$,$(x,y) \in \mathbb{R}^2$
|
||||
|
||||
**性质**:
|
||||
- 非负性:$f(x,y) \geq 0$
|
||||
- 规范性:$\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} f(x,y)dxdy = F(\infty, \infty) = 1$
|
||||
- 若$f(x,y)$在点$(x,y)$连续,则有$\frac{\partial^2 F(x,y)}{\partial x \partial y} = f(x,y)$
|
||||
|
||||
**区域概率**:点$(X,Y)$落在平面区域$G$内的概率
|
||||
$$P\{(X,Y) \in G\} = \iint_G f(x,y)dxdy$$
|
||||
|
||||
---
|
||||
|
||||
## 3. 边缘分布
|
||||
|
||||
**边缘分布函数**:
|
||||
- $F_X(x) = F(x, \infty)$
|
||||
- $F_Y(y) = F(\infty, y)$
|
||||
|
||||
### 离散型边缘分布律
|
||||
|
||||
$$p_{i\cdot} = \sum_{j=1}^{\infty} p_{ij} = P\{X = x_i\}, \quad i = 1,2,...$$
|
||||
|
||||
$$p_{\cdot j} = \sum_{i=1}^{\infty} p_{ij} = P\{Y = y_j\}, \quad j = 1,2,...$$
|
||||
|
||||
### 连续型边缘概率密度
|
||||
|
||||
$$f_X(x) = \int_{-\infty}^{\infty} f(x,y)dy$$
|
||||
|
||||
$$f_Y(y) = \int_{-\infty}^{\infty} f(x,y)dx$$
|
||||
|
||||
---
|
||||
|
||||
## 3.1 二维均匀分布
|
||||
|
||||
**定义**:若$(X,Y)$在区域$D$上均匀分布,则
|
||||
$$f(x,y) = \begin{cases} \frac{1}{S_D}, & (x,y) \in D \\ 0, & \text{其他} \end{cases}$$
|
||||
其中$S_D$为区域D的面积。
|
||||
|
||||
**结论1**:$P\{(X,Y) \in G\} = \frac{S_G}{S_D}$(面积之比)
|
||||
|
||||
**结论2**:若$D=\{(x,y)\mid a \le x \le b, c \le y \le d\}$,则
|
||||
$X \sim U(a,b)$,$Y \sim U(c,d)$,且X与Y相互独立。
|
||||
|
||||
**结论3**:X、Y的边缘分布不一定是均匀分布。
|
||||
|
||||
---
|
||||
|
||||
## 4. 条件分布与条件密度
|
||||
|
||||
### 离散型
|
||||
|
||||
在$Y = y_j$条件下X的条件分布律:
|
||||
$$P\{X = x_i | Y = y_j\} = \frac{P\{X = x_i, Y = y_j\}}{P\{Y = y_j\}} = \frac{p_{ij}}{p_{\cdot j}}$$
|
||||
|
||||
在$X = x_i$条件下Y的条件分布律:
|
||||
$$P\{Y = y_j | X = x_i\} = \frac{P\{X = x_i, Y = y_j\}}{P\{X = x_i\}} = \frac{p_{ij}}{p_{i\cdot}}$$
|
||||
|
||||
### 连续型
|
||||
|
||||
在$Y = y$条件下X的条件概率密度:
|
||||
$$f_{X|Y}(x|y) = \frac{f(x,y)}{f_Y(y)}$$
|
||||
|
||||
在$Y = y$条件下X的条件分布函数:
|
||||
$$F_{X|Y}(x|y) = P\{X \leq x | Y = y\} = \int_{-\infty}^{x} \frac{f(x,y)}{f_Y(y)}dx$$
|
||||
|
||||
---
|
||||
|
||||
## 5. 相互独立的随机变量
|
||||
|
||||
**定义**:设$F(x,y)$及$F_X(x), F_Y(y)$分别是二维随机变量$(X,Y)$的分布函数及边缘分布函数,若对于所有$x,y$有
|
||||
$$P\{X \leq x, Y \leq y\} = P\{X \leq x\}P\{Y \leq y\}$$
|
||||
即
|
||||
$$F(x,y) = F_X(x)F_Y(y)$$
|
||||
则称随机变量X和Y是**相互独立**的。
|
||||
|
||||
**独立性判定**:
|
||||
- **连续型**:X和Y相互独立 $\Leftrightarrow$ $f(x,y) = f_X(x)f_Y(y)$ 在平面上几乎处处成立
|
||||
- **离散型**:X和Y相互独立 $\Leftrightarrow$ 对于所有可能取值$(x_i, y_j)$有 $P\{X = x_i, Y = y_j\} = P\{X = x_i\}P\{Y = y_j\}$
|
||||
|
||||
---
|
||||
|
||||
## 6. 二维正态分布(重点性质)
|
||||
|
||||
设$(X,Y) \sim N(\mu_1,\mu_2;\sigma_1^2,\sigma_2^2;\rho)$,则
|
||||
1. $X \sim N(\mu_1,\sigma_1^2)$,$Y \sim N(\mu_2,\sigma_2^2)$
|
||||
2. $X$与$Y$相互独立 $\Leftrightarrow \rho=0$
|
||||
3. 任意非零线性组合$aX+bY$仍服从正态分布
|
||||
|
||||
---
|
||||
|
||||
## 7. 两个随机变量函数的分布
|
||||
|
||||
### (1) Z = X + Y 的分布(卷积公式)
|
||||
|
||||
设$(X,Y)$是二维连续型随机变量,具有概率密度$f(x,y)$,则$Z = X + Y$的概率密度为
|
||||
$$f_{X+Y}(z) = \int_{-\infty}^{+\infty} f(z-y, y)dy = \int_{-\infty}^{+\infty} f(x, z-x)dx$$
|
||||
|
||||
若X和Y相互独立,边缘概率密度为$f_X(x), f_Y(y)$,则有**卷积公式**:
|
||||
$$f_{X+Y}(z) = f_X * f_Y = \int_{-\infty}^{+\infty} f_X(z-y)f_Y(y)dy = \int_{-\infty}^{+\infty} f_X(x)f_Y(z-x)dx$$
|
||||
|
||||
### (2) Z = Y/X 的分布、Z = XY 的分布
|
||||
|
||||
设$(X,Y)$是二维连续型随机变量,概率密度为$f(x,y)$
|
||||
|
||||
$$f_{Y/X}(z) = \int_{-\infty}^{\infty} |x|f(x, xz)dx$$
|
||||
|
||||
$$f_{XY}(z) = \int_{-\infty}^{\infty} \frac{1}{|x|}f(x, \frac{z}{x})dx$$
|
||||
|
||||
若X和Y相互独立,边缘概率密度为$f_X(x), f_Y(y)$,则有:
|
||||
$$f_{Y/X}(z) = \int_{-\infty}^{\infty} |x|f_X(x)f_Y(xz)dx$$
|
||||
|
||||
$$f_{XY}(z) = \int_{-\infty}^{\infty} \frac{1}{|x|}f_X(x)f_Y(\frac{z}{x})dx$$
|
||||
|
||||
### (3) M = max{X,Y} 及 N = min{X,Y} 的分布
|
||||
|
||||
设X,Y是两个相互独立的随机变量,分布函数分别为$F_X(x), F_Y(y)$
|
||||
|
||||
**最大值的分布**:
|
||||
$$F_{\max}(z) = P\{M \leq z\} = P\{X \leq z, Y \leq z\} = F_X(z)F_Y(z)$$
|
||||
|
||||
**最小值的分布**:
|
||||
$$F_{\min}(z) = P\{N \leq z\} = 1 - P\{N > z\} = 1 - P\{X > z, Y > z\}$$
|
||||
$$= 1 - [1-F_X(z)][1-F_Y(z)]$$
|
||||
|
||||
**推广**:若$X_1, X_2, ..., X_n$独立同分布,分布函数为$F(x)$,则
|
||||
- $F_{\max}(z) = [F(z)]^n$
|
||||
- $F_{\min}(z) = 1 - [1-F(z)]^n$
|
||||
|
||||
---
|
||||
|
||||
## 8. 多维随机变量典型例题
|
||||
|
||||
**例**:设随机变量(X,Y)的概率密度为
|
||||
$$f(x,y) = \begin{cases} \frac{1}{2}(x+y)e^{-(x+y)}, & x > 0, y > 0 \\ 0, & \text{其他} \end{cases}$$
|
||||
|
||||
(1) 问:X和Y是否相互独立?(2) 求Z = X + Y的概率密度。
|
||||
|
||||
**解**:
|
||||
|
||||
(1) (X,Y)关于X的边缘概率密度为
|
||||
$$f_X(x) = \int_{-\infty}^{+\infty} f(x,y)dy = \begin{cases} \int_0^{+\infty} \frac{1}{2}(x+y)e^{-(x+y)}dy, & x > 0 \\ 0, & x \leq 0 \end{cases} = \begin{cases} \frac{1}{2}(x+1)e^{-x}, & x > 0 \\ 0, & x \leq 0 \end{cases}$$
|
||||
|
||||
同理,$f_Y(y) = \begin{cases} \frac{1}{2}(y+1)e^{-y}, & y > 0 \\ 0, & y \leq 0 \end{cases}$
|
||||
|
||||
而 $f_X(x) \cdot f_Y(y) = \begin{cases} \frac{1}{4}(x+1)(y+1)e^{-(x+y)}, & x > 0, y > 0 \\ 0, & \text{其他} \end{cases}$
|
||||
|
||||
显然 $f_X(x) \cdot f_Y(y) \neq f(x,y)$,故X和Y**不独立**。
|
||||
|
||||
(2) Z = X + Y的概率密度为
|
||||
$$f_Z(z) = \int_{-\infty}^{+\infty} f(x, z-x)dx$$
|
||||
|
||||
只有当$x > 0$且$z - x > 0$,即$0 < x < z$时,被积函数不为零。
|
||||
|
||||
当$z \leq 0$时,$f_Z(z) = 0$
|
||||
|
||||
当$z > 0$时,
|
||||
$$f_Z(z) = \int_0^z \frac{1}{2}(x + z - x) \cdot e^{-(x+z-x)}dx = \int_0^z \frac{1}{2}ze^{-z}dx = \frac{1}{2}z^2e^{-z}$$
|
||||
|
||||
所以 $f_Z(z) = \begin{cases} \frac{1}{2}z^2e^{-z}, & z > 0 \\ 0, & z \leq 0 \end{cases}$
|
||||
134
otherdocs/概统/06-随机变量的数字特征.md
Normal file
134
otherdocs/概统/06-随机变量的数字特征.md
Normal file
@@ -0,0 +1,134 @@
|
||||
# 六、随机变量的数字特征
|
||||
|
||||
## 1. 数学期望
|
||||
|
||||
**定义**:
|
||||
|
||||
离散型:设$P\{X = x_k\} = p_k$,若$\sum_{k=1}^{\infty} x_k p_k$绝对收敛,则
|
||||
$$E(X) = \sum_{k=1}^{\infty} x_k p_k$$
|
||||
|
||||
连续型:若$\int_{-\infty}^{\infty} xf(x)dx$绝对收敛,则
|
||||
$$E(X) = \int_{-\infty}^{\infty} xf(x)dx$$
|
||||
|
||||
**随机变量函数的期望**:
|
||||
|
||||
设$Y = g(X)$,g是连续函数
|
||||
- 离散型:$E(Y) = E[g(X)] = \sum_{k=1}^{\infty} g(x_k)p_k$
|
||||
- 连续型:$E(Y) = E[g(X)] = \int_{-\infty}^{\infty} g(x)f(x)dx$
|
||||
|
||||
**数学期望性质**:
|
||||
1. 设C是常数,则$E(C) = C$
|
||||
2. 设X是随机变量,C是常数,则$E(X + C) = E(X) + C$
|
||||
3. 设X是随机变量,C是常数,则$E(CX) = CE(X)$
|
||||
4. 设X,Y是两个随机变量,则$E(X \pm Y) = E(X) \pm E(Y)$(可推广到任意有限个)
|
||||
5. 设X,Y是相互独立的随机变量,则$E(XY) = E(X)E(Y)$(可推广到任意有限个)
|
||||
|
||||
---
|
||||
|
||||
## 2. 方差与标准差
|
||||
|
||||
**定义**:$D(X) = E\{[X - E(X)]^2\}$
|
||||
|
||||
**计算公式**:$D(X) = E(X^2) - [E(X)]^2$
|
||||
|
||||
**标准差**:$\sigma(X) = \sqrt{D(X)}$
|
||||
|
||||
**方差的计算**:
|
||||
|
||||
离散型:$D(X) = \sum_{k=1}^{\infty} [x_k - E(X)]^2 p_k$
|
||||
|
||||
连续型:$D(X) = \int_{-\infty}^{\infty} [x - E(X)]^2 f(x)dx$
|
||||
|
||||
**方差性质**:
|
||||
1. 设C是常数,则$D(C) = 0$
|
||||
2. 设X是随机变量,C是常数,则$D(CX) = C^2D(X)$,$D(X + C) = D(X)$
|
||||
3. 设X,Y是两个随机变量,则
|
||||
$$D(X \pm Y) = D(X) + D(Y) \pm 2Cov(X,Y)$$
|
||||
特别地,若X,Y相互独立,则$D(X \pm Y) = D(X) + D(Y)$
|
||||
4. $D(X) = 0$的充要条件是X以概率1取常数$E(X)$,即$P\{X = E(X)\} = 1$
|
||||
|
||||
---
|
||||
|
||||
## 3. 协方差
|
||||
|
||||
**定义**:$Cov(X,Y) = E\{[X - E(X)][Y - E(Y)]\}$
|
||||
|
||||
**计算公式**:$Cov(X,Y) = E(XY) - E(X)E(Y)$
|
||||
|
||||
**性质**:
|
||||
1. $Cov(X,Y) = Cov(Y,X)$(对称性)
|
||||
2. $Cov(X,C) = 0$(C为常数)
|
||||
3. $Cov(X,X) = D(X)$
|
||||
4. $Cov(aX, bY) = ab \cdot Cov(X,Y)$,a,b是常数
|
||||
5. $Cov(X_1 + X_2, Y) = Cov(X_1, Y) + Cov(X_2, Y)$(双线性)
|
||||
6. 若X,Y相互独立,则$Cov(X,Y)=0$
|
||||
|
||||
**与方差的关系**:
|
||||
$$D(X + Y) = D(X) + D(Y) + 2Cov(X,Y)$$
|
||||
|
||||
---
|
||||
|
||||
## 4. 相关系数
|
||||
|
||||
**定义**:
|
||||
$$\rho_{XY} = \frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$
|
||||
|
||||
**性质**:
|
||||
1. $|\rho_{XY}| \leq 1$
|
||||
2. $|\rho_{XY}| = 1$的充要条件是,存在常数a,b使$P\{Y = a + bX\} = 1$(线性关系)
|
||||
3. 若X,Y相互独立,则$\rho_{XY} = 0$(不相关)
|
||||
4. **不相关 ≠ 独立**:$\rho_{XY} = 0$只说明X,Y没有线性关系,可能有非线性关系
|
||||
|
||||
**不相关的等价条件**(以下四条等价):
|
||||
- $\rho_{XY} = 0$
|
||||
- $Cov(X,Y) = 0$
|
||||
- $E(XY) = E(X)E(Y)$
|
||||
- $D(X + Y) = D(X) + D(Y)$
|
||||
|
||||
---
|
||||
|
||||
## 5. 矩
|
||||
|
||||
**定义**:设X和Y是随机变量
|
||||
|
||||
| 矩的类型 | 定义 | 说明 |
|
||||
|---------|------|------|
|
||||
| **k阶原点矩** | $E(X^k)$,$k = 1,2,...$ | 一阶原点矩就是期望E(X) |
|
||||
| **k阶中心矩** | $E\{[X - E(X)]^k\}$,$k = 2,3,...$ | 二阶中心矩就是方差D(X) |
|
||||
| **k+l阶混合矩** | $E(X^k Y^l)$,$k,l = 1,2,...$ | |
|
||||
| **k+l阶混合中心矩** | $E\{[X-E(X)]^k[Y-E(Y)]^l\}$ | 二阶混合中心矩就是协方差Cov(X,Y) |
|
||||
|
||||
---
|
||||
|
||||
## 6. 切比雪夫不等式
|
||||
|
||||
设$E(X)=\mu$,$D(X)=\sigma^2$存在,则对任意$\varepsilon>0$,
|
||||
$$P\{|X-\mu| \ge \varepsilon\} \le \frac{\sigma^2}{\varepsilon^2}$$
|
||||
等价地,
|
||||
$$P\{|X-\mu| < \varepsilon\} \ge 1 - \frac{\sigma^2}{\varepsilon^2}$$
|
||||
|
||||
---
|
||||
|
||||
## 7. 数字特征典型例题
|
||||
|
||||
**例**:设随机变量$X \sim N(\mu, \sigma^2)$,$Y \sim N(\mu, \sigma^2)$,且设X,Y相互独立,求$Z_1 = \alpha X + \beta Y$和$Z_2 = \alpha X - \beta Y$的相关系数(其中$\alpha, \beta$是不为零的常数)。
|
||||
|
||||
**解**:由于$X, Y \sim N(\mu, \sigma^2)$,可得
|
||||
$$E(X) = E(Y) = \mu, \quad D(X) = D(Y) = \sigma^2$$
|
||||
|
||||
$Z_1$和$Z_2$的相关系数:
|
||||
$$\rho_{Z_1Z_2} = \frac{E(Z_1Z_2) - E(Z_1) \cdot E(Z_2)}{\sqrt{D(Z_1)} \cdot \sqrt{D(Z_2)}}$$
|
||||
|
||||
由$E(Z_1) = E(\alpha X + \beta Y) = \alpha E(X) + \beta E(Y) = (\alpha + \beta)\mu$
|
||||
|
||||
$E(Z_2) = E(\alpha X - \beta Y) = \alpha E(X) - \beta E(Y) = (\alpha - \beta)\mu$
|
||||
|
||||
又$E(Z_1Z_2) = E[(\alpha X + \beta Y)(\alpha X - \beta Y)] = E(\alpha^2 X^2 - \beta^2 Y^2) = \alpha^2 E(X^2) - \beta^2 E(Y^2)$
|
||||
$= (\alpha^2 - \beta^2)(\sigma^2 + \mu^2)$
|
||||
|
||||
$D(Z_1) = D(\alpha X + \beta Y) = \alpha^2 D(X) + \beta^2 D(Y) = (\alpha^2 + \beta^2)\sigma^2$
|
||||
|
||||
$D(Z_2) = D(\alpha X - \beta Y) = \alpha^2 D(X) + \beta^2 D(Y) = (\alpha^2 + \beta^2)\sigma^2$
|
||||
|
||||
于是
|
||||
$$\rho_{Z_1Z_2} = \frac{(\alpha^2 - \beta^2)(\sigma^2 + \mu^2) - (\alpha + \beta)\mu(\alpha - \beta)\mu}{\sqrt{(\alpha^2 + \beta^2)\sigma^2} \cdot \sqrt{(\alpha^2 + \beta^2)\sigma^2}} = \frac{(\alpha^2 - \beta^2)\sigma^2}{(\alpha^2 + \beta^2)\sigma^2} = \frac{\alpha^2 - \beta^2}{\alpha^2 + \beta^2}$$
|
||||
97
otherdocs/概统/07-抽样分布.md
Normal file
97
otherdocs/概统/07-抽样分布.md
Normal file
@@ -0,0 +1,97 @@
|
||||
# 七、抽样分布
|
||||
|
||||
设 $X_1, X_2, ..., X_n$ 是来自总体的简单随机样本
|
||||
|
||||
**样本均值**:$\bar{X} = \frac{1}{n}\sum_{i=1}^{n}X_i$
|
||||
|
||||
**样本方差**:$S^2 = \frac{1}{n-1}\sum_{i=1}^{n}(X_i - \bar{X})^2$
|
||||
|
||||
**样本标准差**:$S = \sqrt{S^2}$
|
||||
|
||||
**常用结论**(设总体$E(X)=\mu$,$D(X)=\sigma^2$):
|
||||
1. $E(X_i) = \mu$,$D(X_i) = \sigma^2$
|
||||
2. $E(\bar{X}) = \mu$,$D(\bar{X}) = \frac{\sigma^2}{n}$
|
||||
3. $E\left(\sum_{i=1}^{n}X_i\right) = n\mu$,$D\left(\sum_{i=1}^{n}X_i\right) = n\sigma^2$
|
||||
4. $E(S^2) = \sigma^2$
|
||||
|
||||
---
|
||||
|
||||
## 0. 中心极限定理
|
||||
|
||||
设$X_1, X_2, ..., X_n$独立同分布,且$E(X_i)=\mu$,$D(X_i)=\sigma^2$,则当n充分大时,
|
||||
$$\sum_{i=1}^{n}X_i \approx N(n\mu, n\sigma^2), \quad \bar{X} \approx N\left(\mu, \frac{\sigma^2}{n}\right)$$
|
||||
|
||||
**二项分布特例**:若$X \sim B(n,p)$且n充分大,则$X \approx N(np, np(1-p))$
|
||||
|
||||
---
|
||||
|
||||
## 1. χ²分布 (卡方分布)
|
||||
|
||||
**定义**:设 $X_1, X_2, ..., X_n$ 独立同分布于 N(0,1),则
|
||||
$$\chi^2 = \sum_{i=1}^{n}X_i^2 \sim \chi^2(n)$$
|
||||
|
||||
**期望与方差**:
|
||||
- $E(\chi^2) = n$
|
||||
- $D(\chi^2) = 2n$
|
||||
|
||||
**可加性**:$\chi_1^2(n_1) + \chi_2^2(n_2) \sim \chi^2(n_1+n_2)$(独立时)
|
||||
|
||||
**重要定理**:设总体 $X \sim N(\mu, \sigma^2)$
|
||||
$$\frac{(n-1)S^2}{\sigma^2} = \frac{\sum_{i=1}^{n}(X_i-\bar{X})^2}{\sigma^2} \sim \chi^2(n-1)$$
|
||||
|
||||
---
|
||||
|
||||
## 2. t分布(学生t分布)
|
||||
|
||||
**定义**:设 $X \sim N(0,1)$,$Y \sim \chi^2(n)$,X与Y独立,则
|
||||
$$t = \frac{X}{\sqrt{Y/n}} \sim t(n)$$
|
||||
|
||||
**性质**:
|
||||
- 关于0对称
|
||||
- n→∞ 时趋近于 N(0,1)
|
||||
- 比正态分布"矮胖"(尾部更厚)
|
||||
|
||||
**重要定理**:设总体 $X \sim N(\mu, \sigma^2)$
|
||||
$$\frac{\bar{X} - \mu}{S/\sqrt{n}} \sim t(n-1)$$
|
||||
|
||||
**应用**:总体方差未知时,对均值的推断
|
||||
|
||||
---
|
||||
|
||||
## 3. F分布
|
||||
|
||||
**定义**:设 $X \sim \chi^2(n_1)$,$Y \sim \chi^2(n_2)$,X与Y独立,则
|
||||
$$F = \frac{X/n_1}{Y/n_2} \sim F(n_1, n_2)$$
|
||||
|
||||
**性质**:
|
||||
- $\frac{1}{F(n_1,n_2)} \sim F(n_2, n_1)$
|
||||
- $F_{1-\alpha}(n_1, n_2) = \frac{1}{F_\alpha(n_2, n_1)}$
|
||||
|
||||
**重要定理**:设两个正态总体 $X \sim N(\mu_1, \sigma_1^2)$,$Y \sim N(\mu_2, \sigma_2^2)$
|
||||
$$\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2} \sim F(n_1-1, n_2-1)$$
|
||||
|
||||
**应用**:两总体方差比的推断
|
||||
|
||||
---
|
||||
|
||||
## 4. 正态总体的抽样分布总结
|
||||
|
||||
设 $X \sim N(\mu, \sigma^2)$,$X_1, ..., X_n$ 为样本
|
||||
|
||||
| 条件 | 统计量 | 分布 |
|
||||
|------|--------|------|
|
||||
| σ²已知 | $\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}$ | N(0,1) |
|
||||
| σ²未知 | $\frac{\bar{X}-\mu}{S/\sqrt{n}}$ | t(n-1) |
|
||||
| μ已知 | $\frac{\sum(X_i-\mu)^2}{\sigma^2}$ | χ²(n) |
|
||||
| μ未知 | $\frac{(n-1)S^2}{\sigma^2}$ | χ²(n-1) |
|
||||
|
||||
---
|
||||
|
||||
## 5. **重点:单正态抽样分布(整体背熟)**
|
||||
|
||||
设 $X_1, X_2, \ldots, X_n$ 来自正态总体 $X \sim N(\mu, \sigma^2)$,则
|
||||
1. $\bar{X} \sim N\left(\mu, \frac{\sigma^2}{n}\right)$
|
||||
2. $\bar{X}$ 与 $S^2$ 相互独立
|
||||
3. $\frac{(n-1)S^2}{\sigma^2} = \frac{\sum_{i=1}^{n}(X_i-\bar{X})^2}{\sigma^2} \sim \chi^2(n-1)$
|
||||
4. $\frac{\sum_{i=1}^{n}(X_i-\mu)^2}{\sigma^2} \sim \chi^2(n)$
|
||||
5. $\frac{\bar{X}-\mu}{S/\sqrt{n}} \sim t(n-1)$
|
||||
67
otherdocs/概统/08-题型判断指南.md
Normal file
67
otherdocs/概统/08-题型判断指南.md
Normal file
@@ -0,0 +1,67 @@
|
||||
# 八、题型判断指南:如何选择分布
|
||||
|
||||
## 第一步:判断离散还是连续
|
||||
|
||||
| 类型 | 特征 | 常见分布 |
|
||||
|------|------|----------|
|
||||
| **离散型** | 取值可列举(0,1,2,...) | 二项、泊松、几何、超几何 |
|
||||
| **连续型** | 取值为区间 | 均匀、指数、正态 |
|
||||
|
||||
---
|
||||
|
||||
## 第二步:根据关键词选择分布
|
||||
|
||||
### 离散型分布选择
|
||||
|
||||
```
|
||||
问题类型判断流程:
|
||||
|
||||
1. 是否涉及"不放回抽样"且总体较小?
|
||||
→ 是:超几何分布
|
||||
|
||||
2. 是否是"n次独立试验,成功k次"?
|
||||
→ 是:二项分布 B(n,p)
|
||||
|
||||
3. 是否是"单位时间/空间内发生次数"或"稀有事件"?
|
||||
→ 是:泊松分布 P(λ)
|
||||
|
||||
4. 是否是"首次成功所需次数"?
|
||||
→ 是:几何分布 G(p)
|
||||
|
||||
5. 是否是"第r次成功所需次数"?
|
||||
→ 是:负二项分布 NB(r,p)
|
||||
```
|
||||
|
||||
### 连续型分布选择
|
||||
|
||||
```
|
||||
问题类型判断流程:
|
||||
|
||||
1. 是否"等可能"在某区间取值?
|
||||
→ 是:均匀分布 U(a,b)
|
||||
|
||||
2. 是否涉及"寿命"、"等待时间"、"无记忆性"?
|
||||
→ 是:指数分布 Exp(λ)
|
||||
|
||||
3. 是否涉及测量误差、大量因素叠加?
|
||||
→ 是:正态分布 N(μ,σ²)
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 常见题型与对应分布
|
||||
|
||||
| 题型 | 分布 | 示例 |
|
||||
|------|------|------|
|
||||
| 投掷硬币/骰子n次 | 二项分布 | 掷10次骰子,6点出现3次 |
|
||||
| 射击命中次数 | 二项分布 | 射击10次,命中8次 |
|
||||
| 产品抽检(放回/大批量) | 二项分布 | 100件抽10件,次品数 |
|
||||
| 产品抽检(不放回/小批量) | 超几何分布 | 10件抽4件,次品数 |
|
||||
| 电话/顾客到达 | 泊松分布 | 每小时平均5个电话 |
|
||||
| 事故/故障次数 | 泊松分布 | 每天平均2起事故 |
|
||||
| 直到首次成功 | 几何分布 | 首次抽到红球 |
|
||||
| 随机选点/等车 | 均匀分布 | 公交车每10分钟一班 |
|
||||
| 元件寿命 | 指数分布 | 灯泡寿命 |
|
||||
| 服务时间 | 指数分布 | 银行服务时间 |
|
||||
| 身高体重成绩 | 正态分布 | 学生成绩分布 |
|
||||
| 测量误差 | 正态分布 | 仪器测量误差 |
|
||||
193
otherdocs/概统/09-假设检验.md
Normal file
193
otherdocs/概统/09-假设检验.md
Normal file
@@ -0,0 +1,193 @@
|
||||
# 九、假设检验
|
||||
|
||||
## 1. 基本概念
|
||||
|
||||
**原假设 $H_0$**:需要检验的假设(通常是"无差异"、"等于")
|
||||
|
||||
**备择假设 $H_1$**:与原假设对立的假设
|
||||
|
||||
**两类错误**:
|
||||
|
||||
| 错误类型 | 定义 | 概率 |
|
||||
|----------|------|------|
|
||||
| **第一类错误(弃真)** | H₀为真却拒绝H₀ | α(显著性水平) |
|
||||
| **第二类错误(取伪)** | H₀为假却接受H₀ | β |
|
||||
|
||||
**显著性水平 α**:犯第一类错误的概率上限,常取 0.05 或 0.01
|
||||
|
||||
**检验的基本思想**:小概率事件原理——小概率事件在一次试验中几乎不会发生
|
||||
|
||||
**显著性检验**:给定样本量n,控制第一类错误的概率不大于α(称为显著性水平)。
|
||||
|
||||
---
|
||||
|
||||
## 2. 假设检验的步骤(五步法)
|
||||
|
||||
```
|
||||
Step 1: 建立假设
|
||||
根据问题建立 H₀ 和 H₁
|
||||
|
||||
Step 2: 选择检验统计量
|
||||
根据问题类型和已知条件选择
|
||||
|
||||
Step 3: 确定拒绝域
|
||||
根据 α 和 H₁ 的形式确定临界值
|
||||
|
||||
Step 4: 计算统计量的值
|
||||
用样本数据计算检验统计量
|
||||
|
||||
Step 5: 做出判断
|
||||
统计量落入拒绝域 → 拒绝 H₀
|
||||
统计量不在拒绝域 → 不拒绝 H₀
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 3. 单个正态总体的检验
|
||||
|
||||
### (1) 均值μ的检验(σ²已知)—— Z检验
|
||||
|
||||
**假设形式**:
|
||||
- 双侧:$H_0: \mu = \mu_0$ vs $H_1: \mu \neq \mu_0$
|
||||
- 左侧:$H_0: \mu \geq \mu_0$ vs $H_1: \mu < \mu_0$
|
||||
- 右侧:$H_0: \mu \leq \mu_0$ vs $H_1: \mu > \mu_0$
|
||||
|
||||
**检验统计量**:
|
||||
$$Z = \frac{\bar{X} - \mu_0}{\sigma/\sqrt{n}} \sim N(0,1)$$
|
||||
|
||||
**拒绝域**:
|
||||
|
||||
| 备择假设 | 拒绝域 |
|
||||
|----------|--------|
|
||||
| $\mu \neq \mu_0$ | $\|Z\| > z_{\alpha/2}$ |
|
||||
| $\mu < \mu_0$ | $Z < -z_\alpha$ |
|
||||
| $\mu > \mu_0$ | $Z > z_\alpha$ |
|
||||
|
||||
---
|
||||
|
||||
### (2) 均值μ的检验(σ²未知)—— t检验
|
||||
|
||||
**检验统计量**:
|
||||
$$t = \frac{\bar{X} - \mu_0}{S/\sqrt{n}} \sim t(n-1)$$
|
||||
|
||||
**拒绝域**:
|
||||
|
||||
| 备择假设 | 拒绝域 |
|
||||
|----------|--------|
|
||||
| $\mu \neq \mu_0$ | $\|t\| > t_{\alpha/2}(n-1)$ |
|
||||
| $\mu < \mu_0$ | $t < -t_\alpha(n-1)$ |
|
||||
| $\mu > \mu_0$ | $t > t_\alpha(n-1)$ |
|
||||
|
||||
**均值检验分类速记**(总体$X \sim N(\mu,\sigma^2)$):
|
||||
1. 双侧:$H_0:\mu=\mu_0$,拒绝域 $|U|>u_{\alpha/2}$($\sigma^2$已知),或 $|T|>t_{\alpha/2}(n-1)$($\sigma^2$未知)
|
||||
2. 右侧:$H_0:\mu\le\mu_0$,拒绝域 $U>u_{\alpha}$ 或 $T>t_{\alpha}(n-1)$
|
||||
3. 左侧:$H_0:\mu\ge\mu_0$,拒绝域 $U<-u_{\alpha}$ 或 $T<-t_{\alpha}(n-1)$
|
||||
|
||||
---
|
||||
|
||||
### (3) 方差σ²的检验(μ未知)—— χ²检验
|
||||
|
||||
**假设**:$H_0: \sigma^2 = \sigma_0^2$ vs $H_1: \sigma^2 \neq \sigma_0^2$
|
||||
|
||||
**检验统计量**:
|
||||
$$\chi^2 = \frac{(n-1)S^2}{\sigma_0^2} \sim \chi^2(n-1)$$
|
||||
|
||||
**拒绝域**:
|
||||
|
||||
| 备择假设 | 拒绝域 |
|
||||
|----------|--------|
|
||||
| $\sigma^2 \neq \sigma_0^2$ | $\chi^2 < \chi^2_{1-\alpha/2}(n-1)$ 或 $\chi^2 > \chi^2_{\alpha/2}(n-1)$ |
|
||||
| $\sigma^2 < \sigma_0^2$ | $\chi^2 < \chi^2_{1-\alpha}(n-1)$ |
|
||||
| $\sigma^2 > \sigma_0^2$ | $\chi^2 > \chi^2_\alpha(n-1)$ |
|
||||
|
||||
### (4) 方差σ²的检验(μ已知/未知)—— χ²检验汇总
|
||||
|
||||
**假设**:
|
||||
1. $H_0:\sigma^2=\sigma_0^2$,$H_1:\sigma^2\neq\sigma_0^2$
|
||||
2. $H_0:\sigma^2\le\sigma_0^2$,$H_1:\sigma^2>\sigma_0^2$
|
||||
3. $H_0:\sigma^2\ge\sigma_0^2$,$H_1:\sigma^2<\sigma_0^2$
|
||||
|
||||
**检验统计量**:
|
||||
- μ已知:$\chi^2=\frac{\sum_{i=1}^{n}(X_i-\mu)^2}{\sigma_0^2} \sim \chi^2(n)$
|
||||
- μ未知:$\chi^2=\frac{(n-1)S^2}{\sigma_0^2} \sim \chi^2(n-1)$
|
||||
|
||||
**拒绝域**:
|
||||
- 双侧:$\chi^2>\chi^2_{\alpha/2}(\nu)$ 或 $\chi^2<\chi^2_{1-\alpha/2}(\nu)$
|
||||
- 右侧:$\chi^2>\chi^2_{\alpha}(\nu)$
|
||||
- 左侧:$\chi^2<\chi^2_{1-\alpha}(\nu)$
|
||||
其中$\nu=n$(μ已知)或$\nu=n-1$(μ未知)。
|
||||
|
||||
---
|
||||
|
||||
## 4. 两个正态总体的检验
|
||||
|
||||
### (1) 均值差的检验(σ₁², σ₂²已知)—— Z检验
|
||||
|
||||
**检验统计量**:
|
||||
$$Z = \frac{\bar{X} - \bar{Y} - (\mu_1 - \mu_2)_0}{\sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2}}} \sim N(0,1)$$
|
||||
|
||||
---
|
||||
|
||||
### (2) 均值差的检验(σ₁² = σ₂² = σ²未知)—— t检验
|
||||
|
||||
**检验统计量**:
|
||||
$$t = \frac{\bar{X} - \bar{Y} - (\mu_1 - \mu_2)_0}{S_w\sqrt{\frac{1}{n_1} + \frac{1}{n_2}}} \sim t(n_1+n_2-2)$$
|
||||
|
||||
其中 $S_w^2 = \frac{(n_1-1)S_1^2 + (n_2-1)S_2^2}{n_1+n_2-2}$(合并方差)
|
||||
|
||||
---
|
||||
|
||||
### (3) 方差比的检验 —— F检验
|
||||
|
||||
**假设**:$H_0: \sigma_1^2 = \sigma_2^2$ vs $H_1: \sigma_1^2 \neq \sigma_2^2$
|
||||
|
||||
**检验统计量**:
|
||||
$$F = \frac{S_1^2}{S_2^2} \sim F(n_1-1, n_2-1)$$
|
||||
|
||||
**拒绝域**(双侧):
|
||||
$$F < F_{1-\alpha/2}(n_1-1, n_2-1) \quad 或 \quad F > F_{\alpha/2}(n_1-1, n_2-1)$$
|
||||
|
||||
---
|
||||
|
||||
## 5. 检验方法选择指南
|
||||
|
||||
```
|
||||
检验方法选择流程图:
|
||||
|
||||
检验什么?
|
||||
│
|
||||
├─ 均值μ
|
||||
│ ├─ σ²已知 → Z检验
|
||||
│ └─ σ²未知 → t检验
|
||||
│
|
||||
├─ 方差σ²
|
||||
│ └─ μ未知 → χ²检验
|
||||
│
|
||||
└─ 两总体比较
|
||||
├─ 比较μ₁和μ₂
|
||||
│ ├─ σ₁², σ₂²已知 → Z检验
|
||||
│ └─ σ₁² = σ₂²未知 → t检验
|
||||
│
|
||||
└─ 比较σ₁²和σ₂² → F检验
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 6. 检验中的常见错误与注意事项
|
||||
|
||||
1. **假设的写法**:
|
||||
- H₀ 通常包含等号
|
||||
- 题目问"是否显著大于"→ 右侧检验,H₁: μ > μ₀
|
||||
|
||||
2. **单侧 vs 双侧**:
|
||||
- "是否等于"、"有无差异" → 双侧
|
||||
- "是否大于"、"是否提高" → 右侧
|
||||
- "是否小于"、"是否降低" → 左侧
|
||||
|
||||
3. **结论的表述**:
|
||||
- 拒绝H₀:有充分理由认为...
|
||||
- 不拒绝H₀:没有充分理由认为...(不是"接受H₀")
|
||||
|
||||
4. **α的选择**:
|
||||
- 没有特别说明通常取 α = 0.05
|
||||
- 若弃真错误后果严重,取较小的α(如0.01)
|
||||
86
otherdocs/概统/10-公式速查表.md
Normal file
86
otherdocs/概统/10-公式速查表.md
Normal file
@@ -0,0 +1,86 @@
|
||||
# 十、公式速查表
|
||||
|
||||
## 离散型分布速查表
|
||||
|
||||
| 分布 | 记号 | P(X=k) | E(X) | D(X) |
|
||||
|------|------|--------|------|------|
|
||||
| 0-1分布 | b(1,p) | $p^k(1-p)^{1-k}$ | p | p(1-p) |
|
||||
| 二项分布 | B(n,p) | $C_n^k p^k(1-p)^{n-k}$ | np | np(1-p) |
|
||||
| 泊松分布 | P(λ) | $\frac{\lambda^k e^{-\lambda}}{k!}$ | λ | λ |
|
||||
| 几何分布 | G(p) | $(1-p)^{k-1}p$ | $\frac{1}{p}$ | $\frac{1-p}{p^2}$ |
|
||||
| 超几何分布 | H(n,M,N) | $\frac{C_M^k C_{N-M}^{n-k}}{C_N^n}$ | $\frac{nM}{N}$ | 复杂 |
|
||||
|
||||
---
|
||||
|
||||
## 连续型分布速查表
|
||||
|
||||
| 分布 | 记号 | f(x) | E(X) | D(X) |
|
||||
|------|------|------|------|------|
|
||||
| 均匀分布 | U(a,b) | $\frac{1}{b-a}$ | $\frac{a+b}{2}$ | $\frac{(b-a)^2}{12}$ |
|
||||
| 指数分布 | Exp(λ) | $\lambda e^{-\lambda x}$ | $\frac{1}{\lambda}$ | $\frac{1}{\lambda^2}$ |
|
||||
| 正态分布 | N(μ,σ²) | $\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$ | μ | σ² |
|
||||
|
||||
---
|
||||
|
||||
## 抽样分布速查表
|
||||
|
||||
| 分布 | 定义 | E | D |
|
||||
|------|------|---|---|
|
||||
| χ²(n) | $\sum_{i=1}^n Z_i^2$ | n | 2n |
|
||||
| t(n) | $\frac{Z}{\sqrt{\chi^2(n)/n}}$ | 0 (n>1) | $\frac{n}{n-2}$ (n>2) |
|
||||
| F(m,n) | $\frac{\chi^2(m)/m}{\chi^2(n)/n}$ | $\frac{n}{n-2}$ (n>2) | 复杂 |
|
||||
|
||||
---
|
||||
|
||||
## 检验统计量速查表
|
||||
|
||||
| 检验内容 | 条件 | 统计量 | 分布 |
|
||||
|----------|------|--------|------|
|
||||
| 均值μ | σ²已知 | $Z=\frac{\bar{X}-\mu_0}{\sigma/\sqrt{n}}$ | N(0,1) |
|
||||
| 均值μ | σ²未知 | $t=\frac{\bar{X}-\mu_0}{S/\sqrt{n}}$ | t(n-1) |
|
||||
| 方差σ² | μ未知 | $\chi^2=\frac{(n-1)S^2}{\sigma_0^2}$ | χ²(n-1) |
|
||||
| 两均值差 | σ₁²=σ₂²未知 | $t=\frac{\bar{X}-\bar{Y}}{S_w\sqrt{1/n_1+1/n_2}}$ | t(n₁+n₂-2) |
|
||||
| 两方差比 | - | $F=\frac{S_1^2}{S_2^2}$ | F(n₁-1,n₂-1) |
|
||||
|
||||
---
|
||||
|
||||
## 置信区间速查表
|
||||
|
||||
| 参数 | 条件 | 置信区间 |
|
||||
|------|------|----------|
|
||||
| 均值μ | σ²已知 | $\bar{X} \pm z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}}$ |
|
||||
| 均值μ | σ²未知 | $\bar{X} \pm t_{\alpha/2}(n-1) \cdot \frac{S}{\sqrt{n}}$ |
|
||||
| 方差σ² | μ未知 | $\left(\frac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)}, \frac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)}\right)$ |
|
||||
| 两均值差 | σ₁²,σ₂²已知 | $\bar{X} - \bar{Y} \pm z_{\alpha/2} \sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2}}$ |
|
||||
| 两均值差 | σ₁²=σ₂²未知 | $\bar{X} - \bar{Y} \pm t_{\alpha/2}(n_1+n_2-2) \cdot S_w \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}$ |
|
||||
| 方差比 | - | $\left(\frac{S_1^2}{S_2^2} \cdot \frac{1}{F_{\alpha/2}(n_1-1,n_2-1)}, \frac{S_1^2}{S_2^2} \cdot \frac{1}{F_{1-\alpha/2}(n_1-1,n_2-1)}\right)$ |
|
||||
| 比例p | 大样本 | $\hat{p} \pm z_{\alpha/2} \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}$ |
|
||||
|
||||
---
|
||||
|
||||
## 常用分位点表
|
||||
|
||||
### 标准正态分布分位点 $z_\alpha$
|
||||
|
||||
| α | 0.10 | 0.05 | 0.025 | 0.01 | 0.005 |
|
||||
|---|------|------|-------|------|-------|
|
||||
| $z_\alpha$ | 1.282 | 1.645 | 1.960 | 2.326 | 2.576 |
|
||||
|
||||
### t分布分位点 $t_\alpha(n)$(部分)
|
||||
|
||||
| n | t₀.₀₅ | t₀.₀₂₅ | t₀.₀₁ |
|
||||
|---|-------|--------|-------|
|
||||
| 5 | 2.015 | 2.571 | 3.365 |
|
||||
| 10 | 1.812 | 2.228 | 2.764 |
|
||||
| 20 | 1.725 | 2.086 | 2.528 |
|
||||
| 30 | 1.697 | 2.042 | 2.457 |
|
||||
| ∞ | 1.645 | 1.960 | 2.326 |
|
||||
|
||||
---
|
||||
|
||||
## 复习建议
|
||||
|
||||
1. 熟记各分布的期望和方差公式
|
||||
2. 掌握题型关键词,快速判断使用哪个分布
|
||||
3. 检验部分重点掌握五步法和统计量选择
|
||||
4. 多做练习,熟悉计算流程
|
||||
124
otherdocs/概统/11-置信区间.md
Normal file
124
otherdocs/概统/11-置信区间.md
Normal file
@@ -0,0 +1,124 @@
|
||||
# 十一、置信区间
|
||||
|
||||
## 1. 基本概念
|
||||
|
||||
**置信区间**:是在给定置信水平下,包含未知总体参数的一个区间估计。
|
||||
|
||||
**置信水平(置信度)**:是我们对所构造的置信区间包含总体参数真值的可信程度,常用1-α表示,如95%或99%。
|
||||
|
||||
**置信上限与置信下限**:置信区间的两个端点,分别称为置信下限和置信上限。
|
||||
|
||||
## 2. 构造置信区间的基本原理
|
||||
|
||||
置信区间的基本思想来源于统计量的抽样分布。对于参数θ的估计,我们找到一个包含θ的随机区间$[\hat{\theta}_L, \hat{\theta}_U]$,使得:
|
||||
|
||||
$$P(\hat{\theta}_L \leq \theta \leq \hat{\theta}_U) = 1-\alpha$$
|
||||
|
||||
其中1-α为置信水平,α为显著性水平。
|
||||
|
||||
## 3. 单个正态总体参数的置信区间
|
||||
|
||||
### (1) 总体均值μ的置信区间(方差σ²已知)
|
||||
|
||||
使用标准正态分布:
|
||||
|
||||
$$\bar{X} \pm z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}}$$
|
||||
|
||||
其中:
|
||||
- $\bar{X}$:样本均值
|
||||
- $z_{\alpha/2}$:标准正态分布的上α/2分位点
|
||||
- σ:总体标准差
|
||||
- n:样本容量
|
||||
|
||||
### (2) 总体均值μ的置信区间(方差σ²未知)
|
||||
|
||||
使用t分布:
|
||||
|
||||
$$\bar{X} \pm t_{\alpha/2}(n-1) \cdot \frac{S}{\sqrt{n}}$$
|
||||
|
||||
其中:
|
||||
- $t_{\alpha/2}(n-1)$:自由度为n-1的t分布上α/2分位点
|
||||
- S:样本标准差
|
||||
|
||||
### (3) 总体方差σ²的置信区间
|
||||
|
||||
使用χ²分布:
|
||||
|
||||
**μ未知**:
|
||||
$$\left(\frac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)}, \frac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)}\right)$$
|
||||
|
||||
**μ已知**:
|
||||
$$\left(\frac{\sum_{i=1}^{n}(X_i-\mu)^2}{\chi^2_{\alpha/2}(n)}, \frac{\sum_{i=1}^{n}(X_i-\mu)^2}{\chi^2_{1-\alpha/2}(n)}\right)$$
|
||||
|
||||
其中:
|
||||
- $\chi^2_{\alpha/2}(n-1)$和$\chi^2_{1-\alpha/2}(n-1)$分别是自由度为n-1的χ²分布上α/2和1-α/2分位点
|
||||
|
||||
## 4. 两个正态总体参数的置信区间
|
||||
|
||||
### (1) 两个总体均值差μ₁-μ₂的置信区间(方差已知)
|
||||
|
||||
$$\bar{X} - \bar{Y} \pm z_{\alpha/2} \sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2}}$$
|
||||
|
||||
### (2) 两个总体均值差μ₁-μ₂的置信区间(方差未知但相等)
|
||||
|
||||
$$\bar{X} - \bar{Y} \pm t_{\alpha/2}(n_1+n_2-2) \cdot S_w \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}$$
|
||||
|
||||
其中合并标准差 $S_w = \sqrt{\frac{(n_1-1)S_1^2 + (n_2-1)S_2^2}{n_1+n_2-2}}$
|
||||
|
||||
### (3) 两个总体方差比σ₁²/σ₂²的置信区间
|
||||
|
||||
使用F分布:
|
||||
|
||||
$$\left(\frac{S_1^2}{S_2^2} \cdot \frac{1}{F_{\alpha/2}(n_1-1,n_2-1)}, \frac{S_1^2}{S_2^2} \cdot \frac{1}{F_{1-\alpha/2}(n_1-1,n_2-1)}\right)$$
|
||||
|
||||
## 5. 总体比例p的置信区间(大样本)
|
||||
|
||||
对于大样本,可用正态近似:
|
||||
|
||||
$$\hat{p} \pm z_{\alpha/2} \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}$$
|
||||
|
||||
其中$\hat{p} = \frac{x}{n}$是样本比例。
|
||||
|
||||
## 6. 常用置信水平与分位点对应关系
|
||||
|
||||
### 标准正态分布分位点 $z_{\alpha/2}$
|
||||
| 置信水平1-α | α | α/2 | $z_{\alpha/2}$ |
|
||||
|------------|---|-----|----------------|
|
||||
| 90% | 0.10 | 0.05 | 1.645 |
|
||||
| 95% | 0.05 | 0.025 | 1.960 |
|
||||
| 99% | 0.01 | 0.005 | 2.576 |
|
||||
|
||||
### 上分位点记号
|
||||
|
||||
- 若$U \sim N(0,1)$,则$P\{U > u_\alpha\}=\alpha$
|
||||
- 若$T \sim t(n)$,则$P\{T > t_\alpha(n)\}=\alpha$
|
||||
|
||||
### t分布分位点示例 $t_{\alpha/2}(n-1)$
|
||||
| 自由度 | t₀.₀₂₅ | t₀.₀₀₅ |
|
||||
|--------|--------|--------|
|
||||
| 5 | 2.571 | 4.032 |
|
||||
| 10 | 2.228 | 3.169 |
|
||||
| 20 | 2.086 | 2.845 |
|
||||
| 30 | 2.042 | 2.750 |
|
||||
| ∞ | 1.960 | 2.576 |
|
||||
|
||||
## 7. 置信区间的解释
|
||||
|
||||
需要注意置信区间的正确解释:
|
||||
- 置信水平1-α是指构造置信区间的可靠程度
|
||||
- 不是对参数θ落在具体区间$[a,b]$内的概率
|
||||
- 对于已经得到的具体区间$[a,b]$,参数要么在这个区间内,要么不在
|
||||
|
||||
## 8. 影响置信区间宽度的因素
|
||||
|
||||
1. **置信水平1-α**:置信水平越高,区间越宽
|
||||
2. **样本容量n**:样本越大,区间越窄
|
||||
3. **总体变异程度σ**:变异越大,区间越宽
|
||||
4. **数据精度**:测量误差会影响区间宽度
|
||||
|
||||
## 9. 置信区间与假设检验的关系
|
||||
|
||||
置信区间和假设检验是统计推断的两种基本方法,它们之间存在密切联系:
|
||||
|
||||
1. 在显著性水平α下,检验假设H₀: θ=θ₀的接受域就是θ₀的1-α置信区间
|
||||
2. 如果假设检验拒绝原假设,则在相应的置信区间中不包含该假设值
|
||||
189
otherdocs/概统/12-最大似然估计.md
Normal file
189
otherdocs/概统/12-最大似然估计.md
Normal file
@@ -0,0 +1,189 @@
|
||||
# 十二、最大似然估计
|
||||
|
||||
## 1. 基本概念
|
||||
|
||||
### 点估计与矩估计(补充)
|
||||
|
||||
**点估计**:设总体分布$F(x;\theta)$中$\theta$为待估参数,构造统计量$\hat{\theta}(X_1,\ldots,X_n)$,称为$\theta$的估计量;观测值$\hat{\theta}(x_1,\ldots,x_n)$称为$\theta$的估计值。
|
||||
|
||||
**矩**:
|
||||
- k阶原点矩:$E(X^k)$;样本k阶原点矩:$\frac{1}{n}\sum_{i=1}^n X_i^k$
|
||||
- k阶中心矩:$E[(X-EX)^k]$;样本k阶中心矩:$\frac{1}{n}\sum_{i=1}^n (X_i-\bar{X})^k$
|
||||
|
||||
**矩估计(方法)**:令“样本矩 = 总体矩”,解出参数。
|
||||
例如:令$\frac{1}{n}\sum_{i=1}^n X_i = E(X)$,得到$\bar{X} = E(X)$,再解出$\theta = \hat{\theta}(X_1,\ldots,X_n)$。
|
||||
|
||||
### 常见分布的矩估计与最大似然估计(速记)
|
||||
|
||||
| 分布 | 矩估计 | 最大似然估计 |
|
||||
|---|---|---|
|
||||
| 0-1分布 $b(1,p)$ | $\hat{p}=\bar{X}$ | $\hat{p}=\bar{X}$ |
|
||||
| 二项分布 $B(n,p)$(n已知) | $\hat{p}=\frac{\bar{X}}{n}$ | $\hat{p}=\frac{\bar{X}}{n}$ |
|
||||
| 泊松分布 $P(\lambda)$ | $\hat{\lambda}=\bar{X}$ | $\hat{\lambda}=\bar{X}$ |
|
||||
| 均匀分布 $U(a,b)$ | $\hat{a}=\bar{X}-\sqrt{\frac{3}{n}\sum_{i=1}^{n}(X_i-\bar{X})^2}$,$\hat{b}=\bar{X}+\sqrt{\frac{3}{n}\sum_{i=1}^{n}(X_i-\bar{X})^2}$ | $\hat{a}=\min\{X_1,\ldots,X_n\}$,$\hat{b}=\max\{X_1,\ldots,X_n\}$ |
|
||||
| 指数分布 $E(\lambda)$ | $\hat{\lambda}=\frac{1}{\bar{X}}$ | $\hat{\lambda}=\frac{1}{\bar{X}}$ |
|
||||
|
||||
### 无偏性(补充)
|
||||
|
||||
**无偏估计量**:若$E(\hat{\theta})=\theta$,则称$\hat{\theta}$为$\theta$的无偏估计量。
|
||||
|
||||
**常用结论**(设总体$E(X)=\mu$,$D(X)=\sigma^2$,$X_1,\ldots,X_n$为样本):
|
||||
1. $E(X_i)=\mu$,$D(X_i)=\sigma^2$
|
||||
2. $E(\bar{X})=\mu$,$D(\bar{X})=\frac{\sigma^2}{n}$
|
||||
3. $E(S^2)=\sigma^2$
|
||||
|
||||
**例**:若总体$X \sim N(\mu,\sigma^2)$,则$T=\bar{X}^2-\frac{S^2}{n}$为$\mu^2$的无偏估计量。
|
||||
|
||||
**最大似然估计(Maximum Likelihood Estimation, MLE)**:是一种常用的参数估计方法,基于已观测到的数据来估计统计模型中未知参数的值。其基本思想是寻找使观测数据出现概率最大的参数值。
|
||||
|
||||
**似然函数**:设总体X的概率分布(或密度函数)为f(x;θ),其中θ是未知参数。给定样本观测值x₁,x₂,...,xₙ,视为参数θ的函数:
|
||||
$$L(\theta) = L(\theta; x_1, x_2, ..., x_n) = \prod_{i=1}^{n} f(x_i; \theta)$$
|
||||
|
||||
这就是似然函数。
|
||||
|
||||
## 2. 最大似然估计的求解步骤
|
||||
|
||||
1. **写出似然函数**:
|
||||
$$L(\theta) = \prod_{i=1}^{n} f(x_i; \theta)$$
|
||||
|
||||
2. **取对数得到对数似然函数**(便于计算):
|
||||
$$\ln L(\theta) = \sum_{i=1}^{n} \ln f(x_i; \theta)$$
|
||||
|
||||
3. **对参数θ求导并令导数等于零**:
|
||||
$$\frac{d\ln L(\theta)}{d\theta} = 0$$
|
||||
|
||||
4. **解方程得到最大似然估计值** $\hat{\theta}$
|
||||
|
||||
注:有时还需验证二阶导数小于零以确认极大值。
|
||||
|
||||
## 3. 常见分布的最大似然估计
|
||||
|
||||
### (1) 正态分布 $N(\mu, \sigma^2)$
|
||||
|
||||
样本:$X_1, X_2, ..., X_n$ 独立同分布于 $N(\mu, \sigma^2)$
|
||||
|
||||
似然函数:
|
||||
$$L(\mu, \sigma^2) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}$$
|
||||
|
||||
对数似然函数:
|
||||
$$\ln L(\mu, \sigma^2) = -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln\sigma^2 - \frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i-\mu)^2$$
|
||||
|
||||
解得最大似然估计:
|
||||
- $\hat{\mu} = \bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i$(样本均值)
|
||||
- $\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^{n} (X_i - \bar{X})^2$(样本方差,注意这里是除以n而非n-1)
|
||||
|
||||
### (2) 泊松分布 $P(\lambda)$
|
||||
|
||||
样本:$X_1, X_2, ..., X_n$ 独立同分布于 $P(\lambda)$
|
||||
|
||||
似然函数:
|
||||
$$L(\lambda) = \prod_{i=1}^{n} \frac{\lambda^{x_i} e^{-\lambda}}{x_i!}$$
|
||||
|
||||
对数似然函数:
|
||||
$$\ln L(\lambda) = \sum_{i=1}^{n} (x_i \ln\lambda - \lambda - \ln(x_i!))$$
|
||||
|
||||
解得最大似然估计:
|
||||
$$\hat{\lambda} = \bar{X}$$
|
||||
|
||||
### (3) 指数分布 $Exp(\lambda)$
|
||||
|
||||
样本:$X_1, X_2, ..., X_n$ 独立同分布于 $Exp(\lambda)$
|
||||
|
||||
概率密度函数:$f(x;\lambda) = \lambda e^{-\lambda x}$,x > 0
|
||||
|
||||
似然函数:
|
||||
$$L(\lambda) = \prod_{i=1}^{n} \lambda e^{-\lambda x_i} = \lambda^n e^{-\lambda \sum_{i=1}^{n} x_i}$$
|
||||
|
||||
对数似然函数:
|
||||
$$\ln L(\lambda) = n\ln\lambda - \lambda \sum_{i=1}^{n} x_i$$
|
||||
|
||||
解得最大似然估计:
|
||||
$$\hat{\lambda} = \frac{1}{\bar{X}}$$
|
||||
|
||||
### (4) 伯努利分布 $B(1,p)$
|
||||
|
||||
样本:$X_1, X_2, ..., X_n$ 独立同分布于 $B(1,p)$
|
||||
|
||||
似然函数:
|
||||
$$L(p) = \prod_{i=1}^{n} p^{x_i}(1-p)^{1-x_i} = p^{\sum x_i}(1-p)^{n-\sum x_i}$$
|
||||
|
||||
对数似然函数:
|
||||
$$\ln L(p) = \sum x_i \ln p + (n-\sum x_i)\ln(1-p)$$
|
||||
|
||||
解得最大似然估计:
|
||||
$$\hat{p} = \frac{1}{n}\sum_{i=1}^{n} x_i = \bar{X}$$
|
||||
|
||||
## 4. 最大似然估计的性质
|
||||
|
||||
### (1) 渐近性质(大样本性质)
|
||||
1. **一致性**:当样本容量n→∞时,$\hat{\theta}_{MLE} \xrightarrow{P} \theta_0$(依概率收敛到真值)
|
||||
2. **渐近正态性**:$\sqrt{n}(\hat{\theta}_{MLE} - \theta_0) \xrightarrow{d} N(0, I^{-1}(\theta_0))$
|
||||
3. **渐近有效性**:在一定条件下达到Cramér-Rao下界
|
||||
|
||||
### (2) 不变性
|
||||
若$\hat{\theta}$是θ的最大似然估计,则对于可逆函数g(θ),$g(\hat{\theta})$是g(θ)的最大似然估计。
|
||||
|
||||
### (3) 充分性
|
||||
在一定正则条件下,最大似然估计是充分统计量的函数。
|
||||
|
||||
## 5. 最大似然估计的优点
|
||||
|
||||
1. **直观性强**:原理易于理解和接受
|
||||
2. **广泛应用**:适合各种分布族和复杂模型
|
||||
3. **大样本优良性**:具有一致性和渐近正态性
|
||||
4. **不变性**:参数变换下的良好性质
|
||||
5. **可扩展性强**:容易推广到多参数情况
|
||||
|
||||
## 6. 最大似然估计的缺点
|
||||
|
||||
1. **需要分布假设**:必须明确给出总体分布形式
|
||||
2. **小样本偏差**:小样本情况下可能存在偏倚
|
||||
3. **数值计算复杂**:有时需要迭代算法才能求解
|
||||
4. **可能不存在**:某些情况下最大值不存在
|
||||
5. **可能不唯一**:极值点可能不止一个
|
||||
|
||||
## 7. 最大似然估计的应用场景
|
||||
|
||||
1. **参数估计的一般方法**
|
||||
2. **回归分析中参数估计**
|
||||
3. **时间序列分析中参数估计**
|
||||
4. **机器学习算法中参数优化**(如逻辑回归)
|
||||
5. **生物统计和医学研究**
|
||||
6. **经济和金融数据分析**
|
||||
|
||||
## 8. 实际应用中的注意事项
|
||||
|
||||
1. **检查正则条件**:确保能够应用MLE的标准理论结果
|
||||
2. **处理边界解问题**:参数应在参数空间内部取值
|
||||
3. **考虑数值稳定性**:避免计算过程中出现溢出等问题
|
||||
4. **评估估计精度**:计算标准误差和置信区间
|
||||
5. **进行模型诊断**:验证模型假设是否合理
|
||||
|
||||
## 9. 与其他估计方法的比较
|
||||
|
||||
### 与矩估计比较:
|
||||
- **矩估计**:简单但效率较低,利用的是样本矩
|
||||
- **最大似然估计**:较复杂但具有更好的大样本性质
|
||||
|
||||
### 与贝叶斯估计比较:
|
||||
- **频率学派观点**:参数是固定的未知数
|
||||
- **贝叶斯学派观点**:参数是随机变量,有先验分布
|
||||
|
||||
## 10. 计算示例
|
||||
|
||||
### 示例:正态分布参数的最大似然估计
|
||||
设样本:5, 7, 9, 3, 6
|
||||
|
||||
1. 计算样本均值:$\bar{X} = \frac{5+7+9+3+6}{5} = 6$
|
||||
2. 计算样本方差:$S^2 = \frac{(5-6)^2+(7-6)^2+(9-6)^2+(3-6)^2+(6-6)^2}{5} = \frac{1+1+9+9+0}{5} = 4$
|
||||
|
||||
因此:$\hat{\mu} = 6$,$\hat{\sigma}^2 = 4$
|
||||
|
||||
### 示例:伯努利分布参数的最大似然估计
|
||||
设10次抛硬币试验中有7次正面:1,1,0,1,1,1,0,1,1,1
|
||||
|
||||
$\hat{p} = \frac{7}{10} = 0.7$
|
||||
|
||||
## 总结
|
||||
|
||||
最大似然估计是一种强大而灵活的参数估计方法,在现代统计学和数据分析中应用极其广泛。掌握其原理和应用,对于深入理解统计推断方法具有重要意义。
|
||||
Reference in New Issue
Block a user