概率论与数理统计

回顾

反函数的导数

$y=f(x)$ $I_x$ $f'(x)\neq0$ $x=f^{-1}(y)$ $I_y=\{y|y=f(x),x\in I_x\}$ 上也严格单调、可导，并且

{{(f^{- 1} (y))}^{'} |}_{y = f (x)} = \frac{1}{f^{'} (x)},

亦即

\frac{d x}{d y} = \frac{1}{\frac{d y}{d x}} .

变限积分函数的可微性

$f(x)$ $[a,b]$ $x_0\in(a,b)$ 处连续，则函数
$F (x) = \int_{a}^{x} f (t) d t$
$x_0$ $F'(x_0)=f(x_0)$ $f(x)$ $x=a$ $F'_+(a)=f(a)$ $f(x)$ $x=b$ $F'_-(b)=f(b)$ .
$f(x)$ $[a,b]$ $u(x),v(x)$ $(\alpha,\beta)$ $x\in(\alpha,\beta)$ $u(x),v(x)\in[a,b]$ ，则函数
$ψ (x) = \int_{v (x)}^{u (x)} f (t) d t$
$(\alpha,\beta)$ 内可微，且
$ψ^{'} (x) = f (u (x)) u^{'} (x) - f (v (x)) v^{'} (x) .$

含参变量积分

含参变量常义积分

$f(x,u)$ $D:a\leqslant x\leqslant b,\alpha\leqslant u\leqslant\beta$ 上连续，称积分

φ (u) = \int_{a}^{b} f (x, u) d x

$u$ 称为参变量.

若积分限也依赖于参变量，有变限含参常义积分

ψ (u) = \int_{a (u)}^{b (u)} f (x, u) d x .

含参变量常义积分的可微性

$f(x,u)$ $D$ $D$ $u$ $\varphi(u)$ $[\alpha,\beta]$ 上可导，并且
$φ^{'} (u) = \int_{a}^{b} \frac{\partial f (x, u)}{\partial u} d x,$
即可以交换求导运算与积分运算的顺序，或称在积分号下求导；
$f(x,u)$ $D$ $D$ $u$ $a(u)$ $b(u)$ $[\alpha,\beta]$ $a\leqslant a(u),b(u)\leqslant b$ $\psi(u)$ $[\alpha,\beta]$ 上可导，并且
$ψ^{'} (u) = \int_{a (u)}^{b (u)} \frac{\partial f (x, u)}{\partial u} d x + f (b (u), u) b^{'} (u) - f (a (u), u) a^{'} (u) .$

含参变量积分的应用

几个重要的广义积分

狄利克雷（Dirichlet）积分
$\int_{0}^{+ \infty} \frac{\sin x}{x} d x = \frac{π}{2} .$
概率积分
$\int_{0}^{+ \infty} e^{- x^{2}} d x = \frac{\sqrt{π}}{2} .$
拉普拉斯（Laplace）积分
$\begin{matrix} \int_{0}^{+ \infty} \frac{\cos β x}{α^{2} + x^{2}} d x = \frac{π}{2 α} e^{- α β} (α > 0, β ⩾ 0), \\ \int_{0}^{+ \infty} \frac{x \sin β x}{α^{2} + x^{2}} d x = \frac{π}{2} e^{- α β} (α > 0, β > 0) . \end{matrix}$

菲涅耳（Fresnel）积分
$\int_{0}^{+ \infty} \sin x^{2} d x = \int_{0}^{+ \infty} \cos x^{2} d x = \frac{1}{2} \sqrt{\frac{π}{2}} .$

欧拉（Euler）积分

$\Gamma$ 函数
- 定义：
  $Γ (x) = \int_{0}^{+ \infty} t^{x - 1} e^{- t} d t (x > 0) .$
- $\Gamma$ $(0,+\infty)$ 上连续.
- 递推公式：
  $x>0$ $\Gamma(x+1)=x\Gamma(x)$ . 特别地，
  $\begin{matrix} Γ (1) = 1, Γ (n + 1) = n!, \\ Γ (\frac{1}{2}) = \sqrt{π}, Γ (n + \frac{1}{2}) = \frac{(2 n - 1)!!}{2^{n}} \sqrt{π} . \end{matrix}$
- 余元公式：
  $Γ (x) Γ (1 - x) = \frac{π}{\sin π x} (0 < x < 1) .$

$\Beta$ 函数
- 定义：
  $B (x, y) = \int_{0}^{1} t^{x - 1} (1 - t)^{y - 1} d t (x > 0, y > 0)$
  $\Beta$ 函数. 其无穷积分表示为
  $B (x, y) = \int_{0}^{+ \infty} \frac{z^{y - 1}}{(1 + z)^{x + y}} d z (x, y > 0) .$
- $\Beta$ $x,y>0$ 内连续.
- 递推公式：
  $\begin{matrix} B (x + 1, y) = \frac{x}{x + y} B (x, y), \\ B (x, y + 1) = \frac{y}{x + y} B (x, y), \\ B (x + 1, y + 1) = \frac{x y}{(x + y) (x + y + 1)} B (x, y) . \end{matrix}$
- 勒让德（Legendre）加倍公式：
  $Γ (2 x) = \frac{2^{2 x - 1}}{\sqrt{π}} Γ (x) Γ (x + \frac{1}{2}) (x > 0) .$
$\Gamma$ $\Beta$ 函数的关系
$B (x, y) = \frac{Γ (x) Γ (y)}{Γ (x + y)} (x, y > 0) .$
特别地，有
$\Beta$ $\Beta(x,y)=\Beta(y,x)\ (x,y>0).$
$B (n, m) = \frac{(m - 1)! (n - 1)!}{(m + n - 1)!} (m, n \in N) .$

第一章事件及其概率

1.1 概率论简史

一些基本概念：
概率 $0$ $1$ 之间.
赌博问题中的赢率（odds）.

1.2 随机试验和随机事件

基本概念

定义1.1 随机试验

定义1.2 样本空间与事件
$A,\ B,\ \cdots$ 表示；
样本空间 $\varOmega$ $S$ 表示；
$\omega$ 表示.

$\varOmega$ 是由该试验所有可能结果所组成的集合.
$\varOmega$ 的大小，可以将其分为三类：
有限样本空间（仅含有有限个样本点）；
可数无穷样本空间（含有无穷且可数个样本点）；
不可数样本空间（含有无穷且不可数个样本点）.

事件的运算

$A$ $A$ $A$ 在此次随机试验下发生 $A$ 发生.

定义1.3 必然事件和不可能事件
$1$ $0$ .
$1$ $0$ 的时间未必是不可能事件.

定义事件运算中的几个基本概念.
定义1.4 事件的和
$A$ $B$ $A$ $B$ $A\cup B$ .
维恩图 $A \cup B$ .
定义1.5 事件的差
$A$ $B$ $A$ $B$ $A-B$ $A\overline{B}$ .
定义1.6 事件的积
$A$ $B$ $A$ $B$ $A\cap B$ $A\cdot B$ $AB$ .
定义1.7 不相容事件
$A$ $B$ $A\cap B=\varnothing$ $A$ $B$ 不相容（incompatible）或互斥（mutually exclusive）.
特别，当事件两两不相容时，可以把“并”运算符号改写为通常的加号.
$A \cup B = A + B, ⋃_{k = 1}^{n} A_{k} = \sum_{k = 1}^{n} A_{k}$
定义1.8 对立事件
$\{事件\ A\ 不发生\}$ $A$ $\overline{A}$ $A^c$ .

事件运算的公式
$A\cup A=A$ $A\cap A=A$ ；
$A\cup BC=(A\cup B)(A\cup C)$ ；
$A\cap(B\cup C)=AB\cup AC$ ；
$(A\cup B)(C\cup D)=AC\cup BC\ \cup AD\ \cup BD$ ；
德摩根（A. De Morgan）对偶法则
$\displaystyle{\left(\bigcup_{k=1}^nA_k\right)^c=\bigcap_{k=1}^nA_k^c}$ ；
$\displaystyle{\left(\bigcap_{k=1}^nA_k\right)^c=\bigcup_{k=1}^nA_k^c}$ .

$A$ $B$ $\forall\omega\in A\implies\omega\in B$ $\forall\omega\in B\implies \omega\in A$ .

1.3 概率的定义和性质

定义1.9 概率的直观定义
$A$ $P(A)$ $A$ 发生的概率，则由概率定义，
$0\leqslant P(A)\leqslant1$ ；、
$P(\varOmega)=1$ ；
$P(\varnothing)=0$ .

1.3.1 古典概型

在有限性和等可能性下定义概率的模型称为古典概型.

一般涉及排列、组合的知识，以及事件的运算. 常用的排列、组合知识归纳如下.

1. 计数原理

加法原理

乘法原理

结论：

$n$ $r$ $n^r$ 种；
$n$ $r$ 个元素组成的不重复排列的不同方式有
$A_{n}^{r} = n (n - 1) \dots (n - r + 1) = P_{n}^{r}$
$r=n$ 时，称为全排列；
$n$ $r$ 个元素组成的组合，不同方式个数为
$C_{n}^{r} = \frac{n (n - 1) \dots (n - r + 1)}{r!} = \frac{n!}{r! (n - r)!} = (\binom{n}{r})$
$n$ $r$ 个元素组成的组合（不考虑顺序），不同方式个数为
$C_{n + r - 1}^{r} = (\binom{n + r - 1}{r})$
$\mathrm{H}_n^r$ .

2. 盒子模型

结论：

$n^r$ ；
球可辨，每个盒子中至多放一个球，此为选排列，不同的放法个数为
$A_{n}^{r} = n (n - 1) \dots (n - r + 1) = \frac{n!}{(n - r)!}$
$(n-1)$ $r$ $(n+r-1)$ $r$ $(n-1)$ 个位置中放隔板），则不同的排法个数为
$(\binom{n + r - 1}{r}) = C_{n + r - 1}^{r} = H_{n}^{r} = \frac{(n + r - 1)!}{(n - 1)! r!}$
球不可辨，每个盒子中至多放一个球. 此为一般的组合，不同的放法个数为
$(\binom{n}{r}) = C_{n}^{r}$

3. 多组组合

4. 不尽相异元素的排列

1.3.2 概率的统计定义

几何概型：对古典概型去掉有限性、保留基本事件的等可能性.
$1$ $A$ $P(A)$ 就是该部分的质量.

（去掉等可能性，保留有限性，从另一个角度定义概率）
定义1.10 概率的统计定义
意义：
$\pi$ 的近似值，破译密码）；
提供了理论是否正确的标准（如：验证硬币均匀性）.

1.3.3 主观概率的定义

人们常常用一个数字去估计某些概率的大小，而心目中并不把它与频率相连，这种概率称为主观概率.

定义1.11 主观概率定义
作用：
管理科学（经济投资决策）；
数据分析，尤其是人工智能的算法（贝叶斯（T. Bayes）学派，与传统的统计学派即频率学派区别）

研究主观概率，以这种观点来处理统计问题，有着非常重要的现实意义.

1.3.4 概率的公理化定义

定义1.12 概率的公理化定义

$\varOmega$ 中的可测事件.
$P(\varnothing)=0;$
$A_k,k=1,2,\cdots,n$ 两两不相容，则
$P (\sum_{k = 1}^{n} A_{k}) = \sum_{k = 1}^{n} P (A_{k});$
$A\subset B$ $P(B-A)=P(B)-P(A)$ ;
$A\subset B$ $P(A)\leqslant P(B)$ ;
$P(\overline A)=1-P(A)$ ;
容斥原理 $A_1,A_2,\cdots,A_n$ ，有
例：
$\begin{aligned} P (A \cup B \cup C) & = P (A) + P (B) + P (C) \\ - P (A B) - P (A C) - P (B C) \\ + P (A B C) \end{aligned}$
$A_1,A_2,\cdots,A_n,\cdots$ ，有
$P (⋃_{n = 1}^{\infty} A_{n}) ⩽ \sum_{n = 1}^{\infty} P (A_{n});$
$A_n\subset A_{n+1},n=1,2,\cdots$ ，则
$P (⋃_{n = 1}^{\infty} A_{n}) = lim_{n \to \infty} P (A_{n});$
$A_n\supset A_{n+1},n=1,2,\cdots$ ，则
$P (⋂_{n = 1}^{\infty} A_{n}) = lim_{n \to \infty} P (A_{n});$

1.4 条件概率

1.4.1 条件概率的定义

$B$ $A$ 发生”. 附加的条件一般就是某种信息.

定义1.13 条件概率
$\varOmega$ $B$ $B$ $\overline B$ $P(A|B)$ $A$ $B$ $P(AB)$ $B$ $P(B)$ 的比值，即
$P (A | B) = \frac{P (A B)}{P (B)} .$

定理1.1 乘法公式
$P(AB)=P(A)P(B|A)$ ；
$P(A_1A_2\cdots A_{n-1})>0$ ，则
$P (A_{1} A_{2} \dots A_{n}) = P (A_{1}) P (A_{2} | A_{1}) \dots P (A_{n} | A_{1} A_{2} \dots A_{n - 1})$
（不依赖脚标顺序）.

1.4.2 全概率公式

定义1.14 完备事件群
$B_1,B_2,\cdots,B_n$ $\varOmega$ $0$ 的事件，满足
$B_iB_j\neq\varnothing,i\neq j$ ，
$\displaystyle{\sum_{i=1}^nB_i=\varOmega}$ ，
$B_1,B_2,\cdots,B_n$ $\varOmega$ 的一个完备事件群（划分（partition））.

定理1.2 全概率公式（law of total probability）
$B_1,B_2,\cdots,B_n$ $\varOmega$ $A$ $\varOmega$ 中任一事件，则
$P (A) = \sum_{i = 1}^{n} P (A | B_{i}) P (B_{i}) .$

1.4.3 贝叶斯公式

定理1.3 贝叶斯公式
$B_1,B_2,\cdots,B_n$ $\varOmega$ $A$ $\varOmega$ $P(A)>0$ ，则
$P (B_{i} | A) = \frac{P (B_{i} A)}{P (A)} = \frac{P (A | B_{i}) P (B_{i})}{\sum_{j = 1}^{n} P (A | B_{j}) P (B_{j})} .$
$B$ $\overline B$ 构成划分，则
$P (B | A) = \frac{P (A | B) P (B)}{P (A | B) P (B) + P (A | \overset{―}{B}) P (\overset{―}{B})} .$

$A$ 视为“结果”，那么贝叶斯公式反映了因果关系互换之间的概率关系（逆概率（inverse probability））.

1.5 独立性

相互独立

定义1.15 两个事件相互独立
$A$ $B$ 的发生互不影响，那么两事件是独立的.

推论1.1
$A$ $B$ 一个事件发生的概率与另外一个事件是否发生没有关系 $A$ $B$ 本身完全无关.

定理1.4
$A$ $B$ $\varOmega$ 中的两个事件，则下述四个陈述相互等价：
$A$ $B$ 独立；
$A$ $\overline B$ 相互独立；
$\overline A$ $B$ 相互独立；
$\overline A$ $\overline B$ 相互独立.

$n$ 个事件相互独立
$n$ 个事件的相互独立蕴涵了其中任意一部分事件相互独立；
$\left(n-1\right)$ $n$ 个事件在整体上相互独立.
定义1.17 等价定义

$A$ $A$ $n$ $A$ $1$ .

两两独立

$n$ 个事件两两独立
相互独立的事件列一定是两两独立的，反之则未必.
定义1.19 独立事件列

第二章随机变量及其分布

2.1 随机变量的概念

$\R$ $X$ ，该映射把基本事件对应于直线上的一个点，这个映射就称为随机变量（random variable, r.v.）.

直观上，随机变量是取值随实验结果而定且有一定概率分布的变量；
数学角度上的严格定义（定义2.1 随机变量）：
$X,Y,Z,W$ $x,y,a,b$ 等表示实数.

随机变量取哪些值以及取这些值的概率，称为随机变量的分布（distribution）.

2.2 离散型随机变量的分布

离散型随机变量，就是取值为离散值的随机变量.

定义2.2 离散型随机变量和分布律
$X$ $X$ 为离散型随机变量.
$X$ $x_1,x_2,\cdots,x_n,\cdots$ ，则
$\begin{matrix} (1) & P (X = x_{k}) = p_{k}, k = 1, 2, \dots, n, \dots, \end{matrix}$
其中
$p_{k} ⩾ 0, k = 1, 2, \dots, n, \dots;$
$\sum_{k = 1}^{\infty} p_{k} = 1.$
$(1)$ $X$ 的分布律或概率质量函数（probability mass function, pmf）.

2.2.1 0-1 分布

$0-1$ 分布

$X$ $0-1$ 分布/伯努利（Bernoulli）分布/两点分布. 其分布函数也可以写为
$P (X = x) = p^{x} (1 - p)^{1 - x}, x = 0 或 1.$

$A$ 是否发生时，引入示性函数
$\begin{matrix} I_{A} = {\begin{cases} 1, A 发生, \\ 0, A 不发生 . \end{cases} \end{matrix}$
$I_A$ $0-1$ 分布的随机变量.

2.2.2 离散均匀分布

定义2.4 离散均匀分布
古典概型就是离散均匀分布.

分布
$P (X = m) = \frac{| A |}{C_{N}^{n}} = \frac{C_{M}^{m} \cdot C_{N - M}^{n - m}}{C_{N}^{n}}, m = 0, 1, \dots, n$
$(N,M,n)$ 的超几何分布(hypergeometric distribution).
$X$ $(N,M,n)$ $X\sim H(N,M,n)$ .

2.2.3 二项分布

$A$ $p,\ 0<p<1$ $A$ $\overline A$ $A$ 发生常常称为是“成功”）.

$n$ $n$ $A$ $X$ $\{X=k\}$ $A$ $k$ $k=0,1,\cdots,n$ .

定义2.5 二项分布
$X$ 的分布律为
$P (X = k) = C_{n}^{k} p^{k} (1 - p)^{n - k}, k = 0, 1, \dots, n,$
$X$ 二项分布 $X\sim B(n,p)$ $P(X=k)$ $b(n,p,k)$ .

随机变量服从二项分布的条件：
$A$ 概率 $p$ 在各次试验中保持不变）；
各次试验之间相互独立.

2.2.4 负二项分布

$X_r$ $r$ $p=1-q$ $X_r$ 的分布律为

\begin{aligned} p_{k} = P (X = k) & = P ({前 (k - 1) 次 恰 有 (r - 1) 次 成 功 且 第 k 次 成 功}) \\ = P ({前 (k - 1) 次 恰 有 (r - 1) 次 成 功}) P ({第 k 次 成 功}) \\ = C_{k - 1}^{r - 1} p^{r} q^{k - r}, k = r, r + 1, \dots \end{aligned}

且

\sum_{k = r}^{\infty} p_{k} = \sum_{k = r}^{\infty} C_{k - 1}^{r - 1} p^{r} q^{k - r} = p^{r} \sum_{k = 0}^{\infty} C_{r + k - 1}^{r - 1} q^{k} = p^{r} (1 - q)^{- r} = 1

定义2.6 负二项分布
$X_r$ 取正整数值，其分布律为
$P (X_{r} = k) = C_{k - 1}^{r - 1} p^{r} q^{k - r}, k = r, r + 1, \dots .$
$r$ $0<p<1$ $X$ $r,p$ 帕斯卡分布 $X\sim NB(r,p)$ $P(X_r=k)$ $nb(r,p,k)$ .

$r=1$ $X_1$ 几何分布 $X_1\sim Ge(p)$ ，

P (X_{1} = k) = q^{k - 1} p, k = 1, 2, \dots .

定理2.1 无记忆性
$X$ $Ge(p)$ $m$ $n$ ，都有
$P (X > m + n | X > m) = P (X > n) .$
这个性质称为几何分布的无记忆性（memoryless property）.

2.2.5 泊松分布

定义2.7 泊松分布
$X$ 的分布律为
$P (X = k) = e^{- λ} \frac{λ^{k}}{k!}, k = 0, 1, \dots, λ > 0.$
$X$ $\lambda$ 泊松分布 $X\sim P(\lambda)$ .

$p$ $b(n,p,k)$ $n$ $p$ $n$ $p$ $p_n$ .

定义2.2 泊松逼近定理
$X_n\sim B(n,p_n)$ $n\to\infty$ $np_n\to\lambda>0$ ，则
$lim_{n \to \infty} P (X_{n} = k) = \frac{λ^{k}}{k!} e^{- λ}, k = 0, 1, 2, \dots .$
$n\geqslant30$ $np_n\leqslant5$ $n\geqslant100$ $np_n\leqslant10$ 情况下仍有较高的精度.

负二项分布也可以用泊松分布近似.

如果
$lim_{r \to \infty} r (1 - p) = λ,$
$\lambda>0$ 为正常数，那么
$p \approx 1 - \frac{λ}{r} .$
$r\to\infty$ $k-r=x$ 为固定数，得到
$\begin{aligned} C_{k - 1}^{r - 1} p^{r} (1 - p)^{k - r} & = \frac{λ^{k - r}}{(k - r)!} (1 + \frac{1}{r}) \dots (1 + \frac{k - r - 1}{r}) {(1 - \frac{λ}{r})}^{r} \\ = \frac{λ^{x}}{x!} (1 + \frac{1}{r}) \dots (1 + \frac{x - 1}{r}) {(1 - \frac{λ}{r})}^{r} \to \frac{λ^{x}}{x!} e^{- λ}, x = 0, 1, \dots . \end{aligned}$
$x$ $r$ $r(1-p)\approx\lambda$ $x$ 的概率.

2.3 连续型随机变量的分布

2.3.1 随机变量的分布函数

定义2.8 分布函数
$X$ $x$ 为任一实数，称
$F (x) = P (X ⩽ x)$
$X$ 的（累积）分布函数.
$F(X)$ $x$ 所取值的概率之和，故又称为累积分布函数（cumulative distribution function，简称 cdf）.

$F(x)$ $\R$ $[0,1]$ $X$ $(a,b]$ 内的概率为

P (a < X ⩽ b) = F (b) - F (a) .

显然，分布函数的定义适用于一切类型的随机变量，当然包括离散型随机变量.

定理2.3
离散型随机变量的分布函数为阶梯函数，其不连续点为所有取值点，每个跳跃的高度即为取该点值的概率.

分布函数的性质

$F(x)$ 为非减函数，且只存在第一类间断点.
$x\in\R$ $0\leqslant F(x)\leqslant1$ ，而且
$F (+ \infty) = lim_{x \to + \infty} F (x) = 1, F (- \infty) = lim_{x \to - \infty} F (x) = 0.$
$F(x+0)=F(x)$ .

证明：
$x_1\leqslant x_2$ 时，
$F (x_{2}) - F (x_{1}) = P (x_{1} < X ⩽ x_{2}) ⩾ 0.$
$A(x)=\{-\infty<X\leqslant x\}$ $x_1\leqslant x_2$ $A(x_1)\sube A(x_2)$ ，由概率的连续性知
$lim_{x \to + \infty} F (x) = P (lim_{x \to + \infty} A (x)) = P (- \infty < X < + \infty) = P (Ω) = 1.$
类似可证
$F (- \infty) = lim_{x \to - \infty} F (x) = 0.$
右连续性：

2.3.2 概率密度函数

定义2.9 连续型随机变量和概率密度函数
$X$ $F(x)$ $f(x)\geqslant0$ $\forall x\in\R$ ，
$F (x) = \int_{- \infty}^{x} f (t) d t,$
$X$ $f(x)$ 概率密度函数 $X\sim f(x)$ .
$F(x)$ $X$ 也常称为是绝对连续随机变量.

$X$ $f(x)$ $F(x)$ ，则有

$f(x)\geqslant 0,\ \forall x\in\R$ ；
$\displaystyle\int_{-\infty}^{+\infty}f(x)\ \mathrm{d}x=1$ ；
$\forall\ x_1<x_2$ ，有
$P (x_{1} < X ⩽ x_{2}) = F (x_{2}) - F (x_{1}) = \int_{x_{1}}^{x_{2}} f (x) d x .$
$A\sube\R$ 有
$P (X \in A) = \int_{A} f (x) d x;$
$f(x)$ $x_0$ $F'(x_0)=f(x_0)$ ；
$\forall\ x\in\R,\ P(X=x)=0$ .

2.3.3 几种重要的连续型分布

1. 均匀分布

定义2.10 均匀分布
$X$ $(a,b)$ $-\infty<a<b<+\infty$ ），且概率密度函数为
$f (x) = \frac{1}{b - a} I_{(a, b)} (x),$
$X$ $(a, b)$ 均匀分布 $X\sim U(a,b)$ .

$X$ $(a,b)$ 中任一子区间中的概率仅与区间长度成正比，与起点无关.

$(a, b)$ 上的均匀分布随机变量的分布函数为

\begin{matrix} F (x) = {\begin{cases} 0, & x ⩽ a, \\ \frac{x - a}{b - a}, & a < x < b, \\ 1, & x ⩾ b . \end{cases} \end{matrix}

2. 指数分布

定义2.11 指数分布
$X$ 的密度函数为
$f (x) = λ e^{- λ x} I_{(0, + \infty)} (x),$
$\lambda>0$ $X$ $\lambda$ 指数分布 $X\sim Exp(\lambda)$ .

分布函数为

\begin{matrix} F (x) = {\begin{cases} 1 - e^{- λ x}, & x > 0, \\ 0, & x ⩽ 0. \end{cases} \end{matrix}

$X\sim Exp(\lambda)$ $s,t>0$ 有

P (X > s + t | X > t) = P (X > s) .

这一性质称为无记忆性. 可以证明，一个非负连续型随机变量，如果具有该性质，那么其分布必为指数分布.

$\{X>s+t\}\sub\{X>t\}$ ，故
$\begin{aligned} P (X > s + t | X > t) & = \frac{P (X > s + t, X > t)}{P (X > t)} \\ = \frac{P (X > s + t)}{P (X > t)} \\ = \frac{e^{- λ (s + t)}}{e^{- λ t}} \\ = e^{- λ s} = P (X > s) . \end{aligned}$

3. 正态分布

定义2.12 正态分布
$X$ 的密度函数为
$f (x) = \frac{1}{\sqrt{2 π} σ} \exp {- \frac{(x - μ)^{2}}{2 σ^{2}}}, x \in R,$
$\mu\in\R,\ \sigma>0$ $X$ $\mu,\sigma^2$ 的正态分布高斯分布 $X\sim N(\mu,\sigma^2)$ .

性质：

$x=\mu$ 对称；
$x=\mu$ $f(\mu)=\dfrac1{\sqrt{2\pi}\sigma}$ ；
$x=\mu\pm\sigma$ $x$ 轴为渐近线；
$\sigma$ $\mu$ 变化时，图形左、右平移，但是不改变形状.
$\mu$ $\sigma$ $\sigma$ $d$ $X$ $(\mu-d,\mu+d)$ $\sigma$ 减小而增加.
$\mu$ $\sigma$ $\mu=0,\sigma=1$ $f(x)$ $\varphi(x)$ ，
$φ (x) = \frac{1}{\sqrt{2 π}} e^{- \frac{x^{2}}{2}},$
$\varPhi(x)$ ，
$Φ (x) = \int_{- \infty}^{x} φ (u) d u = \frac{1}{\sqrt{2 π}} \int_{- \infty}^{x} e^{- \frac{u^{2}}{2}} d u;$
$\varPhi(-x)=1-\varPhi(x)$ .

$X\sim N(0,1)$ ，有

\begin{matrix} P (| X | ⩽ 1) = 0.6826, \\ P (| X | ⩽ 2) = 0.9545, \\ P (| X | ⩽ 3) = 0.9973 . \end{matrix}

$[-3.3]$ 中的随机变量.

$X\sim N(\mu,\sigma^2)$ $F(x)$ 为

\begin{aligned} F (x) & = \int_{- \infty}^{x} \frac{1}{\sqrt{2 π} σ} e^{- \frac{(x - μ)^{2}}{2 σ^{2}}} d x \\ = \int_{- \infty}^{\frac{x - μ}{σ}} \frac{1}{\sqrt{2 π}} e^{- \frac{t^{2}}{2}} d t (\frac{x - μ}{σ} = t) \\ = Φ (\frac{x - μ}{σ}) . \end{aligned}

$\dfrac{X-\mu}{\sigma}\sim N(0,1)$ $\dfrac{X-\mu}{\sigma}$ 称为标准化变换.

2.4 随机变量函数的分布

$Y$ $X$ $X\sim F$ $Y$ 的分布？下面分离散型随机变量和连续型随机变量来讨论.

2.4.1 离散型随机变量函数的分布

$Y=g(X)$ $X$ 的分布律为

$\displaystyle \sum p_k=1$ $Y$ 的分布为

$g(x_i)$ $p_i$ 相加，即

P (Y = g (x_{k})) = \sum_{i : g (x_{i}) = g (x_{k})} p_{i} .

$g$ $Y$ $1$ $Y$ 的分布退化.

2.4.2 连续型随机变量函数的分布

命题2.1 随机变量函数的分布函数

$g$ $Y$ $X$ 的密度函数之间有着特殊的关系.

推论2.1 密度函数变换公式
$g(x)$ $Y$ $f_1(y)$ ，
$\begin{matrix} f_{1} (y) = {\begin{cases} f (h (y)) | h^{'} (y) |, & α < y < β \\ 0, & 其他, \end{cases} \end{matrix}$
$h(y)$ $g(x)$ $\alpha=\min\{g(-\infty),g(+\infty)\}$ $\beta=\max\{g(-\infty),g(+\infty)\}$ .

$X\sim f(x)$ $Y=aX+b,a\neq0$ ，则其密度函数为

f_{1} (y) = f (\frac{y - b}{a}) \cdot \frac{1}{| a |} .

$X\sim N(\mu,\sigma^2)$ ，此时

f (x) = \frac{1}{\sqrt{2 π} σ} \exp {- \frac{(x - μ)^{2}}{2 σ^{2}}} .

$Y=aX+b$ 的密度函数为

f_{1} (y) = \frac{1}{\sqrt{2 π} | a | σ} \exp {- \frac{(y - (a μ + b))^{2}}{2 (a σ)^{2}}},

$Y\sim N(a\mu+b,(a\sigma)^2)$ $a=\dfrac1\sigma$ $b=-\dfrac\mu\sigma$ $Y=\dfrac{X-\mu}{\sigma}\sim N(0,1)$ . 由此知，任一正态随机变量都可以由标准正态随机变量线性表达.

$g$ 逐段单调时的密度变换公式

第三章多维随机变量及其分布

3.1 多维随机变量及其分布

3.1.1 多维随机变量

定义3.1 多维随机变量

定义3.2 二维分布函数
$(X,Y)$ $(x,y)\in\R^2$ ，称二元函数
$F (x, y) = P (X ⩽ x, Y ⩽ y) = P ({ω | X (ω) ⩽ x, Y (ω) ⩽ y}) = P ({X ⩽ x} \cap {Y ⩽ y})$
$(X, Y)$ 的分布函数或联合分布函数（joint cumulative distribution function, joint cdf）.

$F(x,y)$ 具有如下性质：

$F(x,y)$ $x,y$ 单调不减；
$\forall(x,y)\in\R^2$ ，
$\begin{matrix} 0 ⩽ F (x, y) ⩽ 1, \\ F (+ \infty, + \infty) = 1, \\ F (- \infty, y) = F (x, - \infty) = F (- \infty, - \infty) = 0; \end{matrix}$
$F(x,y)$ $x,y$ 右连续；
$\forall\ x_1<x_2,y_1<y_2$ ，
$P (x_{1} < X ⩽ x_{2}, y_{1} < Y ⩽ y_{2}) = F (x_{2}, y_{2}) - F (x_{1}, y_{2}) - F (x_{2}, y_{1}) + F (x_{1}, y_{1}) ⩾ 0.$

定义3.3 二维离散型随机变量
$(X,Y)$ $\{(x_i,y_j),i=1,2,\cdots,j=1,2,\cdots\}$ . 记
$P (X = x_{i}, Y = y_{i}) = p_{i j}, i, j = 1, 2, \dots,$
称其为二维离散型随机变量的联合概率质量函数（joint probability mass function, joint pmf）或联合分布律.

性质：

$p_{ij}\geqslant0,i,j=1,2,\cdots$ ；
$\displaystyle\sum_{i,j}p_{ij}=1$ .

推广：

$n$ 维离散型随机变量

性质：

$p(j_1,j_2,\cdots,j_n)\geqslant0,\quad j_i=1,2,\cdots,\ i=1,2,\cdots,n$ ；
$\displaystyle\sum_{j_1,j_2,\cdots,j_n}p(j_1,j_2,\cdots,j_n)=1$ .

例3.3 多项分布

3.1.2 连续型多维随机变量的联合密度函数

定义3.5 二维连续型随机变量
$(X,Y)\sim F(x,y)$ $f(x,y)$ $\forall(x,y)\in\R^2$ ，有
$F (x, y) = \int_{- \infty}^{x} \int_{- \infty}^{y} f (u, v) d u d v,$
$(X,Y)$ $F(x,y)$ $f(x,y)$ 为其联合概率密度函数（joint probability density function, joint pdf），简称联合密度函数.

性质：

$x,y\in\R$ $f(x,y)\geqslant0$ ；
$\displaystyle\iint_{\R^2}f(x,y)\ \mathrm dx\mathrm dy=1$ ；
$f(x,y)$ $(x_0,y_0)$ 处连续，则
${\frac{\partial^{2} F (x, y)}{\partial x \partial y} |}_{(x_{0}, y_{0})} = f (x_{0}, y_{0}),$
由此知
$P (x < X ⩽ x + d x, y < Y ⩽ y + d y) \approx f (x, y) d x d y;$
$G$ 是平面上的一个区域，则
$P ((X, Y) \in G) = \iint_{(x, y) \in G} f (x, y) d x d y .$

例3.5 二元正态分布

例3.6 均匀分布

3.2 边缘（际）分布

定义3.6 边缘（际）分布
$(X,Y)$ $F(x,y)$ $X$ $Y$ $F_1(x)$ $F_2(y)$ $(X,Y)$ $F$ 的边缘（际）分布（marginal distribution）.

3.2.1 二维离散型随机变量的边缘（际）分布

3.2.2 二维连续型随机变量的边缘分布

定义3.7 边缘概率密度函数
$(X,Y)\sim f(x,y)$ ，则
$\begin{matrix} f_{1} (x) = \int_{R} f (x, y) d y, \\ f_{2} (y) = \int_{R} f (x, y) d x . \end{matrix}$
$X$ $Y$ $f_1(x)$ $f_2(y)$ $(X,Y)$ $f(x,y)$ 的边缘概率密度函数（marginal probability density function, marginal pdf），简称边缘密度函数.

3.3 条件分布

一个随机变量（或向量）的条件概率分布，就是在给定（或已知）某种条件（某种信息）下该随机变量（向量）的概率分布.

$(X,Y)$ 为二维离散型随机变量时，设联合分布律为

P (X = x_{i}, Y = y_{i}) = p_{i j}, i, j = 1, 2, \dots,

$P(Y=y_j)>0$ $Y=y_j$ $X$ 的条件分布律为

p_{i | j} = \frac{p_{i j}}{p_{j}}, i = 1, 2, \dots,

$P(X=x_i)>0$ $X=x_i$ $Y$ 的条件分布律为

p_{j | i} = \frac{p_{i j}}{p_{i}}, j = 1, 2, \dots .

$(X,Y)$ $f(x,y)$ $0$ ，故此时不能直接使用条件概率. 但是注意到，如果定义条件分布函数

\begin{aligned} F_{X | Y} (x | y) & = P (X ⩽ x | Y = y) = lim_{ε \to 0} P (X ⩽ x | y ⩽ Y ⩽ y + ε) \\ = lim_{ε \to 0} \frac{\frac{F (x, y + ε) - F (x, y)}{ε}}{\frac{P (y < Y ⩽ y + ε)}{ε}} \\ = \frac{\partial F (x, y)}{\partial y} / \frac{\partial F_{2} (y)}{\partial y} \\ = \int_{- \infty}^{x} \frac{f (u, y)}{f_{2} (y)} d u \\ \equiv \int_{- \infty}^{x} f_{X | Y} (u | y) d u, \end{aligned}

$Y$ $y$ $f_2(y)>0$ $X$ $Y=y$ 下的分布函数和概率密度函数.

定义3.8 条件概率密度函数
$Y$ $y$ $f_2(y)>0$ ，那么称
$f_{X | Y} (x | y) = \frac{f (x, y)}{f_{2} (y)}$
$Y=y$ $X$ 条件概率密度函数 $X=x$ $Y$ $f_{Y|X}(y|x)$ 为
$f_{Y | X} (y | x) = \frac{f (x, y)}{f_{1} (x)}, f_{1} (x) > 0.$

$X=x$ $Y$ $Y|X=x\sim f_{Y|X}(y|x)$ $Y|x\sim f_{Y|X}(y|x)$ .

连续型随机变量密度函数形式的

乘法公式：
$f (x, y) = f_{Y | X} (y | x) f_{1} (x) = f_{X | Y} (x | y) f_{2} (y);$
贝叶斯公式：

\begin{matrix} f_{Y | X} (y | x) = \frac{f (x, y)}{f_{1} (x)} = \frac{f_{X | Y} (x | y) f_{2} (y)}{f_{1} (x)}, \\ f_{X | Y} (x | y) = \frac{f (x, y)}{f_{2} (y)} = \frac{f_{Y | X} (y | x) f_{1} (x)}{f_{2} (y)} . \end{matrix}

3.4 相互独立的随机变量

定义3.9 随机变量相互独立
$X,Y$ $F(x,y)$ $F_1(x),F_2(y)$ $\forall\ (x,y)\in\R^2$ ，都有
$F (x, y) = F_{1} (x) F_{2} (y),$
$X,Y$ 相互独立.

$\forall\ B_1,B_2\in\R$ ，都有

P (X \in B_{1}, y \in B_{2}) = P (X \in B_{1}) P (y \in B_{2}) .

$(X,Y)$ $P(X=x_i,Y=y_j)=p_{ij},\ i,j=1,2,\cdots$ $X,Y$ 相互独立等价于

p_{i j} = p_{i} p_{j}, \forall i, j = 1, 2, \dots .

$(X,Y)$ $f(x,y)$ $f_1(x),f_2(y)$ $X,Y$ 相互独立等价于

f (x, y) = f_{1} (x) f_{2} (y), \forall (x, y) \in R^{2} .

$f(x,y)$ 可以分离变量，即有

f (x, y) = g_{1} (x) g_{2} (y), \forall (x, y) \in R^{2},

$g_1(x),g_2(y)$ 不必是概率密度函数.

定义3.10 多维随机变量的相互独立性

3.5 随机向量函数的分布

$(X,Y)\sim f(x,y)$ $Z=g(X,Y)$ $A\sub \R$ ，则

P (Z \in A) = \iint_{g (x, y) \in A} f (x, y) d x d y,

$A=(-\infty,z]$ $Z$ $F_Z$ 为

F_{Z} (z) = P (Z ⩽ z) = \iint_{g (x, y) ⩽ z} f (x, y) d x d y .

$Z_1=g_1(X,Y),Z_2=g_2(X,Y)$ $A\sub \R^2$ $Z_1,Z_2$ 的联合分布为

P ((Z_{1}, Z_{2}) \in A) = \iint_{(g_{1} (x, y), g_{2} (x, y)) \in A} f (x, y) d x d y,

$A=(-\infty,z_1]\times(-\infty,z_2]$ $(Z_1,Z_2)$ $F_{\boldsymbol Z}(z_1,z_2)$ 为

F_{Z} (z_{1}, z_{2}) = P (Z_{1} ⩽ z_{1}, Z_{2} ⩽ z_{2}) = \underset{g_{2} (x, y) ⩽ z_{2}}{\iint_{g_{1} (x, y) ⩽ z_{1}}} f (x, y) d x d y .

$u=g_1(x,y),v=g_2(x,y)$ $(u,v)$ $(x,y)$ $x=\varphi_1(u,v),y=\varphi_2(u,v)$ 且都有一阶连续偏导数，则作变换后

F_{Z} (z_{1}, z_{2}) = \underset{g_{2} (x, y) ⩽ z_{2}}{\iint_{g_{1} (x, y) ⩽ z_{1}}} f (x, y) d x d y = \underset{v ⩽ z_{2}}{\iint_{u ⩽ z_{1}}} f (φ_{1} (u, v), φ_{2} (u, v)) | \frac{\partial (x, y)}{\partial (u, v)} | d u d v,

$z_1,z_2$ 求混合偏导，得

f_{Z} (z_{1}, z_{2}) = f (φ_{1} (z_{1}, z_{2}), φ_{2} (z_{1}, z_{2})) {| \frac{\partial (φ_{1}, φ_{2})}{\partial (u, v)} |}_{(u, v) = (z_{1}, z_{2})} .

$X,Y$ $f(x,y)=f_1(x)f_2(y)$ ，计算会方便进行.

$X,Y$ $f_1(x),f_2(y)$ $X+Y$ 的概率密度函数.
$F_{X + Y} = \iint_{x + y ⩽ z} f_{1} (x) f_{2} (y) d x d y = \int_{- \infty}^{+ \infty} f_{1} (x) \int_{- \infty}^{z - x} f_{2} (y) d y d x .$
$z$ 求导，得
$f_{X + Y} (z) = \int_{- \infty}^{+ \infty} f_{1} (x) f_{2} (z - x) d x = \int_{- \infty}^{+ \infty} f_{2} (y) f_{1} (z - y) d y \equiv f_{1} * f_{2} (z),$
$f_1*f_2(z)$ $f_1$ $f_2$ 的卷积（convolution）.
$U=X$ $V=X+Y$ $u,v$ $x,y$ $1$ ，故
$\begin{aligned} P (X + Y ⩽ z) & = \iint_{x + y ⩽ z} f (x, y) d x d y \\ = \iint_{v ⩽ z} f (u, v - u) d u d v \\ = \int_{- \infty}^{z} d v \int_{- \infty}^{+ \infty} f (u, v - u) d u . \end{aligned}$
由密度函数的定义，
$f_{X + Y} (z) = \int_{- \infty}^{+ \infty} f (u, z - u) d u .$
$X,Y$ $f(u,z-u)=f_1(u)f_2(z-u)$ ，从而
$f_{X + Y} (z) = \int_{- \infty}^{+ \infty} f_{1} (u) f_{2} (z - u) d u = f_{1} * f_{2} (z) .$
这里不需要在积分号下求导.

$X$ $Y$ $Exp(\lambda)$ $Z=X+Y$ 的概率密度函数.
由于
$\begin{aligned} f_{Z} (z) & = λ^{2} \int_{- \infty}^{+ \infty} e^{- λ x} e^{- λ (z - x)} I_{(0, + \infty)} (x) I_{(0, + \infty)} (z - x) d x \\ = λ^{2} e^{- λ z} \int_{- \infty}^{+ \infty} I_{(0, + \infty)} (x) I_{(0, + \infty)} (z - x) d x \\ = λ^{2} z e^{- λ z} I_{(0, + \infty)} (z) . \end{aligned}$
$X_1,X_2,\cdots,X_n$ $Exp(\lambda)$ $Z=X_1+X_2+\cdots+X_n$ 的概率密度函数为
$f_{n} (z) = \frac{λ^{n}}{(n - 1)!} z^{n - 1} e^{- λ z} I_{(0, + \infty)} (z) .$
$n,\lambda$ $\varGamma$ $Z\sim Ga(n,\lambda)$ .
$X\sim Ga(1,\lambda)$ .）
再生性 $\varGamma$ $n$ 具有再生性.
$Z=X-Y$ 的概率密度函数为
$\begin{aligned} f_{Z} (z) & = λ^{2} \int_{- \infty}^{+ \infty} e^{- λ z} e^{- λ (z + x)} I_{(0, + \infty)} (x) I_{(0, + \infty)} (z + x) d x \\ = λ^{2} e^{- λ z} \int_{- \infty}^{+ \infty} e^{- 2 λ x} I_{(0, + \infty)} (x) I_{(0, + \infty)} (z + x) d x \\ = {\begin{cases} λ^{2} e^{- λ z} \int_{- z}^{+ \infty} e^{- 2 λ x} d x, z ⩽ 0, \\ λ^{2} e^{- λ z} \int_{0}^{+ \infty} e^{- 2 λ x} d x, z > 0 \end{cases} \\ = {\begin{cases} \frac{λ}{2} e^{λ z}, z ⩽ 0, \\ \frac{λ}{2} e^{- λ z}, z > 0 \end{cases} \\ = \frac{λ}{2} e^{- λ | z |}, \end{aligned}$
该分布称为拉普拉斯分布（Laplace distribution）. 即，独立指数分布的差是拉普拉斯分布.

$X$ $Y$ $N(\mu_1,\sigma_1^2)$ $N(\mu_2,\sigma_2^2)$ $X+Y$ 的分布.
由于
$\begin{aligned} f_{Z} (z) & = \frac{1}{2 π σ_{1} σ_{2}} \int_{- \infty}^{+ \infty} \exp {- \frac{(x - μ_{1})^{2}}{2 σ_{1}^{2}}} \exp {- \frac{(z - x - μ_{2})^{2}}{2 σ_{2}^{2}}} d x \\ = \frac{1}{\sqrt{2 π} \sqrt{σ_{1}^{2} + σ_{2}^{2}}} \exp {- \frac{(z - (μ_{1} + μ_{2}))^{2}}{2 (σ_{1}^{2} + σ_{2}^{2})}}, \end{aligned}$
$Z\sim N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$ $N(\mu,\sigma^2)$ $\mu,\sigma^2$ 具有再生性.

$X$ $Y$ $X\sim f_1(x)$ $Y\sim f_2(y)$ $U=\dfrac{X}{Y}$ 的分布.
$U=\dfrac XY,V=Y$ $y\neq0$ $(u,v)$ $(x,y)$ 的 Jacobi 行列式的绝对值为
$\begin{matrix} | \frac{\partial (u, v)}{\partial (x, y)} | = | \begin{matrix} \frac{1}{y} & - \frac{x}{y^{2}} \\ 0 & 1 \end{matrix} | \\ = \frac{1}{| y |}, \end{matrix}$
所以
$| \frac{\partial (x, y)}{\partial (u, v)} | = | y | = | v | .$
由此得
$F_{U} (u) = \iint_{x / y ⩽ u} f_{1} (x) f_{2} (y) d x d y = \int_{- \infty}^{z} d u \int_{- \infty}^{+ \infty} | v | f_{1} (u v) f_{2} (v) d v$
由密度函数的定义知，
$f_{U} (u) = \int_{- \infty}^{+ \infty} | v | f_{1} (u v) f_{2} (v) d v .$
$X$ $Y$ $N(0,\sigma^2)$ $Z=\dfrac XY$ ，则
$f_{Z} (z) = \frac{1}{2 π σ^{2}} \int_{- \infty}^{+ \infty} | y | \exp {- \frac{(1 + z^{2}) y}{2 σ^{2}}} d y = \frac{1}{π (1 + z^{2})} .$
该分布称为柯西分布（Cauchy distribution），即独立正态分布随机变量的商服从柯西分布.

$X$ $Y$ $X\sim F_1(x)，Y\sim F_2(y)$ $\max\{X,Y\}$ $\min\{X, Y\}$ 的分布.
$\max\{X,Y\}$ $\min\{X,Y\}$ $X$ $Y$ 相互独立，
$\begin{aligned} F_{max} (z) & = P (max {X, Y} ⩽ z) \\ = P (X ⩽ z, Y ⩽ z) \\ = P (X ⩽ z) P (Y ⩽ z) \\ = F_{1} (z) F_{2} (z), \end{aligned}$ $\begin{aligned} F_{min} (z) & = P (min {X, Y} ⩽ z) \\ = P ({X ⩽ z} \cup {Y ⩽ z}) \\ = 1 - P ({X > z} \cap {Y > z}) \\ = 1 - P ({X > z}) P ({Y > z}) \\ = 1 - (1 - F_{1} (z)) (1 - F_{2} (z)) . \end{aligned}$
$X\sim f_1(x),Y\sim f_2(y)$ ，那么
$\begin{aligned} f_{max} (z) = f_{1} (z) F_{2} (z) + F_{1} (z) f_{2} (z), \\ f_{min} (z) = f_{1} (z) (1 - F_{2} (z)) + (1 - F_{1} (z)) f_{2} (z) . \end{aligned}$

第四章随机变量的数字特征和极限定理

4.1 数学期望和中位数

前面讨论的随机变量的概率分布是对随机变量概率特性的最完整和全面的刻画，而本章要讨论的数字特征是对随机变量（或它的分布）某一方面特性的刻画.

4.1.1 数学期望

数学上，离散型随机变量的数学期望的定义为取值的“加权平均”：

定义4.1 离散型随机变量的期望
$X$ $P(X=x_k)=p_k,\quad k=1,2,\cdots$ . 如果
$\begin{matrix} (1) & \sum_{k ⩾ 1} | x_{k} | p_{k} < \infty, \end{matrix}$
那么称
$\begin{matrix} (2) & E (X) = \sum_{k ⩾ 1} x_{k} p_{k} \end{matrix}$
$X$ 的数学期望，简称期望（expectation）.

注：

$X$ $x_k,k=1,2,\cdots,n$ $p_1,p_2,\cdots,p_n$ . 此时数学期望必然存在；
$(1)$ $(2)$ $x_i$ 的排列次序无关，这是符合常识的.

对连续型随机变量，加权平均等价为加权积分：

定义4.2 连续型随机变量的期望
$X\sim f(x)$ ，如果
$\begin{matrix} (3) & \int_{- \infty}^{+ \infty} | x | f (x) d x < \infty \end{matrix}$
$E(|X|)<\infty$ ），那么称
$\begin{matrix} (4) & E (X) = \int_{- \infty}^{+ \infty} x f (x) d x \end{matrix}$
$(3)$ 是保证期望有确定的值，即存在，的条件.

$X_1,X_2,\cdots,X_n$ 同分布的 $E(X_1)=E(X_2)=\cdots=E(X_n)$ $X_1,X_2,\cdots,X_n$ 是相互独立有相同分布的（independent and identically distributed, i.i.d.）随机变量.

$X\sim P(\lambda)$ $E(X) = \lambda$ .

$X\sim N(\mu,\sigma^2)$ $E(X)=\mu$ .

$X\sim f(x)$ ，其中
$f (x) = \frac{1}{π (1 + x^{2})}, x \in R$
称为柯西分布. 证明：柯西分布的期望不存在.

数学期望的性质：

$c$ $c$ . 下面讨论的性质中假设期望均存在，则

$E(X_k),k=1,2,\cdots,n$ 存在，则
$E (\sum_{i = 1}^{n} X_{i}) = \sum_{i = 1}^{n} E (X_{i}),$
且期望的线性性质不需要对随机变量之间的关联附加任何限制，具有很好的普适性.
$X_1,X_2$ $E(X_1),E(X_2)$ 存在，则
$E (X_{1} X_{2}) = E (X_{1}) E (X_{2}) .$
$X_1,X_2,\cdots,X_n$ $E_(X_1),E_(X_2),\cdots,E(X_n)$ 存在，则
$E (\prod_{k = 1}^{n} X_{k}) = \prod_{k = 1}^{n} E (X_{k}) .$
$\boldsymbol X$ $n$ $F_\boldsymbol X(\boldsymbol x)$ $\boldsymbol Y=g(\boldsymbol X)$ $m$ $F_\boldsymbol Y(\boldsymbol y)$ $\boldsymbol Y$ 的各分量存在期望，则
$\begin{aligned} E (Y) & = \int_{R^{m}} y d F_{Y} (y) = \int_{R^{n}} x d F_{X} (x) \\ = {\begin{cases} \sum g (x) P (X = x), X 为离散型, \\ \int_{R^{n}} g (x) f_{X} (x) d x, X 为连续型 . \end{cases} \end{aligned}$
$\boldsymbol Y$ $c$ $E(c\boldsymbol X)=cE(\boldsymbol X)$ .
$\boldsymbol X$ $\boldsymbol Y$ 的期望而无需计算出其分布.
$X\geqslant Y$ $E(X)\geqslant E(Y)$ .

$X\sim B(n,p)$ $E(X)$ .

$X_r$ $(r,p)$ $X_r$ 的期望.

$X\sim U(-1,1)$ $E(2|X|)$ .
$E (2 | X |) = 2 (E | X |) = 2 \int_{- 1}^{1} \frac{1}{2} | x | d x = 1.$

4.1.2 条件数学期望（条件期望）

$(X,Y)$ $X$ $X=x$ $Y$ $E(Y|X=x)$ $E(Y|x)$ .

$X$ $Y$ $X$ $\{x_1,x_2,\cdots,x_n\}$ $Y$ $\{y_1,y_2,\cdots,y_m\}$ $\{Y=y_k\}$ $y_k$ $x_i$ 变化时，该概率分布即为条件分布，记作

P (X = x_{i} | Y = y_{k}) = \frac{P (X = x_{i}, Y = y_{k})}{P (Y = y_{k})}, i = 1, 2, \dots, n .

$Y$ 所提供的先验信息，并将该信息代入到了期望的计算，

E (X | Y = y_{k}) = \sum_{i = 1}^{n} x_{i} P (X = x_{i} | Y = y_{k}) .

$(X,Y)\sim f(x,y)$ $X=x$ $Y$ $f_{Y|X}(y|x)$ ，则

定义4.3 连续型随机变量的条件期望
$E(|Y|)<\infty$ ，称
$E (Y | X = x) = \int_{- \infty}^{+ \infty} y f_{Y | X} (y | x) d y$
$X=x$ $Y$ 的条件期望.

$E(Y|x)$ $x$ $h(x)$ $Y$ 的回归函数.

$X$ $E(Y|X)=h(X)$ $X$ 的函数，因而是随机变量. 对其再取期望，

\begin{aligned} E (E (Y | X)) = E (h (X)) & = \int_{- \infty}^{+ \infty} h (x) f_{1} (x) d x \\ = \int_{- \infty}^{+ \infty} f_{1} (x) d x \int_{- \infty}^{+ \infty} y f_{Y | X} (y | x) d y \\ = \iint_{R^{2}} y \frac{f (x, y)}{f_{1} (x)} f_{1} (x) d x d y \\ = \int_{- \infty}^{+ \infty} y d y \int_{- \infty}^{+ \infty} f (x, y) d x \\ = \int_{- \infty}^{+ \infty} y f_{2} (y) d y \\ = E (Y) . \end{aligned}

这称为条件期望的平滑公式或全期望公式.

4.1.3 中位数和众数

定义4.4 中位数
$X\sim F(x)$ $m$ 满足
$P (X ⩾ m) = 1 - F (m - 0) ⩾ 1 / 2, P (X ⩽ m) = F (m) ⩾ 1 / 2,$
$F(m-0)=P(X<m)$ $m$ $X$ 的中位数（median）.

$X$ $f(x)$ $f(m)>0$ $F(m)=1/2$ $\displaystyle\int_{-\infty}^mf(x)\ \mathrm dx=1/2$ .

定义4.5 众数
$X$ 众数 $m_d$ ；
$X$ $X\sim f(x)$ $f(x)$ $x$ $m_d$ .

$X$ $f(x)$ 有唯一的极大值点，则称该密度函数是单峰的.

数学期望、中位数和众数称为随机变量的位置参数，它们刻画了随机变量的数学期望、一半概率值和密度函数最大值的位置.

$p$ 分位数的特例：

$p$ 分位数
$0<p<1$ $Q_p$ $X$ $p$ 分位数，是指
$P (X ⩽ Q_{p}) ⩾ p, P (X ⩾ Q_{p}) ⩾ 1 - p .$

$Q_{0.25},Q_{0.5},Q_{0.75}$ $X$ $IQR(X)=Q_{0.75}-Q_{0.25}$ 内四分位距 $p$ 恰好取百分比例时，得到的分位数称为百分位数.

4.2 方差和矩

4.2.1 方差和标准差

定义4.7 方差和标准差
$X$ $E(X^2)<\infty$ ，则
$\begin{matrix} σ^{2} = Var (X) \equiv E [(X - μ)^{2}], \\ σ = \sqrt{Var (X)} \end{matrix}$
$X$ 的方差（variance）和标准差（standard deviation）. 也可以称为随机变量分布的方差和标准差.

方差的性质：

由期望的线性性质，
$Var (X) = E [(X - μ)^{2}] = E (X^{2}) - 2 μ E (X) + m u^{2} = E (X^{2}) - μ^{2} .$
$E(X^2)\geqslant [E(X)]^2$ .
$\mathrm{Var}(c)=0$ ，因为常数没有波动；
$c$ $\mathrm{Var}(cX)=c^2\mathrm{Var}(X),\quad\mathrm{Var}(X+c)=\mathrm{Var}(X)$ .
独立 $X_1,X_2,\cdots,X_n$ 相互独立，则
$Var (\sum_{i = 1}^{n} X_{i}) = \sum_{i = 1}^{n} Var (X_{i}) .$
$X_1,X_2,\cdots,X_n$ $c_1,c_2,\cdots,c_n$ $n$ 个常数时，有
$Var (\sum_{i = 1}^{n} c_{i} X_{i}) = \sum_{i = 1}^{n} c_{i}^{2} Var (X_{i}) .$
$\mathrm{Var}(X_1-X_2)=\mathrm{Var}(X_1)+\mathrm{Var}(X_2)$ .
$X_1,X_2,\cdots,X_n$ $n$ $\mathrm{Var}(X_i)=\sigma^2,c_1=c_2=\cdots=c_n=1/n$ ，则
$Var (\sum_{i = 1}^{n} c_{i} X_{i}) = Var (\overset{―}{X}) = \frac{σ^{2}}{n} .$
$\mathrm{Var}(X)=0$ $P(X=c)=1$ $c=E(X)$ $X$ $c$ $c$ $\mathrm{Var}(X)\leqslant E[(X-c)^2]$ $c=E(X)$ .

例4.18
$E(X)=\mu,\mathrm{Var}(X)=\sigma^2>0$ . 记
$Y = \frac{X - μ}{σ},$
则
$E (Y) = 0, Var (Y) = σ^{- 2} Var (X) = 1.$
$X$ 的标准化，它的特点是没有量纲.

定理4.1 马尔可夫不等式
$Y\geqslant0$ $\forall\varepsilon>0$ ，有
$P (Y ⩾ ε) ⩽ \frac{E (Y)}{ε} .$

$Y=(X-\mu)^2$ $\varepsilon$ $\varepsilon^2$ ，得到切比雪夫不等式

P (| X - μ | ⩾ ε) = P ((X - μ) ⩾ ε^{2}) ⩽ \frac{E [(X - μ)^{2}]}{ε^{2}} = \frac{Var (X)}{ε^{2}} .

4.2.2 矩

定义4.8 矩
$X$ $E(|X|^k)<\infty$ $k$ $E\left[(X-c)^k\right]$ $X$ $c$ $k$ 矩 $c$ 为常数.
$\alpha_k=E(X^k)$ $X$ $k$ $\mu_k=E\left[(X-E(X))^k\right]$ $X$ $k$ 阶中心矩.

$E(X)$ $X$ $\alpha_1$ $\mathrm{Var}(X)$ $X$ 的二阶中心矩.

$\Gamma$ $\alpha>-1,\beta>0$ ，

\int_{0}^{+ \infty} x^{α} e^{- β x^{2}} d x = \frac{Γ ((α + 1) / 2)}{2 β^{(α + 1) / 2}} .

应用：

$\mu_3$ 衡量分布是否有偏.
$X\sim f(x)$ $f$ $x=a$ 对称，即
$f (a + x) = f (a - x),$
$a=E(X)$ $\mu_3=E\left[(X-E(X))^3\right]=0$ $\mu_3>0$ $f(x)$ $\mu_3<0$ $f(x)$ 的图形最高点偏右，称为负偏或左偏.
$\mu_3=E\left[(X-E(X))^3\right]=0$ $\mu_3\neq0$ 是数据分布与正态分布有较大偏离的标志.
称
$β_{1} = \frac{μ_{3}}{σ^{3}}$
$X$ 的偏度系数（coefficient of skewness）.
$\mu_4$ 衡量分布（密度函数）在期望附近的陡峭程度.
$X$ $E(X)$ $\mu_4$ 将倾向于小，否则就倾向于大.
称
$β_{2} = \frac{μ_{4}}{σ^{4}}$
$X$ 的峰度系数（coefficient of kurtosis）.

$X\sim N(\mu,\sigma^2)$ $\beta_1=0,\beta_2=3$ $\mu$ $\sigma^2$ $\mu_4/\sigma^4-3$ $0$ .

定义4.9 矩母函数
$X$ 的矩母函数矩生成函数 $M_X(s)$ 定义为
$M_{X} (s) = E [e^{s X}] .$
$a$ $M_X(s)$ $s\in[-a,a]$ $X$ $M_X(s)$ 存在.

$\mathrm e^x$ $x\in\R$ 有

e^{x} = \sum_{k = 0}^{\infty} \frac{x^{k}}{k!},

我们有

M_{X} (s) = \sum_{k = 0}^{\infty} E [X^{k}] \frac{s^{k}}{k!} .

$M_x(s)$ $X$ 的所有原点矩，也就是说

E (X^{k}) = {\frac{d^{k}}{d s^{k}} M_{X} (s) |}_{s = 0} .

$X\sim N(\mu,\sigma^2)$ $M_X(s)$ .
$x=\mu+\sigma z$ ，则
$\begin{aligned} M_{X} (s) & = E (e^{s X}) = \int_{- \infty}^{+ \infty} e^{x s} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{(x - μ)^{2}}{2 σ^{2}}} d x \\ = e^{μ s} \int_{- \infty}^{+ \infty} e^{z σ s} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{1}{2} z^{2}} | \frac{d x}{d z} | d z \\ = e^{μ s} \int_{- \infty}^{+ \infty} e^{z σ s} \frac{1}{\sqrt{2 π}} e^{- \frac{1}{2} z^{2}} d z \\ = e^{μ s + \frac{1}{2} σ^{2} s^{2}} . \end{aligned}$

$M_X(s)$ $X$ 的分布.

定理4.2
$c$ $X$ $Y$ $s\in[-c,c]$ 均有限且相等，则它们的分布相同. 即，
$F_{X} (t) = F_{Y} (t), t \in R .$

$X_1,X_2,\cdots,X_n$ 为相互独立的随机变量，则

M_{X_{1} + X_{2} + \dots + X_{n}} (s) = M_{X_{1}} (s) M_{X_{2}} (s) \dots M_{X_{n}} (s) .

4.2.3 协方差和相关系数

$(X,Y)$ 为二维随机向量，注意到

Var (X + Y) = Var (X) + Var (Y) + 2 E [(X - E (X)) (Y - E (Y))],

$X+Y$ $=$ $X$ $+$ $Y$ $+$ $X$ $Y$ $X$ $Y$ 之间的关系，是我们感兴趣的,

定义4.10 协方差
$X$ $Y$ $E(X^2)<\infty,E(Y^2)<\infty$ ，则称
$Cov (X, Y) = E [(X - E (X)) (Y - E (Y))]$
$X,Y$ 的协方差（covariance）.

性质：

$\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)$ ；
$\mathrm{Cov}(X,Y)=E(XY)-E(X)E(Y)$ ；
$a,b,c,d$ ，有
$\begin{matrix} Cov (a X + b, c Y + d) = a c Cov (X, Y), \\ Cov (a X + b Y, c X + d Y) = a c Var (X) + (a d + b c) Cov (X, Y) + b d Var (Y), \end{matrix}$
$\mathrm{Cov}(X,X)=\mathrm{Var}(X)$ ；
$X,Y$ $\mathrm{Cov}(X,Y)=0$ ；
（随机变量场合的柯西-施瓦茨（Cauchy-Schwarz）不等式）
$[\mathrm{Cov}(X,Y)]^2\leqslant \mathrm{Var}(X)\mathrm{Var}(Y).$ $\iff$ $X,Y$ $0$ $c_1,c_2$ $c_1 X+c_2 Y+c_3=0$ .

定义4.11 相关系数
$X$ $Y$ $E(X^2)<\infty,E(Y^2)<\infty$ ，则称
$ρ_{X, Y} = Cov (\frac{X - E (X)}{\sqrt{Var (X)}}, \frac{Y - E (Y)}{\sqrt{Var (Y)}}) = \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}}$
$X,Y$ $\rho$ .

$|\rho|\leqslant 1$ ，等号成立的充要条件是随机变量之间有严格的线性关系.

$\rho<0$ $X,Y$ 负相关；
$\rho>0$ $X,Y$ 正相关；
$\rho=0$ $X,Y$ 线性不相关.

$(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$ $\mathrm{Cov}(X,Y)=\rho\sigma_1\sigma_2,\rho_{X,Y}=\rho$ .

命题4.1 正态分布随机变量的独立与不相关
$X,Y$ $\rho=0$ $(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$ $X,Y$ $\iff$ $\rho=0$ .

定理4.3
$X,Y$ 存在方差，如下四个命题相互等价：
$X$ $Y$ 不相关；
$\mathrm{Cov}(X,Y)=0$ ；
$E(XY)=E(X)E(Y)$ ；
$\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$ .

4.3 熵的基本概念

熵是随机变量最重要的数字特征之一，度量了随机变量中所含有的信息量的大小. 换言之，熵体现的是随机变量的不确定性程度，熵越大，不确定性就越大.

定义4.12 熵
$X$ 为离散型随机变量，分布律为
$P (X = x_{k}) = p_{k}, k \in N,$
则其熵（entropy）定义为
$H (X) = - \sum_{k = 1}^{\infty} p_{k} \log_{2} (p_{k}) .$
$X$ $f_X(x)$ ，那么其熵定义为
$H (X) = - \int_{- \infty}^{+ \infty} f_{X} (x) \ln f_{X} (x) d x$
$2$ $\mathrm e$ $10$ 为底的对数.

$X$ $H(X)$ 有如下性质：

$H(X)\geqslant 0$ ；
$X$ $\{p_k|k=1,2,\cdots,n\}$ 不是离散均匀分布，那么有
$H (X) ⩽ \log_{2} (n),$
$X$ 为离散均匀分布随机变量时等号成立.

4.4 大数定律和中心极限定理

在概率论中习惯于把随机变量和的分布收敛于正态分布的那一类定理称为中心极限定理（central limit theorem, CLT）. 大数定律（law of large numbers, LLN）则是“频率趋于概率”的引申.

定义4.13 依概率收敛
$X_1,X_2,\cdots,X_n,\cdots$ $X$ $\forall\varepsilon>0$ ，有
$lim_{n \to \infty} P (| X_{n} - X | ⩾ ε) = 0,$
$\{X_n\}$ 依概率收敛 $X$ $X_n\to N,\text{ in }P$ $X_n\overset{P}\to X$ .

定理4.4 （弱）大数定律
$X_1,X_2,\cdots,X_n,\cdots$ $\mu$ $\sigma^2$ $S_n=X_1+X_2+\cdots+X_n$ $\forall\varepsilon>0$ ，
$lim_{n \to \infty} P (| \frac{S_{n}}{n} - μ | ⩾ ε) = 0,$
也就是说
$\frac{S_{n}}{n} \overset{P}{\to} μ, n \to \infty .$
~~用切比雪夫不等式立得.~~

$n$ $\mu$ .

我们可以不知道数据来自什么总体分布，也不知道总体期望是多少，但是我们常常用样本均值来近似总体均值，其理论依据就是大数定律.

例4.35（伯努利大数定律）
$\{X_k\}$ $0-1$ 分布随机变量序列，
$P (X_{k} = 1) = p, P (X_{k} = 0) = 1 - p,$
$E(X_k)=p,\mathrm{Var}(X_k)=p(1-p)$ $\forall\varepsilon>0$ ，我们有
$P (| \frac{1}{n} \sum_{k = 1}^{n} X_{k} - p | ⩾ ε) ⩽ \frac{p (1 - p)}{n ε^{2}} ⩽ \frac{1}{4 n ε^{2}} \to 0, n \to \infty,$
即有
$\frac{1}{n} \sum_{k = 1}^{n} X_{k} \overset{P}{\to} p .$

$n$ 项部分和的平均几乎在每个样本点上收敛，我们称为强大数定律（strong law of large numbers）.

定义4.14 依分布收敛
$X_1,X_2,\cdots,X_n,\cdots$ $X$ $F_n$ $F$ $X_n$ $X$ $F$ 连续点 $x\in\R$ 有
$lim_{n \to \infty} F_{n} (x) = F (x),$
$\{F_n\}$ 弱收敛 $F$ $\{X_n\}$ 依分布收敛 $X$ $X_n\overset{\mathcal L}{\to}X$ $X_n\overset{d}{\to}X$ .

定理4.5 依概率收敛与依分布收敛的关系
$X_1,X_2,\cdots,X_n,\cdots$ $X$ 为另一随机变量.
$X_n\overset{P}{\to}X$ $X_n\overset{\mathcal L}{\to}X$ ；
$X_n\overset{\mathcal L}{\to}c$ $X_n\overset{P}{\to}c$ $c$ 为一个常数.

依分布收敛的一个重要应用场合是关于独立随机变量部分和的分布收敛性，称为中心极限定理，在数理统计的大样本理论中有重要的应用.

定理4.6 林德伯格-莱维中心极限定理
$X_1,X_2,\cdots,X_n,\cdots$ $\mu,\sigma^2$ $S_n=\displaystyle\sum_{i=1}^n X_i$ $\forall\ x\in\R$ 有
$lim_{n \to \infty} P (\frac{\sqrt{n} (S_{n} / n - μ)}{σ} ⩽ x) = Φ (x),$
也常常表示为
$\frac{\sqrt{n} (\overset{―}{X} - μ)}{σ} \overset{L}{\to} N (0, 1),$
$\overline X=\dfrac{S_n}{n}$ .

$S_n$ 标准化后的分布函数近似于标准正态分布函数. 所以在应用中，中心极限定理也常常表示为

lim_{n \to \infty} P (\frac{S_{n} - E (S_{n})}{\sqrt{Var (S_{n})}} ⩽ x) = Φ (x), \forall x \in R .

$0-1$ $P(X_i=1)=p,P(X_i=0)=1-p,i=1,2,\cdots$ ，则此时的中心极限定理称为棣莫弗-拉普拉斯中心极限定理，即

定理4.7 棣莫弗-拉普拉斯中心极限定理
$X_1,X_2,\cdots,X_n,\cdots$ $S_n=\displaystyle\sum_{i=1}^nX_i,0<p<1,$ $X_i\sim B(1,p)$ $\forall\ x\in\R$ ，有
$lim_{n \to \infty} P (\frac{S_{n} - n p}{\sqrt{n p (1 - p)}} ⩽ x) = Φ (x) .$

$S_n\sim B(n,p)$ ，所以棣莫弗-拉普拉斯中心极限定理告诉我们可以用正态分布来近似二项分布.

$np$ 较小时，可以用泊松分布逼近二项分布；
$np$ 较大时，用正态分布逼近二项分布.
$n\geqslant30$ 时，近似程度能满足一般的要求.

$\overline X=S_n/n$ $E(X)$ $1/\sqrt n$ $\sqrt n[\overline X-E(X)]$ 依概率有界.

$X_i$ $S_n$ 标准化后的分布函数仍成立.

第五章统计学基本概念

5.1 统计学发展简史

统计学（statistics），统计学家（statistician）.

5.2 基本概念

定义5.1

5.2.1 总体

定义5.2 统计总体
研究对象某个指标取值的全体以及取这些值的概率分布，称为统计总体，简称总体（population）.

5.2.2 样本

定义5.3 样本
$n$ $\boldsymbol X=(X_1,X_2,\cdots,X_n)$ 样本量 $n$ 的一个样本（sample）.

最常用的一种抽样方法叫做“简单随机抽样”，它要求满足下列两条：

代表性. 总体中的每一个体都有同等机会被抽入样本，样本中每个个体与所考察的总体具有相同分布. 因此，任一样本中的个体都具有代表性.
$X_1,X_2,\cdots,X_n$ 是相互独立的随机变量.

$X_1,X_2,\cdots,X_n$ 称为简单随机样本，也称为简单样本. 在没有歧义的时候也常常简称为样本.

性质 $X_1,X_2,\cdots,X_n$ $F$ $n$ 的简单随机样本，则

$X_1,X_2,\cdots,X_n$ 相互独立；
$X_1,X_2,\cdots,X_n$ $F$ .

由简单随机抽样的定义，有放回抽样得到的样本是简单随机样本.

$F$ $(X_1,X_2,\cdots,X_n)$ $X_1,X_2,\cdots,X_n$ 的联合分布函数为

F (x_{1}) F (x_{2}) \dots F (x_{n}) = \prod_{i = 1}^{n} F (x_{i});

$F$ $f$ ，则其联合概率密度函数为

f (x_{1}) f (x_{2}) \dots f (x_{n}) = \prod_{i = 1}^{n} f (x_{i}) .

注：

$(X_1,X_2,\cdots,X_n)$ $(x_1,x_2,\cdots,x_n)$ 表示，称为样本的一个实现，也称为样本值. 这个特点称为样本的“二重性”.

5.2.3 统计量

定义5.4 统计量
$X=(X_1,X_2,\cdots,X_n)$ 决定的量称为统计量（statistic）.

注：由定义，统计量是样本的函数.

$\mu$ $\overline X-\mu$ $\mu$ $\overline X-\mu$ 就不是统计量.
由于样本有二重性，统计量也有二重性，既可以视为随机变量也可以视为具体数值.
统计量不是认为随意造出来的，它们是为了解决种种统计推断问题而产生的.

$X_1,X_2,\cdots,X_n$ $X$ 中抽取的一个简单样本，则常见的统计量包括：

样本均值（sample mean）
$\overset{―}{X} = \frac{1}{n} \sum_{i = 1}^{n} X_{i},$
它反映了总体均值的信息.
样本方差（sample variance）
$S^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} {(X_{i} - \overset{―}{X})}^{2},$
$S$ 称为样本标准差，它反映了总体标准差的信息.
样本矩（sample moment）
$a_{k} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}^{k}, k = 1, 2, \dots$
$k$ $a_1=\overline X$ 即样本均值.
$m_{k} = \frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - \overset{―}{X})}^{k}, k = 2, 3, \dots$
$k$ 阶中心矩.
$\overline X\overset P\to\mu$ $m_2\overset P\to\sigma^2$ ，其他矩也依概率收敛到相应的总体矩.
样本偏度系数（sample skewness coefficient）
${\hat{β}}_{1} = \frac{m_{3}}{m_{2}^{3 / 2}} = \sqrt{n} \sum_{i = 1}^{n} {(X_{i} - \overset{―}{X})}^{3} / {[\sum_{i = 1}^{n} {(X_{i} - \overset{―}{X})}^{2}]}^{3 / 2} .$
它反映了总体偏度的信息.
样本峰度系数（sample kurtosis coefficient）
${\hat{β}}_{2} = \frac{m_{4}}{m_{2}^{2}} = n \sum_{i = 1}^{n} {(X_{i} - \overset{―}{X})}^{4} / {[\sum_{i = 1}^{n} {(X_{i} - \overset{―}{X})}^{2}]}^{2} .$
它反映了总体峰度的信息.
样本相关系数（sample coefficient of correlation）
$(X_1,Y_1),(X_2,Y_2),\cdots,(X_n,Y_n)$ $F(x,y)$ 中抽取的样本，则称
$ρ_{n} = \frac{\sum_{i = 1}^{n} (X_{i} - \overset{―}{X}) (Y_{i} - \overset{―}{Y})}{\sqrt{\sum_{i = 1}^{n} {(X_{i} - \overset{―}{X})}^{2}} \sqrt{\sum_{i = 1}^{n} {(Y_{i} - \overset{―}{Y})}^{2}}}$

为样本相关系数，也称为皮尔逊相关系数. 它反映总体相关系数的信息.

次序统计量（order statistics）及其有关统计量
把样本按大小排列为
$X_{(1)} ⩽ X_{(2)} ⩽ \dots ⩽ X_{(n)},$
$(X_{(1)},X_{(2)},\cdots,X_{(n)})$ 为次序统计量，其任一部分也称为次序统计量.
- 样本中位数（sample median）
  $m_n$ 也反映总体均值的信息.
- 极值
  $X_{(1)}$ $X_{(n)}$ 称为样本的极小值和极大值.
  $max_{1 ⩽ i ⩽ n} X_{i} - min_{1 ⩽ i ⩽ n} X_{i}$
  称为极差（range）.
- $p$ 分位数
  $X_{([(n + 1) p])},$
  $[(n+1)p]$ $(n+1)p$ 的整数部分.
  $X_{([(n+1)/4])},X_{([(n+1)/2])},X_{([3(n+1)/4])}$ $X_{([3(n+1)/4])}-X_{([(n+1)/4])}$ .
经验分布函数（empirical distribution function）
$X_1,X_2,\cdots,X_n$ $x$ $F_n(x)$ $F(x)$ .

5.3 抽样分布

定义5.5 抽样分布
$(X_1,X_2,\cdots,X_n)$ $T=T(X_1,X_2,\cdots,X_n)$ 的分布称为抽样分布（sampling distribution）.

$\chi^2$ 分布

$\chi^2$ 分布
$(X_1,X_2,\cdots,X_n)$ 为来自标准正态总体的一个简单随机样本，称
$X = X_{1}^{2} + X_{2}^{2} + \dots + X_{n}^{2}$
$n$ $\chi^2$ $X\sim \chi_n^2$ .

其概率密度函数为

k_{n} (x) = \frac{1}{Γ (n / 2) 2^{n / 2}} e^{- x / 2} x^{(n - 2) / 2} I_{(0, + \infty)} (x) .

$n=1,2$ $n\geqslant 3$ $0$ $0$ .

性质 $\chi^2$ 分布具有下列性质：

$X\sim \chi_n^2$ $E(X)=n,\mathrm{Var}(X)=2n$ .
$X\sim\chi_m^2,Y\sim\chi_n^2$ $X,Y$ $Z=X+Y\sim\chi_{m+n}^2$ .

注 $X\sim Ga(\alpha,\lambda)$ ，即

f (x; α, λ) = \frac{λ^{α}}{Γ (α)} x^{α - 1} e^{- λ x} I_{(0, + \infty)} (x),

$n$ $\chi^2$ $\varGamma$ 分布的关系为

ξ = \sum_{i = 1}^{n} X_{i}^{2} \sim G a (n / 2, 1 / 2) .

$Y\sim Ga(\alpha,\lambda)$ $Z=2\lambda Y\sim \chi_{2\alpha}^2$ .

$t$ 分布

$t$ 分布
$X\sim N(0,1),Y\sim\chi_n^2$ $X,Y$ 相互独立，称
$T = \frac{X}{\sqrt{Y / n}}$
$n$ $t$ $T\sim t_n$ .

其概率密度函数为

f_{n} (t) = \frac{Γ ((n + 1) / 2)}{\sqrt{n π} Γ (n / 2)} {(1 + \frac{t^{2}}{n})}^{- (n + 1) / 2}, t \in R .

性质 $t$ 分布具有下列性质：

$n=1$ $t_1$ 分布就是柯西分布，此时概率密度函数为
$f_{1} (t) = \frac{1}{π (1 + t^{2})}, t \in R .$
$T\sim t_n$ $n\geqslant2$ $E(T)=0$ $n\geqslant 3$ $\mathrm{Var}(T)=n/(n-2).$
$n\to\infty$ $t_n$ 分布的概率密度函数趋于标准正态分布概率密度函数，即
$lim_{n \to \infty} f_{n} (t) = φ (t) .$

$F$ 分布

$F$ 分布
$X\sim\chi_m^2,Y\sim\chi_n^2$ $X,Y$ 相互独立，称
$F = \frac{X / m}{Y / n}$
$m,n$ $F$ $F\sim F_{m,n}$ .

$F_{m,n}$ 分布的概率密度函数为

f_{m, n} (x) = m^{m / 2} n^{n / 2} \frac{Γ ((m + n) / 2)}{Γ (m / 2) Γ (n / 2)} x^{m / 2 - 1} (m x + n)^{- (m + n) / 2} I_{(0, + \infty)} (x) .

$m$ $n$ $m$ $n$ 越小，偏态越严重.

$F$ 分布具有下列性质：

$Z\sim F_{m,n}$ $1/Z\sim F_{n,m}$ ；
$T\sim t_n$ $T^2\sim F_{1,n}$ ；
$F_{m,n}(1-\alpha)=1/F_{n,m}(\alpha)$ .

定理5.1
$X_1,X_2,\cdots,X_n\ \mathrm{i.i.d.}\sim N(\mu,\sigma^2)$ $c_1,c_2,\cdots,c_n$ 是不全为零的常数，则有
独立的正态随机变量线性组合服从正态分布，即
$T = \sum_{k = 1}^{n} c_{k} X_{k} \sim N (μ \sum_{k = 1}^{n} c_{k}, σ^{2} \sum_{k = 1}^{n} c_{k}^{2}) .$
$c_1=c_2=\cdots=c_n=\dfrac1n$ $T=\dfrac1n\displaystyle\sum_{i=1}^nX_i=\overline X$ 为样本均值时，有
$\overset{―}{X} \sim N (μ, \frac{σ^{2}}{n}) .$
$S^2=\dfrac1{n-1}\displaystyle\sum_{i=1}^n\left(X_i-\overline X\right)^2$ 为样本方差，则
$\frac{(n - 1) S^{2}}{σ^{2}} \sim χ_{n - 1}^{2} .$
$\overline X$ $S^2$ 相互独立；
进而，
$\frac{\sqrt{n} (\overset{―}{X} - μ)}{S} \sim t_{n - 1} .$

推论5.1

推论5.2

推论5.3
$X_1,X_2,\cdots,X_n\ \mathrm{i.i.d.}$ 服从指数分布
$f (x, λ) = λ e^{- λ x} I_{(0, + \infty)} (x),$
则有
$2 λ n \overset{―}{X} = 2 λ \sum_{i = 1}^{n} X_{i} \sim χ_{2 n}^{2} .$

第六章参数点估计

6.1 参数点估计的概念

$\boldsymbol X=(X_1,X_2,\cdots,X_n)$ $\boldsymbol X$ $\theta_1,\theta_2,\cdots,\theta_k$ $\theta=(\theta_1,\theta_2,\cdots,\theta_k)$ $g(\theta)=g(\theta_1,\theta_2,\cdots,\theta_k)$ $g$ $\theta_1$ $\hat\theta_1(\boldsymbol X)$ $\boldsymbol X$ $\boldsymbol x$ $\hat\theta_1$ $\hat\theta_1(\boldsymbol x)$ $\theta_1$ $\hat\theta_1(\boldsymbol X)$ $\theta_1$ 估计量 $\hat\theta_1(\boldsymbol x)$ $\theta_1$ 估计值 $\theta_1$ $\hat\theta_1$ $\theta_1$ ，等于用一个点去估计另一个点，所以这样的估计称为点估计.

点估计常用的构造方法有矩估计（moment estimate）和最大似然估计（maximum likelihood estimate, MLE）.

6.2 矩估计法

$j$ 阶原点矩和中心矩分别为

α_{j} = E (X^{j}), μ_{j} = E [{(X - α_{1})}^{j}] .

由大数定律，样本矩依概率收敛到总体矩，所以可以用样本矩来近似总体矩，即

\begin{matrix} α_{j} = α_{j} (θ_{1}, θ_{2}, \dots, θ_{k}) \approx a_{j} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}^{j}, \\ μ_{j} = μ_{j} (θ_{1}, θ_{2}, \dots, θ_{k}) \approx m_{j} = \frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - \overset{―}{X})}^{j} . \end{matrix}

$j=1,2,c\dots,k$ $k$ $k$ $\hat\theta_i(X_1,X_2,\cdots,X_n),i=1,2,\cdots,k$ $\hat\theta_i$ $\theta_i$ $g(\theta_1,\theta_2,\cdots,\theta_k)$ $\hat g(X_1,X_2,\cdots,X_n)=g\left(\hat\theta_1,\hat\theta_2,\cdots,\hat\theta_k\right)$ $\hat\theta_M$ .

样本方差 $S^2$ $\sigma^2$ $m_2$ $\sigma$ $\sigma^2$ $\sqrt {m_2}$ $S=\sqrt{S^2}$ 来估计，或者还会作一点修正.

注：

在合理的优劣准则下，可以证明低阶矩优于高阶矩，所以在矩估计中，能用低阶矩的就尽量用低阶矩来估计参数. 另外，矩估计方法需要总体相应的矩存在，对一些不存在矩的问题（如柯西分布）就不适用了.

6.3 最大似然估计

定义6.1 似然函数
$\boldsymbol X=(X_1,X_2,\cdots,X_n)$ 有联合概率密度函数或联合概率质量函数
$f (x; θ) = f (x; θ_{1}, θ_{2}, \dots, θ_{k}),$
$\theta=(\theta_1,\theta_2,\cdots,\theta_k)\in\varTheta,\boldsymbol x=(x_1,x_2,\cdots,x_n)$ $\boldsymbol X$ $\boldsymbol x$ $f(\boldsymbol x;\theta)$ $\theta$ $L(\theta;\boldsymbol x)$ $L(\theta)$ .

$\theta^*=(\theta_1^*,\theta_2^*,\cdots,\theta_k^*)$ ，即满足条件

L (θ_{1}^{*}, θ_{2}^{*}, \dots, θ_{k}^{*}; x_{1}, x_{2}, \dots, x_{n}) = max_{(θ_{1}, θ_{2}, \dots, θ_{k}) \in Θ} L (θ_{1}, θ_{2}, \dots, θ_{k}; x_{1}, x_{2}, \dots, x_{n})

$(\theta_1^*,\theta_2^*,\cdots,\theta_k^*)$ $(\theta_1,\theta_2,\cdots,\theta_k)$ $(\theta_1,\theta_2,\cdots,\theta_k)$ $g(\theta_1,\theta_2,\cdots,\theta_k)$ $g(\theta_1^*,\theta_2^*,\cdots,\theta_k^*)$ $\hat\theta_L$ .

$n$ $n$ $\ell(\theta_1,\theta_2,\cdots,\theta_k)=\ln L(\theta_1,\theta_2,\cdots,\theta_k)$ $(\theta_1,\theta_2,\cdots,\theta_k)$ 可微，则可以通过求解下述似然方程先求驻点

\frac{\partial ℓ}{\partial θ_{i}} = 0, i = 1, 2, \dots, k .

$(\theta_1,\theta_2,\cdots,\theta_k)$ 的定义域内有界，则进一步验证是否为最大值点.

注：似然函数的最大值点可能会在边界上达到，所以要和边界值作比较. 当似然函数不可导时，要用定义来求出最大似然估计.

6.4 优良性准则

优劣性的比较问题要从整体性能考虑. 所谓“整体性能”有两个含义，一是指估计量的某个特性，具有这个特性就是优良的，下文的“无偏性”就属于此类；其二是指估计量的某种具体的数量指标，两个估计量中指标小的为优，如下文的“均方误差”.

6.4.1 点估计的无偏性

$F(x;\theta_1,\theta_2,\cdots,\theta_k)$ $\theta=(\theta_1,\theta_2,\cdots,\theta_k)\in\varTheta\sub \R^k$ $(X_1,X_2,\cdots,X_k)$ $g(\theta_1,\theta_2,\cdots,\theta_k)$ $g$ 为一个已知函数.

定义6.2 偏差与无偏性
$\hat g(X_1,X_2,\cdots,X_n)$ $g(\theta_1,\theta_2,\cdots,\theta_k)$ 的一个估计量，称
$E_{θ} (\hat{g} (X_{1}, X_{2}, \dots, X_{n})) - g (θ_{1}, θ_{2}, \dots, θ_{k})$
$\hat g$ $(\theta_1,\theta_2,\cdots,\theta_k)\in\varTheta$ ，都有
$E_{θ_{1}, θ_{2}, \dots, θ_{k}} (\hat{g} (X_{1}, X_{2}, \dots, X_{n})) = g (θ_{1}, θ_{2}, \dots, θ_{k}),$
$\hat g$ $g(\theta_1,\theta_2,\cdots,\theta_k)$ 的一个无偏估计量.

6.4.2 最小方差无偏估计

均方误差（误差平方的平均）

{MSE}_{θ} (\hat{θ}) = E_{θ} {[\hat{θ} (X_{1}, X_{2}, \dots, X_{n}) - θ]}^{2}

兼顾了偏差和波动.

平均绝对误差

{MAD}_{θ} (\hat{θ}) = E_{θ} | \hat{θ} (X_{1}, X_{2}, \dots, X_{n}) - θ |

也可作为标准，但不如均方误差在计算上易于处理.

注意均方误差

{MSE}_{θ} (\hat{θ}) = {Var}_{θ} (\hat{θ}) + {[E_{θ} (\hat{θ} - θ)]}^{2}

$0$ ，即若仅在无偏估计中比较，并采用均方误差准则，那么两个无偏估计的比较就是看谁的方差小.

定义6.3 有效性
$\hat\theta_1,\hat\theta_2$ $\theta$ 的无偏估计，方差存在，若
${Var}_{θ} ({\hat{θ}}_{1}) ⩽ {Var}_{θ} ({\hat{θ}}_{2}), \forall θ \in Θ,$
$\theta$ $\hat\theta_1$ $\hat\theta_2$ 更有效.

定义6.4 最小方差无偏估计
$\hat\theta$ $g(\theta)$ $g(\theta)$ $\hat\theta_1$ ，都有
${Var}_{θ} (\hat{θ}) ⩽ {Var}_{θ} ({\hat{θ}}_{1}), \forall θ \in Θ,$
$\hat\theta$ $g(\theta)$ 的一个最小方差无偏估计（minimum variance unbiased estimate, MVUE）.

6.4.3 克拉默-拉奥方差下界

6.5 点估计量的大样本理论

$n\to\infty$ 时点估计量的性质称为大样本性质. 大样本性质只有在样本量趋于无穷时才有意义. 与此同时，点估计量在样本量固定时的性质称为小样本性质. 大样本性质和小样本性质的差别不在于样本量的多少，而在于讨论其性质时样本量是固定的还是趋于无穷的（动态的）.

定义6.5 相合性
$\hat\theta(X_1,X_2,\cdots,X_n)$ $\theta$ $n\to\infty$ 时有
$\hat{θ} (X_{1}, X_{2}, \dots, X_{n}) \overset{P}{\to} θ,$
$\hat\theta(X_1,X_2,\cdots,X_n)$ $\theta$ 的一个（弱）相合估计量（consistent estimator）.

相合性是对一个估计量的基本要求. 若一个估计量没有相合性，则无论样本量多大，我们也不能把未知参数估计到任意精度. 这种估计量显然是不可取的.

可以证明，矩估计是总体矩的相合估计. 一般而言，最大似然估计也是代估参数的相合估计.

另一个重要的准则是其分布极限的特点，称为渐进正态性.

定义6.6 渐进正态性
$\hat\theta(X_1,X_2,\cdots,X_n)$ $\theta$ 的一个点估计，设它的方差存在，记
${Var}_{θ} (\hat{θ} (X_{1}, X_{2}, \dots, X_{n})) = σ_{n}^{2} (θ),$
$n\to\infty$ 时有
$lim_{n \to \infty} P (\frac{\hat{θ} (X_{1}, X_{2}, \dots, X_{n}) - θ}{σ_{n} (θ)} ⩽ x) = Φ (x), \forall x \in R,$
$\hat\theta(X_1,X_2,\cdots,X_n)$ 有渐进正态性.

$\hat\theta$ 的一个近似分布，利用它我们才能完成相关的统计推断（区间估计和假设检验）.

在一般条件下，矩估计和最大似然估计都有渐进正态性.

第七章区间估计

7.1 基本概念

定义7.1 置信区间和置信系数
$(X_1,X_2,\cdots,X_n)$ $\theta\in\varTheta\sub\R$ $\hat\theta_1(X_1,X_2,\cdots,X_n)<\hat\theta_2(X_1,X_2,\cdots,X_n)$ $\alpha\in(0,1)$ ，若
$P_{θ} ({\hat{θ}}_{1} (X_{1}, X_{2}, \dots, X_{n}) ⩽ θ ⩽ {\hat{θ}}_{2} (X_{1}, X_{2}, \dots, X_{n})) = 1 - α, \forall θ \in Θ,$
$\left[\hat\theta_1,\hat\theta_2\right]$ $\theta$ 置信区间 $1-\alpha$ .

7.2 枢轴变量法

基本概念和对正态总体均值的区间估计

$N(\mu,\sigma^2)$ $\sigma^2$ $\mu$ $\overline X$ $\mu$ $\overline X$ 为中心向两边延伸. 注意到

\frac{\sqrt{n} (\overset{―}{X} - μ)}{σ} \sim N (0, 1),

$\left[\overline X-d,\overline X+d\right]$ $d$ 误差界限 $1-\alpha$ ，就要求

\begin{aligned} P_{μ} (\overset{―}{X} - d ⩽ μ ⩽ \overset{―}{X} + d) = 1 - α \\ \Leftrightarrow & Φ (\frac{\sqrt{n} d}{σ}) = 1 - \frac{α}{2} . \end{aligned}

$u_{0.05}=1.645,u_{0.025}=1.96$ $d$ 满足

\frac{\sqrt{n} d}{σ} = u_{α / 2},

即误差界限

d = \frac{σ}{\sqrt{n}} u_{α / 2} .

$\mu$ $1-\alpha$ 的置信区间为

[\overset{―}{x} - \frac{σ}{\sqrt{n}} u_{α / 2}, \overset{―}{x} + \frac{σ}{\sqrt{n}} u_{α / 2}] \equiv \overset{―}{x} \pm \frac{σ}{\sqrt{n}} u_{α / 2} .

一种找区间估计的一般方法，即枢轴变量法如下：

$\theta$ .

$\theta$ $T(\boldsymbol X)$ $\theta$ 的最大似然估计.

$S(T,U,\theta)$ $U=U(\boldsymbol X)$ $F$ $T,U,\theta$ 的函数，不能包含其他未知参数.

$\forall a<b$ $a\leqslant S(T,U,\theta)\leqslant b$ $A\leqslant\theta\leqslant B$ $A,B$ $T,U,a,b$ $\theta$ 无关.

$F$ $\alpha/2$ $w_{\alpha/2}$ $1-\alpha/2$ $w_{1-\alpha/2}$ ，由分位数定义，有

P (w_{1 - α / 2} ⩽ S (T, U, θ) ⩽ w_{α / 2}) = 1 - α .

$w_{1-\alpha/2}\leqslant S(T,U,\theta)\leqslant w_{\alpha/2}$ $A\leqslant\theta\leqslant B$ $A,B$ $[A,B]$ $\theta$ $1-\alpha$ 的置信区间.

$x=(x_1,x_2,\cdots,x_n)$ $N(\mu,\sigma^2)$ $\mu,\sigma^2$ $\mu$ $1-\alpha$ 的置信区间.

$\overline X$ $\mu$ $\sigma^2$ 未知，所以
$\frac{\sqrt{n} (\overset{―}{X} - μ)}{σ}$
$\sigma^2$ $S^2$ 代替，但是
$\frac{\sqrt{n} (\overset{―}{X} - μ)}{S}$
$t_{n-1}$ 分布（why?）.
$t_{n-1}$ $\left.\sqrt n\left(\overline X-\mu\right)\right/S$ $t_{n-1}$ $\alpha$ $t_{n-1}(\alpha)$ $t$ $\mu$ $1-\alpha$ 的置信区间为
$\overset{―}{x} \pm \frac{s}{\sqrt{n}} t_{n - 1} (α / 2) \equiv [\overset{―}{x} - \frac{s}{\sqrt{n}} t_{n - 1} (α / 2), \overset{―}{x} + \frac{s}{\sqrt{n}} t_{n - 1} (α / 2)] .$

$\alpha$ $t$ $n$ $\left.\sqrt n\left(\overline X-\mu\right)\right/\hat\sigma$ $\hat\sigma$ $\mu$ $1-\alpha$ 的置信区间为

μ \in \overset{―}{x} \pm \frac{\hat{σ}}{\sqrt{n}} u_{α / 2} .

$\mu$ $\overline x\pm d$ ，其中误差界限

\begin{matrix} d = {\begin{cases} \frac{σ}{\sqrt{n}} u_{α / 2}, & σ^{2} 已 知, \\ \frac{s}{\sqrt{n}} t_{n - 1} (α / 2), & σ^{2} 未 知, \\ \frac{\hat{σ}}{\sqrt{n}} u_{α / 2}, & n > 30, σ^{2} 未 知, 总 体 不 必 为 正 态 . \end{cases} \end{matrix}

对正态总体方差的区间估计

$\sigma^2$ 的置信区间估计.

$\sigma^2$ $S^2$ . 枢轴变量为
$\frac{(n - 1) S^{2}}{σ^{2}},$
$n-1$ $\chi^2$ 分布.
$P (χ_{n - 1}^{2} (1 - α / 2) ⩽ (n - 1) S^{2} / σ^{2} ⩽ χ_{n - 1}^{2} (α / 2)) = 1 - α,$
$\sigma^2$ $1-\alpha$ 的置信区间为
$σ^{2} \in [\frac{(n - 1) s^{2}}{χ_{n - 1}^{2} (α / 2)}, \frac{(n - 1) s^{2}}{χ_{n - 1}^{2} (1 - α / 2)}] .$
$\chi^2$ $\alpha/2$ 概率.

对两个正态总体均值差的区间估计

$N(\mu_1,\sigma_1^2)$ $N(\mu_2,\sigma_2^2)$ $\sigma_1^2,\sigma_2^2$ $\mu_2-\mu_1$ $1-\alpha$ $\sigma_1^2,\sigma_2^2$ 都未知时如何给出置信区间？
$A$ $\overline X$ $B$ $\overline Y$ ，则
$\overset{―}{X} \sim N (μ_{1}, \frac{σ_{1}^{2}}{m}), \overset{―}{Y} \sim N (μ_{2}, \frac{σ_{2}^{2}}{n}) .$
由于两者独立，
$\overset{―}{Y} - \overset{―}{X} \sim N (μ_{2} - μ_{1}, \frac{σ_{1}^{2}}{m} + \frac{σ_{2}^{2}}{n}) .$
枢轴变量及其分布为
$\frac{(\overset{―}{Y} - \overset{―}{X}) - (μ_{2} - μ_{1})}{\sqrt{\frac{σ_{1}^{2}}{m} + \frac{σ_{2}^{2}}{n}}} \sim N (0, 1) .$
$\mu_2-\mu_1$ $1-\alpha$ 的置信区间为
$μ_{2} - μ_{1} \in (\overset{―}{y} - \overset{―}{x}) \pm \sqrt{\frac{σ_{1}^{2}}{m} + \frac{σ_{2}^{2}}{n}} u_{α / 2} .$
$m,n>30$ ，则可以用中心极限定理得到；当样本量较小时，需要加一个条件
$σ_{1}^{2} = σ_{2}^{2} \equiv σ^{2},$
$S_1^2$ $S_2^2$ $\sigma^2$ .
$(m-1)S_1^2+(n-1)S_2^2$ $(m+n-2)\sigma^2$ ，从而
$S_{T}^{2} = \frac{(m - 1) S_{1}^{2} + (n - 1) S_{2}^{2}}{m + n - 2}$
$\sigma^2$ $\chi^2$ 分布有可加性，所以
$\frac{(m - 1) S_{1}^{2} + (n - 1) S_{2}^{2}}{m + n - 2} \sim χ_{m + n - 2}^{2} .$
可以验证
$\sqrt{\frac{m n}{m + n}} \frac{(\overset{―}{Y} - \overset{―}{X}) - (μ_{2} - μ_{1})}{S_{T}} \sim t_{m + n - 2} .$
$\mu_2-\mu_1$ $1-\alpha$ 的置信区间为
$μ_{2} - μ_{1} \in (\overset{―}{y} - \overset{―}{x}) \pm \sqrt{\frac{m n}{m + n}} s_{T} t_{m + n - 2} (α / 2) .$

对两个正态总体方差比的区间估计

$X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2)$ $(x_1,x_2,\cdots,x_m)$ $(y_1,y_2,\cdots,y_n)$ $\sigma_1^2/\sigma_2^2$ 的区间估计.

$S_1^2$ $S_2^2$ $X,Y$ $F$ 分布的定义，

\frac{S_{1}^{2} / σ_{1}^{2}}{S_{2}^{2} / σ_{2}^{2}} \sim F_{m - 1, n - 1},

$\sigma_1^2/\sigma_2^2$ $1-\alpha$ 的置信区间为

\frac{σ_{1}^{2}}{σ_{2}^{2}} \in [\frac{s_{1}^{2}}{s_{2}^{2}} F_{n - 1, m - 1} (1 - α / 2), \frac{s_{1}^{2}}{s_{2}^{2}} F_{n - 1, m - 1} (α / 2)] .

7.3 大样本方法

$S(T(\boldsymbol X), U(\boldsymbol X),\theta)$ $S(T(\boldsymbol X), U(\boldsymbol X),\theta)$ $\theta$ 无关.

$p$ 的区间估计

$A$ $p$ $n$ $Y_n$ $A$ $p$ $1-\alpha$ $n$ 充分大时，由中心极限定理，近似有

\frac{Y_{n} - n p}{\sqrt{n p (1 - p)}} \sim N (0, 1),

所以

\frac{Y_{n} - n p}{\sqrt{n p (1 - p)}}

$p$ 的置信区间估计的枢轴变量.

P_{p} (- u_{α / 2} ⩽ \frac{Y_{n} - n p}{\sqrt{n p (1 - p)}} ⩽ u_{α / 2}) \approx 1 - α,

解得

p \in \frac{\hat{p} + \frac{u_{α / 2}^{2}}{2 n}}{1 + \frac{u_{α / 2}^{2}}{n}} \pm u_{α_{2}} \frac{\sqrt{\frac{\hat{p} (1 - \hat{p})}{n} + \frac{u_{α / 2}^{2}}{4 n^{2}}}}{1 + \frac{u_{α / 2}^{2}}{n}},

其中

\hat{p} = \frac{y_{n}}{n} .

称此置信区间为得分区间（score interval）.

$n$ $p$ 的值.

$p$ $1-\alpha$ $n$ $n>100$ 时使用.
$n$ $u_{\alpha/2}^2/n$ 可以忽略，因此得到
$p \in \hat{p} \pm u_{α / 2} \sqrt{\frac{\hat{p} (1 - \hat{p})}{n}} .$
$\hat p$ $n$ $n\hat p>10$ $n(1-\hat p)>10$ $n$ 太小时最好不要用.
$\pi=p\times100\%$ $\pi$ $p$ $100-\pi$ $1-p$ 即可.

$w$ $w/2$ ），即

2 u_{α / 2} \frac{\sqrt{\frac{\hat{p} (1 - \hat{p})}{n} + \frac{u_{α / 2}^{2}}{4 n^{2}}}}{1 + \frac{u_{α / 2}^{2}}{n}} = w,

得到样本量应满足

n = \frac{u_{α / 2}^{2} [2 \hat{p} \hat{q} - w^{2} + \sqrt{(2 \hat{p} \hat{q})^{2} + (1 - 4 \hat{p} \hat{q}) w^{2}}]}{w^{2}},

$\hat q=1-\hat p$ $w$ 的项，取

n = \frac{4 u_{α / 2}^{2} \hat{p} \hat{q}}{w^{2}},

$w$ 时得到的样本量要求.

$\hat p$ $n$ .

$p_0$ $p_0$ $\hat p$ $n$ ；
$\hat p=0.5$ $\hat p\hat q=0.5\times0.5=0.25$ $0<p<1$ $w$ $n$ .

$\mu$ 的置信区间

$(X_1,X_2,\cdots,X_n)$ $X$ $E(X)=\mu$ $X$ 的分布形式.

$E(X)<\infty$ $S$ $\sigma$ 的一个相合估计. 再有中心极限定理，近似有

\frac{\sqrt{n} (\overset{―}{X} - μ)}{S} \sim N (0, 1),

$\mu$ $\mu$ $1-\alpha$ 的置信区间为

μ \in \overset{―}{x} \pm \frac{s}{\sqrt{n}} u_{α / 2} .

$1-\alpha$ $n$ 有关，也与总体的分布有关.

7.4 自助法置信区间

自助法（bootstrap method）.

7.5 置信限

$\theta$ 一侧的界限感兴趣.

$\overline\theta$ $\theta\leqslant\overline\theta$ $\overline\theta$ $\theta$ 的置信上限；
$\underline\theta$ $\theta\geqslant\underline\theta$ $\underline\theta$ $\theta$ 的置信下限.

定义7.4
$(X_1,X_2,\cdots,X_n)$ $F(x,\theta)$ $\overline\theta=\overline\theta(X_1,X_2,\cdots,X_n),\underline\theta=\underline\theta(X_1,X_2,\cdots,X_n)$ 为两个统计量.
$\theta$ 的一切可取的值，有
$P_{θ} (\overset{―}{θ} (X_{1}, X_{2}, \dots, X_{n}) ⩾ θ) = 1 - α,$
$\overline\theta$ $\theta$ $1-\alpha$ 的置信上限；
$\theta$ 的一切可取的值，有
$P_{θ} (\underset{―}{θ} (X_{1}, X_{2}, \dots, X_{n}) ⩽ θ) = 1 - α,$
$\underline\theta$ $\theta$ $1-\alpha$ 的置信下限.

$-\infty$ $+\infty$ $u_{\alpha/2}$ $u_\alpha$ ，其余不变.

$\overline x- d，\overline x+ d$ ，其中
$\begin{matrix} d = {\begin{cases} \frac{σ}{\sqrt{n}} u_{α}, & σ^{2} 已知, \\ \frac{s}{\sqrt{n}} t_{n - 1} (α), & σ^{2} 未知 . \end{cases} \end{matrix}$
正态总体方差：置信下限、置信上限分别为
$\frac{(n - 1) s^{2}}{χ_{n - 1}^{2} (α)}, \frac{(n - 1) s^{2}}{χ_{n - 1}^{2} (1 - α)} .$

对非正态总体，在样本量较大时候可以使用大样本方法寻求置信限.

第八章假设检验

8.1 问题的提法和基本概念

8.1.1 例子和问题提法

对统计总体（即总体分布）的性质所作的假设称为统计假设. 使用样本对所作出的统计假设进行检查的方法和过程称为假设检验（hypothesis test）. 如果总体分布的类型是已知的，要检验的假设是有关总体参数的某个取值范围，就称为参数假设检验问题；如果总体分布类型完全未知，就不再是参数问题了，我们称之为非参数假设检验问题.

8.1.2 假设检验中的几个基本概念

1. 原假设和备择假设

$p\leqslant0.5$ 等. 称之为“假设”就是这个命题是否成立还需要通过样本来检验.

原假设 $H_0$ 备择假设 $H_1$ $H_a$ ，就是拒绝原假设后可供选择的假设.

$\varTheta_0,\varTheta_1$ $\varTheta\sube \R^k$ 的两个不交非空子集，一个统计假设常表示为

H_{0} : θ \in Θ_{0} \leftrightarrow H_{1} : θ \in Θ_{1},

$\varTheta_0\cup\varTheta_1\sube\varTheta$ .

2. 简单假设和复杂假设

不论是原假设还是备择假设，其中的假设只有一个参数值，就称为简单假设，否则称为复合假设.

$H_0:\mu=350$ $\mu$ $H_1:\mu\neq350$ $\mu$ 可以取不止一个值，所以是复合假设.

$\theta\in\varTheta\sube \R$ $\theta$ 的假设形式有

$H_0:\theta=\theta_0\lrarr H_1:\theta=\theta_1$ ；
$H_0:\theta=\theta_0\lrarr H_1:\theta\neq\theta_0$ ；
$H_0:\theta\leqslant\theta_0\lrarr H_1:\theta>\theta_0$ $H_0:\theta=\theta_0\lrarr H_1:\theta>\theta_0$ ；
$H_0:\theta\geqslant\theta_0\lrarr H_1:\theta<\theta_0$ $H_0:\theta=\theta_0\lrarr H_1:\theta<\theta_0$ ，

$\theta_0,\theta_1$ 为给定的参数. 假设 1 也称为两点假设，2 称为双侧假设或双边假设（two-sided hypothesis），3 和 4 称为单侧假设或单边假设（one-sided hypothesis）.

3. 检验统计量、接受域、拒绝域和临界值

在检验一个假设时用到的统计量称为检验统计量.

$A$ $D$ $T(\boldsymbol X)$ $A=\left\{\overline X\leqslant C\right\}$ $D=\left\{\overline X>C\right\}$ $A,D$ 互补，知道其中一个就能知道另一个，所以在处理假设检验问题中只要指出其中之一即可.

$C$ $\overline X$ $C$ $C$ $H_0:\mu=350\lrarr H_1:\mu\neq350$ $C_1<C_2$ $C_1\leqslant\overline X\leqslant C_2$ $C_1,C_2$ 都是临界值. 上述决策也可以用函数

\begin{matrix} Ψ (X_{1}, X_{2}, \dots, X_{n}) = {\begin{cases} 1, & (X_{1}, X_{2}, \dots, X_{n}) \in D, \\ 0, & (X_{1}, X_{2}, \dots, X_{n}) \in A, \end{cases} \end{matrix}

$\varPsi$ $H_0$ $H_1$ $\varPsi=1$ $H_0$ $\varPsi=0$ $H_0$ $H_0$ ）.

8.1.3 功效函数

对于同一个原假设，可以有不同的检验方法，哪一种更好一点？这就有一个标准问题.

定义8.1 功效函数
$F(x,\theta)$ $\theta=(\theta_1,\theta_2,\cdots,\theta_k)\in\varTheta\sube\R^k$ $H_0$ $\theta$ $\varPsi$ $(X_1,X_2,\cdots,X_n)$ 对假设
$H_{0} : θ \in Θ_{0} \leftrightarrow H_{1} : θ \in Θ_{1}$
所作的一个检验，则称
$β_{Ψ} (θ) = P_{θ} (在检验 Ψ 下 H_{0} 被否定)$
$\varPsi$ 的功效函数（power function）.

$\theta^*$ $H_1$ $\varPsi$ $H_0$ $\theta^*$ $H_0$ $\varPsi$ $H_0$ $H_0$ 的能力即为功效.

定义8.2 检验水平
$\varPsi$ 是假设
$H_{0} : θ \in Θ_{0} \leftrightarrow H_{1} : θ \in Θ_{1}$
$\beta_\varPsi(\theta)$ $\alpha$ $0\leqslant\alpha\leqslant 1$ . 若
$β_{Ψ} (θ) ⩽ α, \forall θ \in H_{0},$
$\varPsi$ $H_0$ $\alpha$ $\varPsi$ $\alpha$ $\varPsi$ $\alpha$ ）.

$\varPsi$ $H_0$ 所允许的最大概率.

8.1.4 两类错误

$\varPsi$ 必犯以下两类错误之一：

$H_0$ $\varPsi$ $H_0$ $\varPsi$ $\alpha_{1\varPsi}(\theta)$ $\alpha$ .
$H_0$ $\varPsi$ $H_0$ $\varPsi$ $\alpha_{2\varPsi}(\theta)$ .

$A$ $D$ 的定义，我们只能犯两种错误之一，这两种错误与功效函数有如下关系：

\begin{matrix} α_{1 Ψ} (θ) = {\begin{cases} β_{Ψ} (θ), & θ \in H_{0}, \\ 0, & θ \in H_{1}, \end{cases} \end{matrix}

\begin{matrix} α_{2 Ψ} (θ) = {\begin{cases} 0, & θ \in H_{0}, \\ 1 - β_{Ψ} (θ), & θ \in H_{1} . \end{cases} \end{matrix}

$\varPsi$ $H_0$ $H_1$ $\alpha$ 显著性检验 $\alpha$ 也称为显著性水平.

注 $\alpha$ $T$ 达到了显著性，即其值如此显著，以至可以拒绝原假设，故这一检验称为显著性检验. 显著性检验常常用于有关某种效应或差异是否存在这样那样的问题，且我们主观上是希望这种效应是存在的. 因此显著性检验可以简单理解为希望原假设被拒绝的那种检验. “显著”（significant）在统计上并不是重要，而是代表光是靠机遇不容易发生.

显著性检验方法的一般步骤如下：

$\theta$ $\hat\theta=\hat\theta(X_1,X_2,\cdots,X_n)$ ，如最大似然估计.
$\hat\theta$ $U=U(X_1,X_2,\cdots,X_n)$ $T=T\left(\hat\theta,U,\theta_0\right)$ $\theta=\theta_0$ $T$ $N(0,1)$ $t_n$ $F_{m,n}$ 等），从而容易通过查表或计算得到这个分布的分位数，用以作为检验的临界值.
$T$ $H_1$ $T$ 的一个或两个不等式，其中包含一个或两个临界值）.
$\alpha$ $T$ $\theta=\theta_0$ 的分布的分位数，这样即确定了检验的拒绝域.
若给出样本值，则可算出检验统计量的值. 若落在拒绝域中，则可拒绝原假设，否则不能拒绝原假设.
$\alpha$ 解释拒绝原假设或不能拒绝原假设.

例8.3
解 $\mu$ 为均值，根据题设需要考虑的假设为
$H_{0} : μ = 500 \leftrightarrow H_{1} : μ = 490.$
$\overline X$ $\mu$ $\mu$ $\overline X$ ，我们采用标准化过的检验统计量
$T = \frac{\sqrt{n} (\overset{―}{X} - μ)}{σ} = \frac{\sqrt{n} (\overset{―}{X} - 500)}{10} .$
$H_1$ $T$ $\{T<\tau\}$ $\tau$ $\alpha$ $\tau$ ，即
$P (T < τ | μ = 500) = α .$
$H_0:\mu=500$ $T$ $\tau$ $\tau=-u_\alpha$ $u_\alpha$ $\alpha$ $\{T<-u_\alpha\}$ .
$\alpha=0.05$ $u_{0.05}\approx1.645$ $\overline x=492\ \mathrm{ml}$ $n=9$ $T$ $-2.4$ $-1.645$ $0.05$ $490\ \mathrm{ml}$ .

8.2 正态总体参数检验

8.2.1 单个正态总体均值的检验

$\mu$ 的假设检验问题。也称为一样本均值检验问题，在应用中常见的假设形式有如下几种：

$H_0:\mu\geqslant\mu_0\lrarr H_1:\mu<\mu_0$ ；
$H_0':\mu\leqslant\mu_0\lrarr H_1':\mu>\mu_0$ ；
$H_0'':\mu=\mu_0\lrarr H_1'':\mu\neq\mu_0$ ，

$\mu_0$ 为给定的常数. 第一个检验问题称为左侧检验，第二个称为右侧检验，前两个均为单侧检验；第三个检验称为双侧检验. 这样称呼的原因在于它们各自的拒绝域形式为相应的单侧区间或双侧区间.

$(X_1,X_2,\cdots,X_n)$ $N(\mu,\sigma^2)$ $\mu$ $\sigma^2$ 是否已知.

$\sigma^2$ 已知的情形

假设检验问题 1

H_{0} : μ ⩾ μ_{0} \leftrightarrow H_{1} : μ < μ_{0} .

$\overline X$ $\mu_0$ $\overline X$ $H_1$ $H_0$ ；反之，则倾向于支持原假设.

$\sigma$ $\overline X$ 的标准化量，其不改变不等式方向但方便于后续计算. 由此直观上一个合理的检验是

Ψ : 当 Z = \frac{\sqrt{n} (\overset{―}{X} - μ_{0})}{σ} < C 时 拒 绝 原 假 设 H_{0}, 否 则 不 能 拒 绝 H_{0} .

$C$ $\varPsi$ $\alpha$ $\varPsi$ $\beta_\varPsi(\mu)$ ，

\begin{aligned} β_{Ψ} (μ) & = P_{μ} (Z < C) \\ = P_{μ} (\frac{\sqrt{n} (\overset{―}{X} - μ)}{σ} < C + \frac{\sqrt{n} (μ_{0} - μ)}{σ}) . \end{aligned}

$\sigma^2$ $\dfrac{\sqrt n\left(\overline X-\mu\right)}{\sigma}\sim N(0,1)$ ，所以

β_{Ψ} (μ) = Φ (C + \frac{\sqrt{n} (μ_{0} - μ)}{σ}),

$C+\dfrac{\sqrt n\left(\mu_0-\mu\right)}{\sigma}$ $\mu$ $\beta_\varPsi(\mu)$ $\mu$ $\mu\geqslant \mu_0$ $\beta_\varPsi(\mu)\leqslant\alpha$ $\beta_\varPsi(\mu_0)=\alpha$ $\alpha$ $C$ 满足

C = u_{1 - α} = - u_{α},

$\varPsi$ 的功效函数为

β_{Ψ} (μ) = Φ (\frac{\sqrt{n} (μ_{0} - μ)}{σ} - u_{α}) .

$\mu< \mu_0$ $H_1$ $\beta_\varPsi(\mu)$ $\alpha_{2\varPsi}=1-\beta_{\varPsi}$ 越小）.

$\alpha$ $\beta>0$ ，这等价于

β_{Ψ} (μ) ⩾ 1 - β, \forall μ < μ_{0} .

$\mu\in H_1$ $\mu_0$ $n$ $\mu_1<\mu_0$ ，有

β_{Ψ} (μ) ⩾ 1 - β, \forall μ ⩽ μ_{1} .

$\beta_\varPsi(\mu)$ $\mu$ 的减函数，这等价于

β_{Ψ} (μ_{1}) ⩾ 1 - β,

得

Φ (\frac{\sqrt{n} (μ_{0} - μ_{1})}{σ} - u_{α}) ⩾ 1 - β .

不难得出

n ⩾ σ^{2} \frac{(u_{α} + u_{β})^{2}}{(μ_{0} - μ_{1})^{2}},

即样本量要达到一定的要求.

假设检验问题 2

H_{0}^{'} : μ ⩽ μ_{0} \leftrightarrow H_{1}^{'} : μ > μ_{0} .

$Z$ 的检验是

Ψ^{'} : 当 Z = \frac{\sqrt{n} (\overset{―}{X} - μ_{0})}{σ} > u_{α} 时 拒 绝 原 假 设 H_{0}^{'}, 否 则 不 能 拒 绝 H_{0}^{'} .

$\alpha$ ，功效函数为

β_{Ψ} (μ) = 1 - Φ (\frac{\sqrt{n} (μ_{0} - μ)}{σ} + u_{α}) .

假设检验问题 3

H_{0}^{″} : μ = μ_{0} \leftrightarrow H_{1}^{″} : μ \neq μ_{0} .

直观上一个合理的检验为

Ψ^{″} : 当 | Z | = \frac{\sqrt{n} | \overset{―}{X} - μ_{0} |}{σ} > C 时 拒 绝 原 假 设 H_{0}^{″}, 否 则 不 能 拒 绝 H_{0}^{″} .

$C$ $\varPsi''$ $\alpha$ ，这等价于

\begin{aligned} 1 - α & = P_{μ_{0}} (| Z | ⩽ C) = Φ (C) - Φ (- C) = 2 Φ (C) - 1 \\ \Rightarrow Φ (C) = 1 - \frac{α}{2} \\ \Rightarrow C = u_{α / 2} . \end{aligned}

$Z$ 检验.

例8.4
解 $\mu$ 的假设检验问题，
$H_{0} : μ = 3 \leftrightarrow H_{1} : μ \neq 3.$
取检验统计量为
$Z = \frac{\sqrt{n} (\overset{―}{X} - μ_{0})}{σ} = \frac{\sqrt{n} (\overset{―}{X} - 3)}{0.1},$
$|Z|>u_{\alpha/2}$ $z=2.15$ $0.01$ $u_{0.005}\approx2.58$ $0.05$ $u_{0.025}\approx1.96$ $3\ \mathrm{cm}$ .
这个例子说明结论可能跟显著性水平的选择有关：显著性水平越小，原假设被保护得越好，从而更不容易被拒绝.

$\sigma^2$ 未知的情形

$S^2$ $\sigma^2$ $\overline X$ $S^2$ $\sigma^2$ ，得检验统计量

T = \frac{\sqrt{n} (\overset{―}{X} - μ_{0})}{S} .

$\mu=\mu_0$ $T\sim t_{n-1}$ ，因此可以计算出临界值.

对检验问题 1，

H_{0} : μ ⩾ μ_{0} \leftrightarrow H_{1} : μ < μ_{0} .

检验为

Ψ : 当 T < - t_{n - 1} (α) 时 ， 拒 绝 H_{0}, 否 则 不 能 拒 绝 H_{0} .

其功效函数

\begin{aligned} β_{Ψ} (μ, σ) & = P_{μ, σ} (T < - t_{n - 1} (α)) \\ = P_{μ, σ} (\frac{\sqrt{n} (\overset{―}{X} - μ)}{S} < \frac{\sqrt{n} (μ_{0} - μ)}{S} - t_{n - 1} (α)) \end{aligned}

$\delta=\dfrac{\mu-\mu_0}{S}$ $\delta=0$ $\alpha$ $\mu\geqslant\mu_0$ $\mu\in H_0$ $\beta_\varPsi(\mu,\sigma)\leqslant\beta_\varPsi(\mu_0,\sigma)=\alpha$ $\varPsi$ $\alpha$ .

对检验问题 2，

H_{0}^{'} : μ ⩽ μ_{0} \leftrightarrow H_{1}^{'} : μ > μ_{0} .

检验为

Ψ^{'} : 当 T > t_{n - 1} (α) 时 ， 拒 绝 H_{0}^{'}, 否 则 不 能 拒 绝 H_{0}^{'} .

对检验问题 3，

H_{0}^{″} : μ = μ_{0} \leftrightarrow H_{1}^{″} : μ \neq μ_{0} .

检验为

Ψ^{″} : 当 | T | > t_{n - 1} (α / 2) 时 ， 拒 绝 H_{0}^{″}, 否 则 不 能 拒 绝 H_{0}^{″} .

$t$ 检验，是应用中最重要和最常见的检验.

$0.01$ $0.05$ $3\ \mathrm{cm}$ ？
解 $\mu$ 的假设检验问题，
$H_{0} : μ = 3 \leftrightarrow H_{1} : μ \neq 3.$
取检验统计量
$T = \frac{\sqrt{n} (\overset{―}{X} - 3)}{S},$
$|T|>t_{n-1}(\alpha/2)$ .
$t=2.16$ $0.01$ $t_{15}(0.005)\approx2.95$ $0.05$ $t_{15}(0.025)\approx2.13$ $0.01$ $3\ \mathrm{cm}$ $0.05$ $3\ \mathrm{cm}$ .

$n$ $t_{n-1}(\alpha)$ $t_{n-1}(\alpha/2)$ $u_{\alpha},u_{\alpha/2}$ 代替，而且此时的正态分布不必是正态分布.

$\alpha$ $\varPsi$ $H_0$ ；反过来说，如果我们拒绝原假设，就说明我们有充分的证据证明原假设不成立.

根据以上分析，我们给出设立原假设和备择假设的两条原则：

$H_0$ ；
$H_1$ ，希望能通过拒绝原假设得到你的结论.

8.2.2 两个正态总体均值差的检验

1. 成组比较

$(X_1,X_2,\cdots,X_m)$ $N(\mu_1,\sigma^2)$ $(Y_1,Y_2,\cdots,Y_n)$ $N(\mu_2,\sigma^2)$ $\mu_1,\mu_2$ $\sigma^2$ $\sigma^2$ 可以已知也可以未知.

$\delta$ 是给定的常数，考虑

$H_0:\mu_1-\mu_2\geqslant\delta\lrarr H_1:\mu_1-\mu_2<\delta$ ；
$H_0':\mu_1-\mu_2\leqslant\delta\lrarr H_1':\mu_1-\mu_2>\delta$ ；
$H_0'':\mu_1-\mu_2=\delta\lrarr H_1'':\mu_1-\mu_2\neq\delta$ .

$\sigma^2$ $\delta=0$ ，这样设计的试验下的检验问题称为成组比较问题或者两样本均值检验问题.

$\overline X-\overline Y$ $\mu_1-\mu_2$ $\sigma^2$ 已知时，取统计检验量

Z = \frac{\overset{―}{X} - \overset{―}{Y} - δ}{σ \sqrt{\frac{1}{m} + \frac{1}{n}}} .

$\mu_1-\mu_2=\delta$ $Z\sim N(0,1)$ $\alpha$ 的检验分别为

\begin{aligned} g : 当 Z < - u_{α} 时 拒 绝 H_{0}, 否 则 不 能 拒 绝 H_{0}; \\ g^{'} : 当 Z > u_{α} 时 拒 绝 H_{0}^{'}, 否 则 不 能 拒 绝 H_{0}^{'}; \\ g^{″} : 当 | Z | > u_{α / 2} 时 拒 绝 H_{0}^{″}, 否 则 不 能 拒 绝 H_{0}^{″} . \end{aligned}

$\sigma^2$ $X$ $Y$ 的样本一起来估计它. 在区间估计中已得到一个优良点估计为

S_{T} = \sqrt{\frac{(m - 1) S_{1}^{2} + (n - 1) S_{2}^{2}}{m + n - 2}},

$S_1^2,S_2^2$ $X,Y$ 的样本方差. 得检验统计量

T = \sqrt{\frac{m n}{m + n}} \frac{\overset{―}{X} - \overset{―}{Y} - δ}{S_{T}} .

$\mu_1-\mu_2=\delta$ $T\sim t_{m+n-2}$ $\alpha$ 的检验分别为

\begin{aligned} h : 当 T < - t_{m + n - 2} (α) 时 拒 绝 H_{0}, 否 则 不 能 拒 绝 H_{0}; \\ h^{'} : 当 T > t_{m + n - 2} (α) 时 拒 绝 H_{0}^{'}, 否 则 不 能 拒 绝 H_{0}^{'}; \\ h^{″} : 当 | T | > t_{m + n - 2} (α / 2) 时 拒 绝 H_{0}^{″}, 否 则 不 能 拒 绝 H_{0}^{″} . \end{aligned}

$t$ 检验