参数估计

目的

参数估计问题是利用样本 $X_1,X_2,\dots ,X_n$ 提供的信息，对总体中的未知参数或参数的函数作出估计。

分类

$$\mathrm{参}\mathrm{数}\mathrm{估}\mathrm{计}\{\begin{array}{c}\mathrm{点}\mathrm{估}\mathrm{计}\\ \\ \mathrm{区}\mathrm{间}\mathrm{估}\mathrm{计}\end{array}$$

点估计：估计未知参数的一个值。 区间估计：根据样本构造出适当的区间，它以一定概率包含未知参数或未知函数参数的真值。

点估计

定义

设 $X_1,X_2,\dots ,X_n$ 是来自总体 $X$ 的样本，$X_1,X_2,\dots ,X_n$ 的联合分布函数为 $F(x_1,x_2,\dots ,x_n)$，$T(X_1,X_2,\dots ,X_n)$ 是未知参数 $\theta$ 的一个估计，若对每一个 $\theta$ 都有一个确定的估计值 $t$ 与之对应，则称 $T(X_1,X_2,\dots ,X_n)$ 为 $\theta$ 的点估计，$t$ 为 $\theta$ 的估计值，记为 $\hat{\theta }$。

若总体分布中含有 $k$ 个未知参数 ${\theta }_1,{\theta }_2,\dots ,{\theta }_k$，则由样本建立 $k$ 个不带任何未知参数的统计量 ${\hat{\theta }}_i=T_i(X_1,X_2,\dots ,X_n)$，$i=1,2,\dots ,k$，将它们分别作为 $k$ 个未知参数 ${\theta }_1,{\theta }_2,\dots ,{\theta }_k$ 的点估计量。

矩估计

思想

设 $X_1,X_2,\dots ,X_n$ 是来自总体 $X$ 的样本，$X_1,X_2,\dots ,X_n$ 的联合分布函数为 $F(x_1,x_2,\dots ,x_n)$，$X_1,X_2,\dots ,X_n$ 的 $k$ 阶原点矩为

$$A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k,k=1,2,\dots$$

若总体 $X$ 的 $k$ 阶原点矩 $E(X^k)$ 存在，则由样本 $X_1,X_2,\dots ,X_n$ 的 $k$ 阶原点矩 $A_k$ 作为总体 $X$ 的 $k$ 阶原点矩 $E(X^k)$ 的估计，即

$${\hat{\theta }}_k=A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k$$

称为总体 $X$ 的 $k$ 阶原点矩的矩估计。

步骤

区间估计

定义

设 $\theta$ 是总体的一个未知参数，$X_1,X_2,\dots ,X_n$ 是来自该总体的样本。若由样本确定的两个统计量 $\underset{―}{\theta }=\underset{―}{\theta }(X_1,X_2,\dots ,X_n)$ 和 $\bar{\theta }=\bar{\theta }(X_1,X_2,\dots ,X_n)$ 满足 $\underset{―}{\theta }<\bar{\theta }$，使得

$$P\{\underset{―}{\theta }<\theta <\bar{\theta }\}=1-\alpha$$

则称随机区间 $(\underset{―}{\theta },\bar{\theta })$ 是 $\theta$ 的置信水平为 $1-\alpha$ 的置信区间，$\underset{―}{\theta }$ 和 $\bar{\theta }$ 分别称为置信水平为 $1-\alpha$ 的双侧置信区间的置信下限和置信上限。

置信区间的求法

枢轴量法

寻找一个样本和待估参数的函数 $T=T(X_1,X_2,\dots ,X_n;\theta )$，且满足：

1. $T$ 的分布不依赖于未知参数
2. $T$ 是 $\theta$ 的单调函数

称这样的 $T$ 为枢轴量。

正态总体参数的区间估计

单个正态总体均值的区间估计

方差 ${\sigma }^2$ 已知

$X_1,X_2,\dots ,X_n$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的样本，${\sigma }^2$ 已知，求 $\mu$ 的置信水平为 $1-\alpha$ 的置信区间。 $\mu$ 的点估计为 $\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$，则

$$\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$$

有

$$P\{-z_{\alpha /2}\le \frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\le z_{\alpha /2}\}=1-\alpha$$

即

$$P\{\bar{X}-\frac{\sigma }{\sqrt{n}}{z}_{\alpha /2}\le \mu \le \bar{X}+\frac{\sigma }{\sqrt{n}}{z}_{\alpha /2}\}=1-\alpha$$

因此，$\mu$ 的置信水平为 $1-\alpha$ 的置信区间为

$$[\bar{X}-\frac{\sigma }{\sqrt{n}}{z}_{\alpha /2},\bar{X}+\frac{\sigma }{\sqrt{n}}{z}_{\alpha /2}]$$

方差 ${\sigma }^2$ 未知

$X_1,X_2,\dots ,X_n$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的样本，${\sigma }^2$ 未知，求 $\mu$ 的置信水平为 $1-\alpha$ 的置信区间。 $\mu$ 的点估计为 $\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$，${\sigma }^2$ 的点估计为 $S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2$，则

$$\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$

有

$$P\{-t_{\alpha /2}(n-1)\le \frac{\bar{X}-\mu }{S/\sqrt{n}}\le t_{\alpha /2}(n-1)\}=1-\alpha$$

即

$$P\{\bar{X}-\frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1)\le \mu \le \bar{X}+\frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1)\}=1-\alpha$$

因此，$\mu$ 的置信水平为 $1-\alpha$ 的置信区间为

$$[\bar{X}-\frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1),\bar{X}+\frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1)]$$

单个正态总体方差的区间估计

均值 $\mu$ 未知

$X_1,X_2,\dots ,X_n$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的样本，$\mu$ 已知，求 ${\sigma }^2$ 的置信水平为 $1-\alpha$ 的置信区间。 ${\sigma }^2$ 的点估计为 $S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2$，则

$$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$$

有

$$P\{{\chi }_{\alpha /2}^2(n-1)\le \frac{(n-1)S^2}{{\sigma }^2}\le {\chi }_{1-\alpha /2}^2(n-1)\}=1-\alpha$$

即

$$P\{\frac{(n-1)S^2}{{\chi }_{1-\alpha /2}^2(n-1)}\le {\sigma }^2\le \frac{(n-1)S^2}{{\chi }_{\alpha /2}^2(n-1)}\}=1-\alpha$$

因此，${\sigma }^2$ 的置信水平为 $1-\alpha$ 的置信区间为

$$[\frac{(n-1)S^2}{{\chi }_{1-\alpha /2}^2(n-1)},\frac{(n-1)S^2}{{\chi }_{\alpha /2}^2(n-1)}]$$

$\sigma$ 的置信水平为 $1-\alpha$ 的置信区间为

$$[\sqrt{\frac{(n-1)S^2}{{\chi }_{1-\alpha /2}^2(n-1)}},\sqrt{\frac{(n-1)S^2}{{\chi }_{\alpha /2}^2(n-1)}}]$$

均值 $\mu$ 已知

仍然满足枢轴量的条件，但 $\mu$ 没有用到，造成了信息的损失。

$$\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2\sim {\chi }^2(n)$$

有

$$P\{{\chi }_{\alpha /2}^2(n)\le \frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2\le {\chi }_{1-\alpha /2}^2(n)\}=1-\alpha$$

即

$$P\{\frac{1}{{\chi }_{1-\alpha /2}^2(n)}\sum _{i=1}^n(X_i-\mu {)}^2\le {\sigma }^2\le \frac{1}{{\chi }_{\alpha /2}^2(n)}\sum _{i=1}^n(X_i-\mu {)}^2\}=1-\alpha$$

故 ${\sigma }^2$ 的置信水平为 $1-\alpha$ 的置信区间为

$$[\frac{1}{{\chi }_{1-\alpha /2}^2(n)}\sum _{i=1}^n(X_i-\mu {)}^2,\frac{1}{{\chi }_{\alpha /2}^2(n)}\sum _{i=1}^n(X_i-\mu {)}^2]$$

两个正态总体均值之差的区间估计

$X_1,X_2,\dots ,X_m$ 是来自正态总体 $N({\mu }_1,{\sigma }_1^2)$ 的样本，$Y_1,Y_2,\dots ,Y_n$ 是来自正态总体 $N({\mu }_2,{\sigma }_2^2)$ 的样本，${\sigma }_1^2$ 和 ${\sigma }_2^2$ 已知，求 ${\mu }_1-{\mu }_2$ 的置信水平为 $1-\alpha$ 的置信区间。

方差 ${\sigma }_1^2$ 和 ${\sigma }_2^2$ 已知

$\bar{X}=\frac{1}{m}\sum _{i=1}^m{X}_i$，$\bar{Y}=\frac{1}{n}\sum _{i=1}^n{Y}_i$，则

$$\bar{X}-\bar{Y}\sim N({\mu }_1-{\mu }_2,\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n})$$

有

$$P\{-z_{\alpha /2}\le \frac{\bar{X}-\bar{Y}-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}}}\le z_{\alpha /2}\}=1-\alpha$$

故 ${\mu }_1-{\mu }_2$ 的置信水平为 $1-\alpha$ 的置信区间为

$$[\bar{X}-\bar{Y}-z_{\alpha /2}\sqrt{\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}},\bar{X}-\bar{Y}+z_{\alpha /2}\sqrt{\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}}]$$

两个正态总体方差之比的区间估计

均值 ${\mu }_1$ 和 ${\mu }_2$ 未知

$F=\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}\sim F(m-1,n-1)$ 有

$$P\{F_{\alpha /2}(m-1,n-1)\le \frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}\le F_{1-\alpha /2}(m-1,n-1)\}=1-\alpha$$

即

$$P\{\frac{S_1^2}{S_2^2}{F}_{\alpha /2}(m-1,n-1)\le \frac{{\sigma }_1^2}{{\sigma }_2^2}\le \frac{S_1^2}{S_2^2}{F}_{1-\alpha /2}(m-1,n-1)\}=1-\alpha$$

故 $\frac{{\sigma }_1^2}{{\sigma }_2^2}$ 的置信水平为 $1-\alpha$ 的置信区间为

$$[\frac{S_1^2}{S_2^2}{F}_{\alpha /2}(m-1,n-1),\frac{S_1^2}{S_2^2}{F}_{1-\alpha /2}(m-1,n-1)]$$