辨析了数理统计中的一些重要的基本概念与定理。
样本、总体、样本观测值和统计量有什么区别
总体记为$X$
样本是从总体中通过抽样方法（例如简单）获得的
统计量是关于样本的函数，并且不包含任何未知的参数。
对样本$X_i$观测产生观测值$x_i$，对统计量$g(X_1, X_2, …, X_n)$观测产生观测值$g(x_1, x_2, .., x_n)$
样本方差为什么分母是$n - 1$
方差可以表示为$D(X)$、$Var(X)$、$\sigma^2$，没有区别。$\sigma^2$常用来表示总体方差
首先回顾方差定义
$$
\sigma^2 = \mathbb{E}[(X_i - \mathbb{E}[X])^2]
$$
这里$E(X)$也可记作$\mu$，等于总体均值（期望），也等于样本均值的期望。
现在我们估计样本均值（期望）$\bar{X}$，显然
$$
\bar{X} = \frac{\sum{X_i}}{n}
$$
下面试图估计样本方差$S$，其定义为
$$
S^2 = \frac{\sum{(X_i - \mu)^2}}{n}
$$
为什么定义的时候用$\mu$而不是$\bar{X}$呢？主要是这样下来对总体方差$\sigma^2$的估计是无偏的。
这时候发现$\mu$还不知道，很自然会想到能不能用$\bar{X}$代替，这种是没有修正过的方差$S_1$，经过计算比较
$$
\mathbb{E}S_1^2 = S^2 - Var(\bar{X}) \\
\frac{\sum{(X_i - \bar{X})^2}}{n} = \frac{\sum{(X_i - \mu)^2}}{n} - (\mu - \bar{X})^2
$$
可是$\bar{X}$只是样本期望而不一定等于总体期望，所以实际上估计值是要小的。
因此在修正后可以得到
$$
S^2 = \frac{\sum{(X_i - \mu)^2}}{n} = \frac{\sum{(X_i - \bar{X})^2}}{n - 1}
$$
这两个估计都是无偏的，但使用$\mu$比$\bar{X}$有效
实际上，用极大似然估计来估计$\sigma^2$得到的就是有偏的$\frac{\sum{(X_i - \bar{X})^2}}{n}$
$\chi^2$、$t$、$F$分布到底是做什么的
矩估计和极大似然估计有何异同
参数估计是指的总体$F(x, \theta)$已知情况下如何通过样本估计出未知参数值$\theta$
点估计的思想是构造统计量$\hat{\theta}(X_1, X_2, .., X_n)$，通过其观察值$\hat{\theta}(x_1, x_2, .., x_n)$来估计位置参数$\theta$。包括了矩估计和极大似然估计。
矩估计的思想是用样本矩$A_k$估计总体矩$\mu_k$，这是由大数定律得到的性质。$k$表示第$k$阶矩，与未知量$\theta$是有关的。
首先回顾一下，期望可以看做一阶原点矩，方差可以看做二阶中心距。于是我们的$A_k = \mu_k$便可以化为关于总体分布中参数$\theta$的值和样本期望、方差等属性的方程。最后就可以用样本期望、方差去表示出要求的$\theta$。
但是出于简便考虑，当只有一个未知数时，选用一阶原点矩和样本期望是很合适的，而且方便计算。当出现两个未知数时一般额外选择二阶原点矩，然后可以应用公式$E(X^2) = E^2(X) + D(X)$转换成方差
例如对于样本$X_1, X_2, .., X_n$，估计$\mu$和$\sigma^2$
$$
\mu = \bar{X} \\
\sigma^2 + \mu^2 = \frac{1}{n} \sum_{i = 1}^{n}{X_i^2} \\
\sigma^2 = \frac{1}{n} \sum_{i = 1}^{n}{(X_i^2 - \bar{X}^2) }
$$
而
$$
\sum_{i = 1}^{n}{(X_i - \bar{X})^2 } \\
= \sum_{i = 1}^{n}{(X_i^2 - 2 \, X_i \bar{X} + \bar{X}^2) } \\
= \sum_{i = 1}^{n}{X_i^2} - 2 \, \bar{X} \, \sum_{i = 1}^{n}{X_i} + \bar{X}^2 \\
= \sum_{i = 1}^{n}{(X_i^2 - \bar{X}^2) }
$$
因此
$$
\sigma^2 = \frac{1}{n} \sum_{i = 1}^{n}{(X_i - \bar{X})^2 } = \frac{n - 1}{n} S^2
$$
极大似然估计的思想是小概率事件发生概率也小，因此如果在试验中观测到一次事件发生则这次事件发生的概率就应该最大，由此计算参数的取值。
