辨析了数理统计中的一些重要的基本概念与定理。
样本、总体、样本观测值和统计量有什么区别
总体记为X
样本是从总体中通过抽样方法(例如简单)获得的
统计量是关于样本的函数,并且不包含任何未知的参数。
对样本Xi观测产生观测值xi,对统计量g(X1,X2,…,Xn)观测产生观测值g(x1,x2,..,xn)
样本方差为什么分母是n−1
方差可以表示为D(X)、Var(X)、σ2,没有区别。σ2常用来表示总体方差
首先回顾方差定义
σ2=E[(Xi−E[X])2]
这里E(X)也可记作μ,等于总体均值(期望),也等于样本均值的期望。
现在我们估计样本均值(期望)ˉX,显然
ˉX=∑Xin
下面试图估计样本方差S,其定义为
S2=∑(Xi−μ)2n
为什么定义的时候用μ而不是ˉX呢?主要是这样下来对总体方差σ2的估计是无偏的。
这时候发现μ还不知道,很自然会想到能不能用ˉX代替,这种是没有修正过的方差S1,经过计算比较
ES21=S2−Var(ˉX)∑(Xi−ˉX)2n=∑(Xi−μ)2n−(μ−ˉX)2
可是ˉX只是样本期望而不一定等于总体期望,所以实际上估计值是要小的。
因此在修正后可以得到
S2=∑(Xi−μ)2n=∑(Xi−ˉX)2n−1
这两个估计都是无偏的,但使用μ比ˉX有效
实际上,用极大似然估计来估计σ2得到的就是有偏的∑(Xi−ˉX)2n
χ2、t、F分布到底是做什么的
矩估计和极大似然估计有何异同
参数估计是指的总体F(x,θ)已知情况下如何通过样本估计出未知参数值θ
点估计的思想是构造统计量ˆθ(X1,X2,..,Xn),通过其观察值ˆθ(x1,x2,..,xn)来估计位置参数θ。包括了矩估计和极大似然估计。
矩估计的思想是用样本矩Ak估计总体矩μk,这是由大数定律得到的性质。k表示第k阶矩,与未知量θ是有关的。
首先回顾一下,期望可以看做一阶原点矩,方差可以看做二阶中心距。于是我们的Ak=μk便可以化为关于总体分布中参数θ的值和样本期望、方差等属性的方程。最后就可以用样本期望、方差去表示出要求的θ。
但是出于简便考虑,当只有一个未知数时,选用一阶原点矩和样本期望是很合适的,而且方便计算。当出现两个未知数时一般额外选择二阶原点矩,然后可以应用公式E(X2)=E2(X)+D(X)转换成方差
例如对于样本X1,X2,..,Xn,估计μ和σ2
μ=ˉXσ2+μ2=1nn∑i=1X2iσ2=1nn∑i=1(X2i−ˉX2)
而
n∑i=1(Xi−ˉX)2=n∑i=1(X2i−2XiˉX+ˉX2)=n∑i=1X2i−2ˉXn∑i=1Xi+ˉX2=n∑i=1(X2i−ˉX2)
因此
σ2=1nn∑i=1(Xi−ˉX)2=n−1nS2
极大似然估计的思想是小概率事件发生概率也小,因此如果在试验中观测到一次事件发生则这次事件发生的概率就应该最大,由此计算参数的取值。