【1.2】显著检验概述

相信很多人看到这里还不明白什么是方差,什么是标准差 ,方差的算术平方根就是标准差。

对象总体标准差:

样本标准差:

  • 显著性检验(significance test)就是事先对总体(随机变量)的参数或总体分布形式做出一个假设,然后利用样本信息来判断这个假设(原假设)是否合理,即判断总体的真实情况与原假设是否有显著性差异。

  • 或者说,显著性检验要判断样本与我们对总体所做的假设之间的差异是纯属机会变异,还是由我们所做的假设与总体真实情况之间不一致所引起的。

  • 显著性检验是针对我们对总体所做的假设做检验,其原理就是“小概率事件实际不可能性原理”来接受或否定假设。

  • 抽样实验会产生抽样误差,对实验资料进行比较分析时,不能仅凭两个结果(平均数或率)的不同就作出结论,而是要进行统计学分析,鉴别出两者差异是抽样误差引起的,还是由特定的实验处理引起的。

一、含义

显著性检验即用于实验处理组与对照组或两种不同处理的效应之间是否有差异,以及这种差异是否显著的方法。

常把一个要检验的假设记作H0,称为原假设(或零假设) (null hypothesis) ,与H0对立的假设记作H1,称为备择假设(alternative hypothesis) 。

⑴ 在原假设为真时,决定放弃原假设,称为第一类错误,其出现的概率通常记作α;

⑵ 在原假设不真时,决定接受原假设,称为第二类错误,其出现的概率通常记作β。

通常只限定犯第一类错误的最大概率α, 不考虑犯第二类错误的概率β。这样的假设 检验又称为显著性检验,概率α称为显著性水平。

最常用的α值为0.01、0.05、0.10等。一般情况下,根据研究的问题,如果放弃真假设损失大,为减少这类错误,α取值小些 ,反之,α取值大些。

二、原理

无效假设

显著性检验的基本原理是提出“无效假设”和检验“无效假设”成立的机率(P)水平的选择。所谓“无效假设”,就是当比较实验处理组与对照组的结果时,假设两组结果间差异不显著,即实验处理对结果没有影响或无效。经统计学分析后,如发现两组间差异是抽样引起的,则“无效假设”成立,可认为这种差异为不显著(即实验处理无效)。若两组间差异不是由抽样引起的,则“无效假设”不成立,可认为这种差异是显著的(即实验处理有效)。

“无效假设”成立的机率水平

检验“无效假设”成立的机率水平一般定为****5%,其含义是将同一实验重复100次,两者结果间的差异有5次以上是由抽样误差造成的,则“无效假设”成立,可认为两组间的差异为不显著,常记为p>0.05。若两者结果间的差异5次以下是由抽样误差造成的,则“无效假设”不成立,可认为两组间的差异为显著,常记为p≤0.05。如果p≤0.01,则认为两组间的差异为非常显著。

三、基本思想

显著性检验的基本思想可以用小概率原理来解释。

1、小概率原理:小概率事件在一次试验中是几乎不可能发生的,假若在一次试验中事件事实上发生了。那只能认为事件不是来自我们假设的总体,也就是认为我们对总体所做的假设不正确。

2、观察到的显著水平:由样本资料计算出来的检验统计量观察值所截取的尾部面积为。这个概率越小,反对原假设,认为观察到的差异表明真实的差异存在的证据便越强,观察到的差异便越加理由充分地表明真实差异存在。

3、检验所用的显著水平:针对具体问题的具体特点,事先规定这个检验标准。

4、在检验的操作中,把观察到的显著性水平与作为检验标准的显著水平标准比较,小于这个标准时,得到了拒绝原假设的证据,认为样本数据表明了真实差异存在。大于这个标准时,拒绝原假设的证据不足,认为样本数据不足以表明真实差异存在。

5、检验的操作可以用稍许简便一点的作法:根据所提出的显著水平查表得到相应的 值,称作临界值,直接用检验统计量的观察值与临界值作比较,观察值落在临界值所划定的尾部内,便拒绝原假设;观察值落在临界值所划定的尾部之外,则认为拒绝原假设的证据不足。

四、步骤

显著性检验的一般步骤或格式,如下:

1、提出假设

H0:______

H1:______

同时,与备择假设相应,指出所作检验为双尾检验还是左单尾或右单尾检验。

2、构造检验统计量,收集样本数据,计算检验统计量的样本观察值。

3、根据所提出的显著水平 ,确定临界值和拒绝域。

4、作出检验决策。

把检验统计量的样本观察值和临界值比较,或者把观察到的显著水平与显著水平标准比较;最后按检验规则作出检验决策。当样本值落入拒绝域时,表述成:“拒绝原假设”,“显著表明真实的差异存在”;当样本值落入接受域时,表述成:“没有充足的理由拒绝原假设”,“没有充足的理由表明真实的差异存在”。另外,在表述结论之后应当注明所用的显著水平。

六、常用检验

数据描述的三个角度:集中趋势,离散程度和分布形态。而常用统计推断检验方法分为两大类:

  • 参数检验
  • 非参数检验

参数检验通常是假设总体服从正态分布,样本统计量服从T分布的基础之上,对总体分布中一些未知的参数,例如总体均值、总体方差和总体标准差等进行统计推断。如果总体的分布情况未知,同时样本容量又小,无法运用中心极限定理实施参数检验,推断总体的集中趋势和离散程度的参数情况。这时,可以用非参数检验,非参数检验对总体分布不做假设,直接从样本的分析入手推断总体的分布。

与参数检验相比,非参数检验适用范围广,特别适用于小样本数据、总体分布未知或偏态、方差不齐及混合样本等各类型数据。二者的对比如下图:

6.1 非参数检验

非参数检验的方法是五花八门,名字也是千奇百怪,但是,这些方法有它们的共性。上面介绍了,因为对总体的分布形态不清楚或总体分布不是正态分布,所以无法用参数检验来推断总体的集中趋势和离散程度的参数。统计学家想到用排秩(排序)的方法来规避不是正态分布的问题,用样本的排序情况来推断总体的分布情况。这就好比梁山一百单八将排好了座次,从中随机抽出几个,测试武力值,大概其能够了解梁山的实力如何。

下图是非参数检验常用的检验方法表。接下来会具体介绍它们的检验理论和距离的案例应用。总体分布情况很多时候是未知或非正态分布的,所以非参数检验在现实生活中的应用很广泛。

由于参数检验的精确度高于非参数检验,因此在数据符合参数检验的条件时,仍优先采用参数检验。在实践中,各种因素的未知性导致参数统计的方法不再适用,可以应用非参数检验的方法予以解决。

而针对T检验和方差分析,它们解决的是正态分布的高测度数据的均值差异性问题。对于非正态分布的高测度数据,T检验或方差分析的方法就不再适用了。

七、常用的一些经验

7.1 数据是否符合正态性

要准确判断该组数据是否符合正态性,还需要用到假设检验。常用的是正态性统计检验D检验和W检验,根据两种检验的P值判断是否符合正态分布。

当两样本尤其是小样本(样本量小于50),不符合正态分布或是近似于正态分布,不符合方差齐性检验时我们可采用对对数变换、平方根变换、反正弦变换、倒数变换等等方法进行数值变换后,再进行正态性检验。

参考资料:

药企,独角兽,苏州。团队长期招人,感兴趣的都可以发邮件聊聊:tiehan@sina.cn
个人公众号,比较懒,很少更新,可以在上面提问题,如果回复不及时,可发邮件给我: tiehan@sina.cn