假设检验（hypothesis test）亦称显著性检验（significant test），是先对总体的参数或分布作出某种假设，然后用适当的方法，根据样本对总体提供的信息，推断此假设应当拒绝或不拒绝。
其实质是判断观察到的“差别”是抽样误差引起还是总体上的不同，目的是评价两个不同的参数或两种不同处理引起效应不同的证据有多强，这种证据的强度用概率 P 度量和表示。
P值
P值就是当原假设为真时出现现状或更差的情况的概率。如果P值很小，说明这种情况的发生的概率很小，而如果出现了，根据小概率原理，我们就有理由拒绝原假设，P值越小，我们拒绝原假设的理由越充分。
“P” 值的使用也引起了统计学家的争议: Scientific method: Statistical errors : Nature News & Comment.
基本步骤
假设检验的基本步骤包括，
- 建立假设，选择一个显著性水平 $\alpha$ .
- 选择检验方法和计算检验统计量 .
- 确定 P 值和做出统计推断结论 .
所有的假设检验都按照这三个步骤进行，各种检验方法的差别在于第二步计算的检验统计量不同。
比如，我们观察到一组独立地从同一个分布采样出来的样本。如果想了解这个分布的性质，可以针对这个分布的参数做出两个不同的假设。一个叫零假设 $H_0$，另一个叫备选假设 $H_1$ 。比如针对分布的期望值 $\mu$，零假设可以是 $\pmb{H}_0:u = u_0$，备选假设可以是 $\pmb{H}_1: u\neq u_0$。假设检验过程根据观察到的样本决定接受其中一个假设。
两类错误1
假设检验有两类错误，第一类型错误和第二类型错误。第一类型错误，是零假设成立的情况下拒绝零假设。第二类型错误，是备选假设成立的情况下接受零假设。
| Type | Decision:Accept $H_0$ | Decision:Reject $H_0$ |
|---|---|---|
| Truth:$H_0$ | Correct Decision | Type I Error |
| Truth:$H_1$ | Type II Error | Correct Decison |
是不是想起了我们分类器评估准则里面的 混淆矩阵 .
参数检验和非参数检验
假设检验可以分为参数检验和非参数检验。参数检验，一般是数据的分布已知的情况下，对数据分布的参数是否落在相应范围内进行检验。非参数检验则一般是在不知道数据分布的前提下，检验数据的分布情况2。
参数检验
参数检验是针对参数做的假设，对总体参数如平均值、方差进行检验。参数检验要利用到总体的信息（总体分布、总体的一些参数特征如方差等），以总体分布和样本信息对总体参数作出推断。统计假设只涉及未知参数的检验，如u检验，t 检验，F 检验，Z 检验等都是参数检验。
非参数检验
非参数检验是不依赖参数进行的假设检验，适用于未知分布型、偏态资料、等级性资料等的假设检验。非参数检验在应用上无严格的限制条件，适用范围广，对数据的要求不像参数检验那样严格。
在许多场合下根本就不能使用参数方法，这是因为在参数检验中，我们必须对观察结果直接进行加减乘除等数学运算；然而，有许多观察结果却并不是真正的数值(例如只是某种分类或等级)，倘若强行将上述运算施于这种非真正数值的观察结果，则势必会歪曲事情的本来面目，从而使人们对检验的有效性产生怀疑，这时，只有采用非参数统计才能得到有价值的结果。
选用非参数检验的情况有：
- 总体分布不易确定（也就是不知道是不是正态分布）
- 分布呈非正态而无适当的数据转换方法
- 等级资料
- 一段或两段无确定数据等（比如一段的数据是>50，是一个开区间）
二者区别
计量资料一般是参数、非参数检验都是可以的。但是对于能使用参数检验的，首选参数检验，对不能满足条件的才选用非参数检验。
- 参数检验是针对参数做的假设，非参数检验是针对总体分布情况做的假设，这个是区分参数检验和非参数检验的一个重要特征。
- 二者的根本区别在于参数检验要利用到总体的信息（总体分布、总体的一些参数特征如方差），以总体分布和样本信息对总体参数作出推断；非参数检验不需要利用总体的信息（总体分布、总体的一些参数特征如方差），以样本信息对总体分布作出推断。
- 参数检验只能用于等距数据和比例数据，非参数检验主要用于记数数据。也可用于等距和比例数据，但精确性就会降低。
常识
-
3 $\sigma$ 原则:
- 数值分布在 $(\mu—\sigma,\mu+\sigma)$ 中的概率为0.68.
- 数值分布在 $(\mu—2\sigma,\mu+2\sigma)$ 中的概率为0.95.
- 数值分布在 $(\mu—3\sigma,\mu+3\sigma)$ 中的概率为0.997.
- 双盲试验：资料传送
- 常见分布的期望与方差:
- 切比雪夫不等式：
设 $X$ 为随机变量，具有数学期望 $\mu$ 和方差 $\sigma^2$，则对 $\forall \varepsilon>0$，有：