返回首页

统计学中的假设检验:基础和错误

本文根据Neyman-Pearson解释统计假设检验的原则:H0和H1的表述、第一类和第二类错误的控制、高功效准则的选择。示例阐释数据科学中实验规划以最小化风险。

统计假设:从H0到检验功效
Advertisement 728x90

假设检验:从哲学原理到实际应用

统计学中的假设检验建立在客观现实与数据随机性之间的明确区分之上。假设是对事实的陈述——要么真,要么假。概率仅在数据收集阶段介入,我们假设数据收集是随机的。

示例: 想象你在封闭房间里问:“现在是夏天吗?”检验规则需提前设定。判据:下雪则拒绝原假设 H0“现在是夏天”。这会带来 I 型错误风险(α)——拒绝真实的 H0。α 概率需提前固定为显著性水平。

在真实的 H0 下,关键事件是不太可能发生的。但判据必须能区分 H0 与备择假设 H1,同时最小化 II 型错误(β)并最大化检验功效(1-β)。

Google AdInline article slot

错误类型与检验选择

完整原则:如果事件在 H0 下不太可能发生而在 H1 下很可能发生,则拒绝 H0。H0 享有“无罪推定”——只有强有力证据(低 α)才能推翻它。

不良判据:

  • 只在夏天出现的稀有鸟类:无法拒绝错误的 H0(β=1)。
  • 彗星:随时可能出现,无法区分假设。
  • 狭窄温度范围 26.0–26.1°C:在夏天不太可能,但又很典型。

良好判据(如下雪)在 H0 下不太可能,在 H1 下很可能发生。

Google AdInline article slot

H1 可以是简单否定(如“不是夏天”)或具体(如“秋天/春天”)。选择会影响功效。在科学研究中,H0 常设为“无效应”,因为科学保守谨慎。

实验规划

假设检验是面对不确定性时的决策工具。需提前规划样本量,以控制 α 和 β。

关键算法步骤:

Google AdInline article slot
  • 制定 H0 和 H1。
  • 选择 α(显著性水平)。
  • 定义关键事件以最小化 β。
  • 计算检验功效。
  • 确定样本量。
  • 收集数据并实施检验。

这是在错误风险与决策成本之间权衡。

关键要点

  • H0 受保护:仅由不太可能事件拒绝(α 提前设定)。
  • 检验功效:检测虚假 H0 的概率(1-β)。
  • 数据随机性:假设是确定的,随机性在样本中。
  • 提前规划:实验前固定样本量和检验。
  • 情境相关:根据问题调整 α 和 H1。

哲学视角与批评

Neyman-Pearson 框架假设数据收集带有随机性(如抛硬币检验公正性)。批评者指出:硬币属性固定,概率在于程序本身。

备选如贝叶斯方法直接评估假设概率,但经典方法聚焦错误控制。在 IT 和数据科学中,二者并用:A/B 测试用经典方法,先验驱动模型用贝叶斯。

对开发者:机器学习中,假设检验验证模型(H0:模型不优于基准)。实验前做功效分析,避免样本量不足。

— Editorial Team

Advertisement 728x90

继续阅读