📂p值操纵与文件抽屉

一、什么是 p-hacking？

典型表现

• 一开始的分析结果“不显著”，于是不断更换方法、调整模型、细分亚组，直到出现“有意义”的结果为止。

• 在探索性分析过程中，顺手把新发现的有趣现象当作正式假设检验并上升为主要发现。

• 只汇报显著性结果，把无效（阴性）结果“藏起来”不做披露。

为什么危险？

• 大大提高假阳性率，让大量“无效结论”以科学名义流传，误导学界和大众。

• 不透明的分析流程让他人难以复现研究结果，甚至无法识别问题根源。

• 长期积累会造成某领域整体“文献污染”，可信结论极少。

如何防范？

• 提前规划分析方案（如医学领域的“预注册”制度）：在数据分析前确定所有假设、方法和亚组，公开注册。

• 区分探索性与验证性分析：探索性发现仅作为新假说或启发，不应当作主要结论上报或推广。

• 如实报告所有尝试过的分析和全部结果，尤其是未达到显著性的部分。

二、文件抽屉问题：被遗忘的阴性结果

现实影响

• 阴性结果难以发表：主流期刊和媒体倾向于发表“新发现”“显著差异”，阴性结果常被视为“没价值”。

• 幸存者偏差：如果100个团队都做同一研究，即使实际上效果不存在，也会有约5个团队（按5%显著性水平）“误打误撞”发现阳性结果。如果只有这5个发表，文献便会“虚假繁荣”。

• 学科误判：最终让决策者、医生或公众误以为某现象有很强证据支持，实则大部分研究并未发现效应。

应对措施

• 鼓励期刊和学界重视阴性结果的价值，推动更多“无显著发现”的发表和数据公开。

• 开展系统综述和meta分析，收集所有相关研究（包括未发表的）进行综合评估。

• 鼓励研究者在论文和报告中如实披露所有已完成的分析与结果，无论显著与否。

三、给数据分析师和研究者的建议

1. 所有分析过程建议预注册，提前写清楚研究假设、分析方法和统计标准。

2. 探索性分析要诚实标注，不与正式假设检验混用。

3. 如实报告全部结果，避免“选择性报告”带来的文献偏差。

4. 批判性阅读文献，警惕被“p-hacking”和文件抽屉问题污染的领域结论。

结语