顶刊调查 | 超半数社会科学研究结论无法复现

社会科学论文的可重复性同样面临严峻挑战，其困境在某种程度上甚至比自然科学更为复杂。近年来，多个大规模系统性研究揭示了一个令人不安的事实：社会科学领域的研究结果可重复率仅徘徊在50%左右。

其中最具代表性的是由美国国防部高级研究计划局资助、历时七年、涉及865名研究人员对3900篇论文进行检验的SCORE项目。该项目发现，在可进行完整重复实验的164项研究中，只有49%的结果在统计学意义上能够被成功复制。这一数据与此前心理学领域的“重复性项目”（Reproducibility Project: Psychology）的结果高度一致——后者发现仅有约36%的心理学期刊论文能成功复制，其中社会心理学领域的复制成功率更是低至25%。即便是发表在《自然》和《科学》这类顶级期刊上的社会科学研究，也难逃这一困境：2018年一项针对2010至2015年间发表于这两本期刊的21项社会科学实验的复制研究发现，其中8项（近40%）的结果无法重现。

社会科学可重复性危机的根源，既与自然科学有共性，也有其独特的学科困境。与生物医学领域类似，小样本量导致的统计效力不足、p值操纵等、以及期刊对“新奇”“显著”结果的偏好，共同催生了大量假阳性发现。但社会科学面临更棘手的问题：研究对象是人类社会行为，其结论往往高度依赖特定的文化背景、历史时期和样本群体——一个在美国大学生群体中成立的心理学效应，换到中国农村或十年后可能截然不同。SCORE项目还发现，超过四分之三的复制失败并非源于学术不端，而是因为原始论文未提供足够详细的数据或实验细节，导致后人无法准确重现。

研究进一步分析了复制失败的可能原因和解释。论文强调，复制失败并不等同于原始结论错误，可能源于抽样误差、方法差异、未识别的调节变量或实施中的瑕疵。同样，成功复制也不意味着原始解释正确，因为共有的混淆或测量缺陷可能产生可重复但误导的结果。研究还比较了新数据收集与二次数据复制两种方式，发现前者效应量衰减更明显，但统计显著率相近。学科间差异虽小，但心理学和商科的新数据复制比例较高，而教育和社会学更多依赖二次数据。作者指出，可重复性的理想水平并无定论，关键问题并非“不可重复”本身，而是对发表结论的过度自信。研究的局限性包括：仅纳入正向统计结论、期刊选择偏倚、可行性导致的样本选择效应，以及未深入探讨复制成功与失败的前因。最终，论文呼吁通过持续积累证据、完善理论预期和增强研究透明度，来逐步提升对科学结论不确定性的认知，并推动验证性研究的制度化。

一、导论：可重复性危机与系统性评估的必要性

科学的根本目标在于揭示自然界的规律，而可重复性——即独立研究者能够通过新的证据得出与先前研究相似的结论——是构建可推广知识的基础。然而，近年来，社会与行为科学领域面临着一场“可重复性危机”。多项针对数百项研究的重复实验表明，仅有大约一半的重复研究能提供与原研究方向一致的统计显著证据，且观察到的效应量通常只有原始研究的一半左右。类似的现象在临床前癌症生物学等其他领域也同样存在。这种低可重复率引发了学术界对研究成果可靠性的深刻担忧，并对基于这些研究的政策制定和实践应用构成了挑战。

导致低可重复率的原因是多方面的。

首先，学术出版体系倾向于发表新颖的、“有趣的”正面结果，导致大量阴性或不显著的证据被“文件抽屉”效应所埋没，造成了文献库的系统性偏倚。其次，许多原始研究样本量过小，统计功效不足，加之测量工具信度不高，很容易产生虚假的阳性结果。此外，研究设计中的质量控制不严、方法论不够稳健，以及为追求统计显著性而采取的有问题的研究实践（如p值操纵、选择性报告等），都进一步推高了正面结果的虚假发现率。学术文化中对创新而非严谨的奖励机制，也抑制了纠错和验证性研究的开展。

值得注意的是，重复失败并不必然意味着原始研究是错误的。它也可能源于重复研究本身的假阴性（即未能检测到真实效应）、重复设计不当、选择性地仅重复原始文献中的阳性结果，或是原始研究与重复研究之间看似无关紧要的方法学差异（如样本特征、实验情境等）实际上成为了影响结果的调节变量。更根本的挑战在于，如何界定一项研究是否算作真正的“重复”以及如何评估重复是否“成功”，这在概念上和方法论上都存在争议。本研究的价值就在于，通过一个大规模、系统性的重复项目，为厘清这些问题提供了坚实的经验基础。

本研究作为美国国防高级研究计划局（DARPA）“开放研究与证据信心系统化”（SCORE）项目的一部分，旨在对2009年至2018年间发表在54种社会与行为科学期刊上的164篇定量论文中的274个正面主张进行系统性重复。与以往研究相比，本项目具有几个关键优势：首先，样本通过分层随机抽样的方式选取，旨在覆盖商业、经济学、教育学、政治学、心理学和社会学六个学科，具有更广泛的代表性；其次，重复研究在设计和执行上追求高质量，平均统计功效很高，且尽可能使用了原始材料；最后，所有重复研究的设计均经过预先的同行评审和预注册，增加了研究的透明度和严谨性，为评估可重复性提供了可靠的数据。

二、方法：抽样、研究设计与评估指标

本研究分两个阶段进行。第一阶段从62本目标期刊中分层随机抽取了3,900篇论文，并从中选出600篇作为重复研究的候选。第二阶段又补充了900篇，最终形成1,500篇符合重复条件的论文池。对这些论文进行系统性的主张识别后，共提取出3,900个主张，其中包含阳性结果的主张为3,066个。随后，研究团队根据可行性、资源可及性和专业匹配度，从中挑选并启动了198篇论文的重复工作，最终有164篇论文（共计274个独特主张）完成了重复实验。完成重复的样本在年份分布上与原始样本保持相对一致，但在学科分布上略有变化，例如心理学占比上升，而教育学和政治学占比下降。

每一项重复研究都由具备相关领域专长的独立研究团队执行。团队在可能的情况下获取了原始作者的材料和方法，并设计出“诚信”的重复方案，即在忠实于原始研究核心主张的前提下，可以根据新情境对方法进行合理调整。所有设计方案和分析计划均需经过由独立编辑和审稿人（包括至少一位原始研究作者，若其同意）组成的同行评审流程，并在开放科学框架（OSF）上进行预注册。重复研究的设计可以是收集全新的数据，也可以是寻找未在原始研究中使用的独立二手数据。在数据收集完成后，所有报告均经过严格的质量控制，其数据、材料和代码在最大可公开范围内被归档于OSF。

本研究的核心分析方法涉及将原始研究与重复研究的结果进行比对。为了在方法各异的众多研究间进行比较，研究者尽可能将各种原生效应量（如Cohen's d、优势比、回归系数等）转换为统一的偏相关系数（partial correlation）或Pearson's r。对于无法直接转换的复杂模型（如多层回归），则采用特定的近似方法。在统计分析上，研究主要采用描述性统计和精度估计，并通过对论文层面进行聚类自助抽样法（clustered bootstrap）来计算置信区间，以妥善处理同一篇论文中多个主张之间的非独立性。

在评估重复是否成功时，本研究采用了13种不同的二元评估指标，以全面展示不同评判标准对结果的影响。这些指标包括最常用的统计显著性检验、主观判断、p值组合法、基于置信/预测区间的方法、元分析、贝叶斯因子、以及“小望远镜”检验等。由于不同指标依赖于不同的假设（例如，元分析法会因纳入原始证据而必然提高成功率，而区间法则将效应量过大或过小均视为重复失败），它们给出的成功率会有所差异。本研究并不试图确定一个“最佳”指标，而是通过展示这些指标的多样性及其结果，来揭示评估可重复性这一任务本身的复杂性。

三、数据：重复实验的主要发现

基于最常用的统计显著性和方向一致性标准，在164篇论文中，成功重复的比例为49.3%（95% CI: 43.8% - 54.7%）；若按274个独特主张计算，成功率为55.1%（95% CI: 49.2% - 60.9%）。

在效应量方面，可计算Pearson's r的157篇论文显示，原始研究的中位效应量为0.25，而重复研究的中位效应量仅为0.10，这意味着两者共享的方差（即解释力）下降了82.4%（95% CI: 67.8% - 88.2%）。在249个主张中，70.3%的重复研究效应量小于原始研究，这表明重复研究不仅显著性降低，其效应的绝对幅度也远不及原始报告。

从学科差异来看，按论文加权的统计显著重复率在42.5%（经济学）到63.1%（教育学）之间波动，中位数为50.0%，且卡方检验显示学科间并无显著差异（P = 0.76）。按主张计算，范围则在45.5%至71.4%之间。此外，出版年份对可重复性没有显著影响（P = 0.14）。在新数据重复与二手数据重复的比较中，二者在统计显著性成功率上相似（新数据47.8%，二手数据51.4%）。然而，从效应量看，新数据重复的效应量下降更为剧烈（从0.28降至0.11），而二手数据重复的下降幅度较小（从0.13降至0.10），这可能是因为二手数据重复的原始效应量本身就较小，且部分二手数据重复的统计功效相对较低。

本研究还应用了13种不同的二元评估指标，其结果差异显著。成功率最低的是“原始置信区间”法（28.6%），该方法要求重复效应量落在原始研究的95%置信区间内，标准极为严苛；成功率最高的是固定效应元分析法（74.8%），因为该方法整合了原始证据，并非独立的重复检验。这13种方法成功率的估计中位数为49.3%，与统计显著性检验的结果非常接近。对这些指标进行相关性分析发现，它们之间呈正相关（中位Spearman相关系数r = 0.51），但基于置信/预测区间的指标与其他指标的相关性较弱，这主要是因为它们将效应量过大或过小都视为重复失败，而不仅仅是看是否非零。

四、结论：对社会科学可重复性的总体评估与启示

本研究通过大规模、系统性的重复实验得出结论：在2009-2018年间发表的社会与行为科学顶尖期刊论文中，大约只有一半的阳性主张能够经受住重复检验。这一发现与先前多个规模较小的重复项目的结果惊人地一致，表明可重复性挑战是该领域一个普遍而持久的问题。同时，研究也发现，可重复率在六个核心学科间的差异不大，说明这一问题并非某一特定子领域所独有，而是根植于更广泛的研究实践、激励机制和学术文化之中。重复研究效应量的大幅缩水也提示，原始文献中的效应量估计普遍存在夸大现象。

本研究的结论强调了系统评估可重复性的重要性。通过采用13种不同的评估指标，研究清晰地展示了“重复成功”并非一个不言自明的二元概念，其评估结果严重依赖于所选的统计标准和背后的哲学假设。这种不确定性恰恰说明，我们对单个研究结论的信心不应建立在一次性的成功或失败之上。科学的进步依赖于证据的长期积累和理论的持续修正。因此，与其过度纠结于某一次重复是否“成功”，不如将重复研究视为一个不断逼近真实效应、界定效应边界条件的过程，其最终目的是促进更成熟、更稳健的理论发展。

本研究的结果对科研实践、政策制定和学术文化具有重要启示。对于研究者而言，应当注重提高研究设计的严谨性、增加样本量、使用可靠的测量工具，并公开数据和代码。对于期刊和资助机构而言，应鼓励注册报告（Registered Reports）等预注册形式，减少对“新颖性”的过度奖励，并更加重视对已有发现进行验证和纠错的研究。学术界需要集体反思，改变过度依赖单一P值或效应量的评价体系，转而倡导对不确定性进行坦诚的讨论，这有助于降低过度自信，提升科学研究整体的自我修正能力。

最终，本研究的局限性在于其样本仅来自特定时间窗口内的少数顶尖期刊，且重复对象仅限于定量研究的阳性结果，因此结论不能简单外推至所有社会科学研究（如质性研究或阴性结果研究）。此外，重复研究的团队选择和完成度受可行性限制，并非完全随机，可能引入选择偏差。尽管研究团队采用了高功效设计、预先同行评审和高透明度等一系列质量控制措施，但仍无法完全排除方法学差异、样本特征变化或未识别的执行错误对结果的影响。未来的研究需要在此基础上，进一步探索与重复成功相关的具体因素（如研究设计稳健性、理论成熟度等），以期为提高科学的可重复性提供更具操作性的指导。

五、重复失败的归因、学术文化的反思与未来展望

重复失败的结果引发了多种解读，本研究对此进行了审慎的讨论。首先，必须明确指出，一次重复失败并不能直接宣判原始研究“错误”。这种失败可能源于重复研究本身的假阴性，即使是设计完美的实验也可能因抽样误差而未能捕捉到真实效应。其次，重复研究不可避免地会在样本、情境、方法等细节上与原始研究存在差异，这些看似微小的差异可能成为关键的调节变量，导致效应减弱或消失，但这并不否定原始发现在其特定条件下的真实性。因此，科学争论不应简单地在“成功”与“失败”之间站队，而应深入探究产生差异的具体原因。

本研究通过在方法论上极力减少已知的失败原因来增强其结果的可靠性。例如，研究普遍具有极高的统计功效（中位数超过99%），从而将假阴性风险降至最低。通过获取原始材料、进行预先同行评审和预注册，研究团队也最大限度地保证了重复研究的诚信度和执行质量。这些努力显著提升了我们对重复结果可信度的信心。然而，即便如此，我们仍需认识到，任何单一的重复研究，无论设计如何精良，都不应被视为“终极裁决”。真正可靠的证据需要来自一系列独立研究的结果积累和元分析。

一个更深层的问题是，社会科学领域正面临一种“过度自信”的文化困境。“发表”与“真实”之间远不能画等号，但当前学术评价体系对新颖、显著的阳性结果的偏爱，导致大量不确定性和潜在的错误被掩盖。本研究的数据显示，样本中高达89.6%的主张均为阳性结果，这远超任何合理的真实效应分布，有力证实了文献中普遍存在的发表偏倚。这种偏倚使得原始研究的效应量被系统性地高估。解决之道并非根除不可重复性本身，而是要根治过度自信的顽疾，在学术共同体中建立起对不确定性有更深刻认识的文化，认识到重复研究和其他验证方法在纠偏和巩固知识中的核心价值。

展望未来，本研究生成的庞大数据集为后续研究提供了丰富资源。一个极具价值的探索方向是，深入分析哪些特定的研究特征（如样本量、效应量大小、研究设计的稳健性、理论框架的成熟度等）与重复成功率密切相关。此外，比较不同重复评估指标的假设和表现，有助于我们更清晰地理解“重复成功”这一概念的多维性，从而推动方法论创新。最终，本研究呼吁学术生态的系统性变革，包括改革激励结构、推广开放科学实践（如预注册、数据共享）、以及改进统计教育和研究培训，以此共同构建一个更严谨、更可靠、更具自我修正能力的社会与行为科学未来。