可惜的是，一个问题应用了科学研究方法并不必然就意味着研究证据就是可靠的，或者对于证据含义的解释就准确无误。如同诉诸任何来源作为证据一样，诉诸科学研究的证据也需要谨慎对待。同时，有些问题，尤其是那些关注人类行为的问题，哪怕有最好的证据证明，我们也只能尝试着去进行解答。因此，对于研究报告而言，我们还要提出很多重要的问题，这样才能决定它们的结论到底有多大的可信度。
当持论者诉诸科学研究作为证据来源，我们应该记住以下几点：
（1）研究的质量有高有低，差别很大。有的研究精耕细作，有的研究偷工减料，我们自然更应该相信前者。因为研究过程太过复杂，而且受到太多的外来因素影响，哪怕是训练有素的研究人员，有时所做的研究也难免存在重大不足，在科学刊物上发表文章并不能确保这项科学研究就没有重大缺陷。
（2）研究成果常常会互相矛盾。因此，一旦脱离了研究某一具体问题的研究群所有研究的大环境，单一的研究所呈现的常常是引起误导的结论。最值得我们注意的研究结果是那些不止一个人或者是一群研究人员反复做过的研究。有很多断言从来没有被重新验证过，有很多断言重新验证以后得出的结果不能重复其原始的结论。比如说，最近发表在一份声望很高的医学杂志上的研究结果，对宣称成功进行过医学干预的那些备受重视的研究断言重新加以检测，结果有令人信服的结论表明，原来的断言中有41%都是错误的，或者有人为的妄自夸大存在[1]。我们需要不断追问以下这个问题：“其他的研究人员有没有核实过这些发现？”
（3）研究结果并不能证明结论。充其量它只能支撑结论。这些研究结果本身并不足以说明问题。研究人员总是要解释他们的科学发现的意义，而所有的科学发现都可以找到不止一种的解释方法（参见第7章）。因此，研究人员的结论不应该被当成证明了的“真理”。当你遇到“研究结果表明……”这样的表述，你应该重新将其解读为“研究人员解释他们的研究结果是表明了……”
（4）如同我们大家一样，研究人员也有他们的期望值、态度、价值观和需求，这使他们所问的问题、做研究的方法、解释研究结果的方式都烙上了偏见的印记。例如，科学家通常都对某个特定的假说投入大量的感情。如果美国食糖研究所（American Sugar Institute）支付你的暑期研究津贴，那么你就很难发现青少年过量消费食糖的问题。好像所有容易犯错的人一样，科学家也可能会发现，要客观对待那些和他们相信的假说相冲突的数据是异常困难的。科学研究一个主要的长处就在于它总是尽力将程序和结果公开化，这样其他人就可以判断研究的优缺点，然后可以进行验证。但是，不论一个科学报告看上去显得多么客观，还是难免会夹杂了重要的主观因素。
（5）作者或演说者常常歪曲或者简化研究结论。主要的分歧常常发生在原始研究得来的结论和使用这个证据来支持持论者的看法之间。例如，研究人员可能在其原始研究报告中仔细限定了他们的结论，只不过结论到了他人手里，这些限定马上就被拿掉了。
（6）研究的“事实”会随着时间的流逝而发生改变，尤其是关于人类行为的那些断言。比如，下面的研究“事实”都在主流科学资料来源上报道过，但是都被最近的研究证据所驳倒：
·百忧解、左洛复和帕罗西汀对于大部分抑郁症患者来说医疗效果要比安慰剂好得多。
·吃鱼肝油、锻炼身体、做智力游戏能有效抵抗老年痴呆症。
·麻疹疫苗可引起孤独症。
（7）研究的人为程度到底怎么样常常也会导致研究的变化。常常是为了达到控制实验的目的，使得研究失去了一部分现实世界的特征。研究的人为因素越多，就越难将研究结论推广到外部世界去。研究的人为因素问题在研究复杂的社会行为时变得尤其明显。例如，社会科学家会让人们坐在一间房间里，里面有电脑可以打游戏，主要为了测试人们的推理过程。研究人员尽力要理解为什么当人们面对不同场景时会做出不同决定。但是，我们应当问：“一边坐在电脑前一边通过假想的情境来思考，是不是太过于矫揉造作，其实根本就不能告诉我们人们在面临真实的两难处境时做出决断的方法？”
（8）对经济效益、社会地位、人身安全和其他因素的需求可能会影响到研究的结果。研究人员也是人，不是电脑，因此要他们做到百分百的客观是极其困难的。比如说，研究人员想通过他们的研究来发现某个特定结果，这样他们就会按照心中所想的来解释研究结果，以便能发现他们想要的结果。获得资助、职位或其他个人奖励，这些压力可能会最终影响到研究人员解读数据的方式。例如，一家制药公司出钱赞助一个项目，主要研究使用这家公司的药物来进行药物干预的结果，比其研究同样的药物但是受到与那家制药公司无关的资助，如联邦政府基金的资助，这项研究更倾向于得出较高比率的正面结果。
科学研究作为证据现在你发现，尽管研究证据有很多积极正面的特征，我们还是要避免过早地去拥抱研究结论。但是，你也不能仅仅因为有一丝疑云，就武断地抛弃一个建立在科学基础上的结论。“必然发生”常常只是个不可企及的目标，但并不是所有的结论都同样不可捉摸，我们应该时刻准备去拥抱其中某些结论，而抛弃其他一些结论。因此，当我们批判性地评价研究结论的时候，请小心不要犯这样的推理错误，在有些结论中强求确定性，而我们明明只能从中得出一些并不能否定这一结论的不确定性。我们把这一推理错误称为强求确定性谬误[2]（impossible certainty fallacy）。
评价科学研究的一些线索
将以下这些问题应用到科学发现中，以此来判断这些发现是不是可靠的证据。
（1）报告的资料来源的质量怎么样？通常情况下，最可靠的报告往往出自那些发表在由同行专家评定的期刊上的文章，在这些期刊中，一项研究结果只有被一系列相关专家评价过以后才会被接受。通常情况下，但也不总是这样，资料来源的声誉越好，研究设计也就越好。所以要竭尽全力找出资料来源的声誉如何。
（2）除了资料来源的质量外，交流中有没有其他的线索显示这项研究完成得很出色？比如，报告有没有详细说明这项研究有什么特别的过人之处？可惜，我们在流行杂志、报纸、电视报道和博客里遇到的绝大部分关于研究结果的报告都没有提供足够的细节来说明此项研究，以确保我们对于这项研究质量的评价。
（3）研究进行的时间离现在有多久，有没有理由让人相信研究结果可能会随着时间的流逝而发生改变？很多研究结果会随着时间的流逝而发生改变。例如，有关抑郁症、犯罪或者心脏病的起因在20世纪80年代可能和在2010年看起来大不相同。
（4）这项研究的结果有没有被其他的研究重复过？如果某一种联系总是在精密设计的研究中不断被重复并且总是前后一致地被发现——比如吸烟和癌症之间的联系——那么我们就有理由相信它，至少在那些不同意这一结论的人能提供较有说服力的证据来证明他们的观点之前，我们都会相信它。
（5）持论者在选择研究的时候是怎样精挑细选的？比如，有没有得出相反结论的相关研究被他忽略不计？研究人员是不是只选择那些支持他的观点的研究？
（6）有没有什么强势批判性思维的证据？作者或演说者对于先前那些支持他的观点的研究有没有表现出一种批判的态度？由于研究条件的限制，研究得到的大部分结论都需要进一步的证明。持论者有没有表现出要进一步加以证明的意愿？
（7）有没有理由让人蓄意要歪曲这项研究？我们要当心研究人员亟须找到特定结果的那些情况。
（8）研究的条件是不是人为制造的并因此遭到扭曲变形？记住一定要问一声：“研究进行的客观条件和研究者概括的情境到底有多少相似之处？”
（9）根据研究样本，我们概括的范围到底有多大？因为这个问题非常重要，我们将在下一部分深入讨论。
（10）研究人员所使用的调查报告、问卷调查、等级评定或其他测量结果有没有偏见或者歪曲的现象存在？我们应该相信研究人员想要测量的东西他们一定会测量得准确无误。但是片面的调查报告和问卷调查这一问题在科学研究中简直无孔不入，我们只有在后面部分详细加以讨论。
[1]/"Lies, Damned Lies, and Medical Science/"，November 2010，Atlantic Magazine.
[2]强求确定性谬误指认为一个研究结论如果不是百分百确定的话就应该被抛弃。