首页 百科知识 投向统计学的炸弹

投向统计学的炸弹

时间:2022-03-18 百科知识 版权反馈
【摘要】:如表11.6所示.表11.6 两次新药试验数据合并后的结果虽然在两次试验中新药都确实比安慰剂成功,但是将这两次试验数据合并起来后,服用安慰剂的患者竟然比服新药的患者更成功!
投向统计学的炸弹_统计中的智慧

在对数据进行分析时,有时会得到一些似是而非,或者似非而是的结论,对这种现象进行研究,可以进一步提高我们对统计分析的认识.

例1 美国某大学的两个学院:法学院和商学院.新学期招生后,有人分别对这两个学院的男女生录取情况进行统计,结果如表11.1、表11.2所示.

表11.1 法学院男女生录取情况

表11.2 商学院男女生录取情况

从表11.1、表11.2中可以看出,女生在这两个学院的录取率都远高于男生.于是许多未录取的男生就聚集起来,抗议校方在录取中有性别歧视.

可是,当校方将两个学院的录取数据汇总后,得到的结果却是:女生的录取率显著低于男生.如表11.3所示.

表11.3 两个学院男女生录取情况汇总

面对这个意外的结果,抗议的男生们惊得目瞪口呆,不知如何应对.怎么可能在每个学院里的女生录取率都比较高的情况下,总体的女生录取率反而会比较低呢?

例2 某药物研究所研制出一种新药,为了检验此药是否真正有效,研究人员抽取了140名相关患者进行试验.在试验中,他们将患者分成试验组和对照组,给试验组患者服用新药,给对照组患者服用不含任何药物的药片,即“安慰剂”.试验结果如表11.4所示.

表11.4 第一次新药试验结果

试验结果表明,服用新药的试验组患者的成功率高于服用安慰剂的对照组,即新药确有一定的疗效.

因为药品事关患者的生命健康,为慎重起见,研究人员选取更多的患者重复进行这一试验.所得结果见表11.5.

表11.5 第二次新药试验结果

服用新药的患者的成功率又一次超过服用安慰剂的患者.研究人员确认他们研制的新药是有效的,于是决定将这两次试验的数据合并起来向社会公布研究结果.但是,出现在他们面前的竟是一个意想不到的结果!如表11.6所示.

表11.6 两次新药试验数据合并后的结果

虽然在两次试验中新药都确实比安慰剂成功,但是将这两次试验数据合并起来后,服用安慰剂的患者竟然比服新药的患者更成功!这个结果太令人惊奇了.

不难看出,上面两个例子反映的问题是相同的.它们表明:在某些情况下,在分组比较中都占优(劣)势的一方,在合并后的总评中反而会成为劣(优)势的一方!在20世纪初,就已经有学者讨论过这类现象.但是一直到1951年,在英国统计学家E·H·辛普森(Edward H.Simpson,1922—)发表的论文中,该现象才正式被描述解释.因此,后来人们将这类现象称为“辛普森悖论”.这是统计学中非常著名的一个悖论.

经过仔细分析可以知道,导致辛普森悖论的前提有两个,下面结合例1的情景进行说明.

(1)两个分组,法学院和商学院的申请人数和录取率相差都很大.法学院的申请人数为205人,商学院的申请人数为352人,法学院的录取率28.8%也远低于商学院的83.2%.另一方面,男女生申请者在两个学院的分布比重不同,女生偏爱申请法学院,而男生偏爱商学院.结果在数量上,录取率低的法学院,因为男生申请人数少,所以不录取的男生也少;而录取率很高的商学院,则因为男生申请人数也多,所以录取了很多男生,这样就使得最后在两院录取数据汇总时,男生在数量上占了优势.

(2)性别并非决定录取率高低的唯一因素,甚至可能没有影响.发生在两个学院之间的男女生录取率差异可能是随机事件,有可能是其他因素所引起的,例如根据学生的入学成绩正好出现这种录取比例.因此片面认为这是由于性别差异而造成的只能是牵强附会.

有一个简单的例子可以使人更好地理解辛普森悖论.有两个人欲比赛100场乒乓球,最后以总胜率评价胜负.某甲专找高手挑战15场,胜1场;另外85场找一般水平的选手比赛,胜40场;最后总胜率为41%.某乙则找高手挑战85场,胜10场;其余15场与一般选手比赛,获全胜;最后总胜率为25%,远低于某甲的41%.明眼人一看便知,某乙实际上具有更强的实力.

为了避免出现辛普森悖论,需要斟酌分组的权重,并配以一定的系数去消除因分组基数的差异所产生的影响.同时,还必须分析问题所涉及的情景是否存在其他潜在的重要因素,如有,应一并进行综合考虑.

在赵小平教授主编的《现代数学大观》一书中,有一个通过寻找潜在因素避免辛普森悖论的实例,现介绍如下.

例3 表11.7所示是1976—1977年,在美国佛罗里达州29个地区发生的杀人案件中,被告肤色与是否被判死刑的调查情况.

从表11.7中可以看出,白人被判死刑的比例比较高,这与当时美国社会的实际情况不符合.后来,人们除了考虑被告人的肤色外,还考虑被害人的肤色,于是得到表11.8.

表11.7 被告肤色与是否判死刑的情况

表11.8 被害、被告肤色与是否判死刑的情况

当被害人为白人时,白人被告被判死刑的比例是12.6%,而黑人被告被判死刑的比例是17.5%.当被害人为黑人时,白人被判死刑的比例是0,而黑人被判死刑的比例是5.8%.因此,不论被害人是白人还是黑人,白人被告被判死刑的比例都要低于黑人被告被判死刑的比例.这说明,在美国当时确有不利于黑人的种族歧视,死刑判决与被害人的肤色有关.

对同一个问题,我们得到了下面两个不同的结论:

结论1 白人被判死刑的比例大于黑人被判死刑的比例.

结论2 当被害人是白人时,白人被告被判死刑的比例小于黑人被告被判死刑的比例;当被害人是黑人时,白人被告被判死刑的比例也小于黑人被告被判死刑的比例.

这个问题正是辛普森悖论的有关实例.显然,结论2符合美国当时的社会现实,而结论1是误导出来的结论.在导致结论1产生的表11.7中,只考虑被告的肤色与是否被判死刑的关系,忽略了被害人的肤色这个隐蔽在问题中的重要因素,正是这个潜在因素误导了统计分析.为了避免这种现象发生,寻找隐藏在问题中的混杂因素就成为关键.这除了依靠统计学方法外,还需要借助相关的专业知识.在找到隐藏的混杂因素以后,一般的处理方法是对混杂因素的每一个值都编制一张表.在例3中就是根据混杂因素,即被害人的肤色,按被害人是白人时和被害人是黑人时编制两张表.表11.8实际上是由这两张表拼接起来的.然后对这些表进行比较分析.这种方法称为控制混杂因素.

我们也可以将被告的肤色作为控制因素,于是可得到表11.9.

表11.9 被告、被害人肤色与是否判死刑的情况

从表11.9中可以看出,不论被告的肤色如何,当被害人是白人时,被告被判死刑的比例都明显高于被害人是黑人时的比例.

如果去掉被告的肤色这个属性,可以得到表11.10.

表11.10 被害人肤色与是否判死刑的情况

表11.10也说明,当被害人是白人时,被告被判死刑的比例显著高于被害人是黑人时被告被判死刑的比例,这与由表11.9所得到的结论相同.这时辛普森悖论不再成立.

通过这个例子可以看到,使用统计方法解决实际问题时,首先要了解问题的背景和研究目的,才能对统计数据作出符合实际的分析和解释.此外,这需要借助生活经验和相关的专业知识.例如,有统计数据表明,铀矿工人的平均寿命并不比常人短;可是常识告诉我们,放射性物质对人体有很大的伤害.这就是流行病学中有名的“健康工人效应”(health worker effect).事实上,铀矿工人通常都是一些身强力壮的人,如果不在铀矿工作寿命会更长.了解到这个事实背景,你就不会仅凭上述数据作出“铀矿工作对人体健康没有影响”的错误判断.

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈