改变战争历程的秘密统计学家们
统计学家们的眼光很贼,他们洞悉一切,你看到的和看不到的秘密。这里是关于统计学家改变战争历程的三个小故事。
故事一:坠落的飞机不说话(幸存者偏差)
这是迄今为止,最牛逼的统计学家团队。
哥伦比亚大学旁,哈林的一个秘密公寓,这里汇聚着全美国最受尊敬的18名数学家和统计学家,他们做一件事:通过统计学分析来降低战损。
他们从位于 Haelem 的一个秘密公寓经营,这是哥伦比亚大学 401 WEST 118th Street 的一个街区。这间公寓里住着18名美国最受人尊敬的数学家和统计学家,精神充沛地收集并分析数据,第二次世界大战期间,他们对华盛顿 DC 在军用飞机上的分析结果引起了海军上将和海军陆战队、空军将军的反思。SRG的主任 Allen Wallis 说他们的团队“这肯定是成就最为非凡的统计学家团队。”
他们的影响是难以估量的。
在1944年12月的坦克大决战期间,几名高级军官从战场飞往华盛顿,花了一整天的时间来讨论向地面部队发射空中炮弹的引信最佳设置,然后飞回战场,这样他们就能立刻把分析结果投入战争应用,除此之外,弗里德曼早期对于熔断器的研究给了他关于引信的实际情况丰富和准确的知识。弗里德曼回忆录:两个幸运的人
响应为祖国服务的号召,这些人中的许多都举家搬到曼哈顿。其中最主要的一个角色,亚伯拉罕·沃尔德 ,一名罗马尼亚神童,他的父母在家教他。之后在1931年,他获得了维也纳大学的数学博士。1938年,他逃离了奥地利的纳粹,来到纽约,开始在哥伦比亚大学教授统计学。
此后不久, SRG 招募沃尔德加入。美国空军迫切需要解决一个关键问题。在欧洲和太平洋地区的盟军飞机正在以惊人的速度被击落。在这场战争期间,超过43581架飞机可能会因为德国和日本的对空高射炮坠毁。1943年8月的一次由376架飞机发起的空袭中,60架 B-17s被击落。损失率是如此之高,以致于统计上不可能让一名军人在欧洲执行任务25次。
飞行员们面临着不可能完成的任务, SRG 让 Wald 为飞行在敌人领土上空的飞机设计和开发新的装甲防护。空军想加强飞机,但只能对飞机的一小部分进行装甲强化。因为每磅装甲会减少一磅炸弹的有效荷载能力,降低战队的攻击能力。
为了帮助分析,空军为 Wald 提供来自前线的数据,士兵们记录了在机身、机翼和返回基地的所有飞机上弹孔的数量和位置。返回的轰炸机伤痕集中在尾炮和机翼,所以,空军高层建议加强对这些伤痕累累部位的装甲。
沃尔德激烈反对。
返回的飞机的标记也显示出这是飞机最强大的地方,这些部位能承受伤害并依然能返回基地。机身和机翼最不需要装甲加强,这些飞机的这两个部位遭受伤害并返回基地,所以沃尔德认为这些部位并不是需要加强的关键。
有成千上万的飞机没有飞回来,因为它们被击中其他地方:发动机,尾部和驾驶舱。这些部位更应该被重点保护。
美国空军的疏忽被称为生存偏差,这是一种困扰所有领域数据分析师的认知偏差。
这是我碰到的使用统计数据并理解统计偏差的重要性时最难忘的故事。
故事二:统计学驱动的决策优化
1941年3月,英国空军上将鲍希尔听从科学家们的建议,成立了一个由专家组成的“作战研究小组”,共同商讨装备使用的最佳对策。当时,英国皇家空军用来攻击德国潜艇的深水炸弹,命中率只有2%左右,有人提出应尽快研制新的命中率高的炸弹,有人则认为应好好研究使用方法。众说纷纭,决策者进退两难。
数理统计学家威廉斯教授在研究工作中,从空军驾驶员记录的大量数据中发现,大约有40%的飞机在看到潜艇或潜艇刚刚下潜约15秒,下潜深度只有20-30英尺时,就投放了深水炸弹。而深水炸弹都是在100-200英尺的深度爆炸。威廉斯认为问题是出在定深标准上,因为炸弹在100-200英尺的深度爆炸时,潜艇还没有下潜到这样的深度,当然也就炸不着了。所以他建议,重新制定深水炸弹的定深标准,同时把攻击的重点放在刚能看见和下潜不到15秒的那些潜艇上。鲍希尔采纳了这一意见后,使皇家空军击沉德国潜艇的数量,一下子提供了5倍多。
故事三:正态分布的小故事
由于战争,德国有一个时期物资特别紧缺,对面包实行配给制:政府把面粉发给指定的面包房,面包师傅烤好了面包再发给居民。
有一个统计学家,怀疑他所在区域的面包师傅私扣面粉,于是就天天称自己的面包。几个月以后,他去找面包师傅,说:“政府规定配给的面包是400克,因为模具和其他因素,你做的面包可能是398、399克,也可能是401、402克,但是按照统计学的正态分布原理,这么多天的面包重量平均应该等于400克,可是你给我的面包平均重量是398克。我有理由怀疑是你使用较小的模具,私吞了面粉。”面包师傅承认确实私吞了面粉,并再三道歉保证马上更换正常的模具。
又过了几个月,统计学家又去找这个面包师傅,说:“虽然这几个月你给我的面包都在400克以上,但是这可能是因为你没有私吞面粉,也可能是因为你从面包里特意挑大的给我。同样根据正态分布原理,这么多天不可能没有低于400克的面包,所以我认为你只是特意给了我比较大的面包,而不是更换了正常的模具。我会立刻要求政府检查你的模具。”面包师傅只好当众认错道歉,接受处罚。
写在最后
统计学家们的存在,大概是为了发现我们普通人发现不了的秘密。曾经,统计学家们改变了战争历程,在今天的产品战争里,统计学和数据科学家们正在改变产品历程。
本文作者 :Zoran @ 吆喝科技 (微信:appadhoc),参考文章:http://tomtunguz.com/clandestine-statisticians/