接去年的概率阅读总结系列,本文简单总结“幸存者偏见”的相关知识。
截止目前,我已经整理了6篇“概率总结”文章,希望用这样的方法,让自己理解得更深入。
- 概率阅读总结1:生活中的概率现象
- 概率阅读总结2: 期望值
- 统计主题阅读3:两种推理方法之一——统计推断
- 统计主题阅读4:两种推理方法之二——贝叶斯推理-1
- 概率阅读总结5:贝叶斯推理-2
- 概率阅读总结:小概率事件
什么是幸存者偏差 Survivorship Bias
“幸存者偏见”,如名字所描述,我们只关注了看得见的幸存者,却忽视了看不见的不幸人群。“幸存与不幸”,也可以泛指“成功与失败”,“短期与长期”,“局部与整体”。
从思维的角度看,借鉴《beyond feelings》的核心观点,我们在思维上翻了两个重大错误之一,即blind spot,,当然这儿是局部的blind。(PS另一个核心错误是ego) 借用一个成语,就是“一叶障目”。 反过来说,正确的思维应该是长期思维和整体思维,这就是《一课经济学》——经济学和生活智慧的观点!
从概率和统计的角度看,“幸存者偏见”代表带有偏差的样本,即抽样调查不能反映整体情况,这是“收集数据”阶段的大忌! 数据收集阶段就出了问题,后续的数据分析和结论,自然就不准确了。
最近刚读完的《原因与结果的经济学》提到了三个判断因果关系是否成立的问题,第一个是“是否源自巧合”,如果我们只看到了“巧合发生的两个事情”,而忽略了更多的事情,那就会被这巧合误解,导致“幸存者偏见”,此时就把“相关关系”视为“因果关系”了。比如 美国股市 有 “吉卜力的诅咒”,即只要日本的电视台播出宫崎骏导演领导的吉卜力工作室的电影,美国股市就会下跌。这和《统计学的世界》中的“圣经密码”如出一辙啊,吉卜力恰好如此,千千万万的其他工作室的电影却没有这种“幸运“,千千万万的牧师名称也没有在《圣经》中被预言,这才是真实、完整的世界啊。
幸存者偏见会导致什么结果?
- 导致错误的决策,认为自己持有完整的信息,比如最经典的“返航的飞机”案例,如果自己遇到类似的事情,是否能做出正确的决策。 这不也是学习概率知识的目的吗。
- 错把侥幸和运气视为必然和努力的结果。这也是看不到整体的结果之一,因为我们只关注成功的人,或者自己就是那个很幸运的成功人士,却不关注更多的失败案例。如果周围的几个创业者都成功了,就可能认为自己也会如此。
- 过度自信/Ego。
When we only pay attention to those who survive, we fail to account for base rates and end up misunderstanding how selection processes actually work.
Survivorship Bias: The Tale of Forgotten Failures — From the FS Latticework of Mental Models, survivorship bias is a common logical error that distorts our understanding of the world. It happens when we assume that success tells the whole story and we don’t adequately consider past failures. When we only pay attention to those who survive, we fail to account for base rates and end up misunderstanding how selection processes actually work.——FS blog
图书中的例子:
- 最经典的案例:根据返航飞机上的弹孔分布,决定加固飞机的哪个部位。我们容易只关注“返航的飞机”而忽视“被敌人击落的飞机”,导致结论正好想法。(这是2018年的高考语文题目,不知道高三学生能从概率的角度写篇议论文,是否可以得满分啊。)
- 斯德哥尔摩股票经纪人!也是相当经典的案例,忘了是哪本书上的了。 一个经纪人给10000人发邮件推荐股票A上涨,一半人收到看涨消息,一半人收到看跌消息;假如第二天股票上涨了,继续给收到看涨消息的人推荐股票;以此类推,几天下来,剩下几个人发现“这个经纪人很厉害啊!”而心甘情愿掏出自己的财产请他打理。 在互联网时代,这个战术更容易实现了。
- 高收益的基金! 基金经理打点10个基金,有的收益率太差而被提前清盘,于是就鼓吹自己的某某某基金连续跑赢故事云云,一样的套路。
- 学术论文的实验可重复性! 学者倾向于发表“正面实验结果”,所以如果有10个人做一个测试,如果8个人得到的是负面的结论,就束之高阁,而剩下的2两个学者“恰好”得到了“想要的实验数据”,于是就发表论文了。 但学者不一定是造假,只不过不知不觉中在寻找自己想要的结论。
- “发明的马拉松”!很多发明都是一个逐渐积累和不多试错的过程,最后“侥幸”找到宝藏的人,“站在前人的肩膀上”,因为前人帮他排除了很多选项,但找到宝藏的人获得了所有的荣誉,获得了源源不断的资金支持,但谁知道他是否依然“富有创造力”呢? 确实认很多院士学者是学霸,但也有一些是来自“幸存者偏见”的运气。 当然这儿还有很多其他原因,这儿暂略。
- 在《统计学的世界》中,作者指出,棒球运动员中的“巧合”高手的概率是0.025, 每年100位运动员中,有两三人因为运气成为所谓的”高手”,下一个赛季就会“回归均值”。 上面说的学者中也肯定有这样的“巧合学者”吧。
生活中的例子:
- 比如19年初股市向好,某人说某某某配资炒股赚了多少多少,言辞之中多么羡慕,引得别人跃跃欲试,可是他只关注了周围的配资炒股大赚的,没有关注那些配资失败身家荡产者(股灾那段时间,多少人打回原形,倾家荡产呢)。所以这里既要比较少数人和多数人,又要比较“此时”与“彼时”。
- 朋友给我讲过一个段子,很多富人吹嘘自己多厉害,其实更多是因为赶上了改革开放的东风,形势喜人,鸡犬升天而已,就像比尔盖茨赶上了电脑时代,没有他创造windows,也可能有另外一个人创造另外一个图形界面操作系统。
- 有的医生医术高明,真的能治疗很多别人束手无策的疾病,比如白血病,肝硬化等。当然也有些庸医“恰好”治好了一个重症病人,就大肆宣传自己医术多高明,那就犯了“幸存者偏见”的错误了。所以不能只听别人说,还要多调查了解,才能知道以为医生的“整体治愈率”。
- 换个广告的例子,如果一个培训班一不小心培训出了学生考上了清华大学,那就大肆宣传自己培训机构能力多强,这也是典型的“能力错觉”。
- 有些人被劝少抽烟,他可能说“谁谁谁抽了一辈子烟,都活到八十岁!”,这也是典型的“幸存者偏见”。展开阅读见知识分子:菠萝:中国患者浪费很多钱,提到 抽烟和肺癌的相关性,老百姓只看现象不看整体,只看到了一个隔壁老王抽烟活到九十多,却不知道五个隔壁老王因为抽烟得肺癌早早离开人世。
推荐相关文章:
- 语文数学不分家,什么是幸存者偏见?
用通俗易懂的语言把“返航的飞机”这个经典案例讲了一遍,强调要看整体样本而非部分,避免幸存者偏见。 - 什么是幸存者偏见?如何应对?
- 传奇往往都是传说:重在积累和等待 · 微思考
- 思维的误区:幸存者偏见——顺便推荐巴菲特最著名的演讲
- Survivorship Bias: The Tale of Forgotten Failures (FS blog)
2019.12.17 简单梳理草稿内容
2020.2.10 直接在wordpress草稿中,重新梳理本文内容并发布,耗时1h