幸存者偏差
概览
| 类别 | 详细信息 |
|---|---|
| 定义 | 集中关注在选择过程中“幸存”下来的人、事物或数据点,而忽略那些因为缺乏可见性而未幸存下来的人、事物或数据点的系统性逻辑错误。 |
| 分类 | 缺乏意义 (当存在空白时,我们会用刻板印象、一般规律和过往历史来填补特征) |
| 克服难度 | 非常困难 |
| 普遍程度 | 普遍存在 |
| 相关偏见 | 可得性启发式、乐观偏见、选择偏见、确认偏见、后视偏见 |
1. 快速总结
当我们分析成功时,我们只看到了赢家:蓬勃发展的公司、屹立不倒的建筑、功成名就的人。我们从未看到失败,因为它们已经消失了。这制造出一幅危险失真的现实图景,其中我们高估了自己成功的几率,错误地识别了导致成功的原因,并从不完整的数据中得出结论。最关键的信息几乎总是那些缺失的信息。
2. 科学背景
2.1. 发现与历史
人们对幸存者偏差的认识比现代统计学早了两千多年,尽管其正式的数学处理是在二战期间才出现的。
古代起源 (公元前5世纪): 最早有记载的观察来自米洛斯的迪亚戈拉斯 (Diagoras of Melos),一位希腊诗人和著名的无神论者。当有人向他展示那些在海难中幸存下来的崇拜者所画的祈愿板,作为神圣干预的证据时,迪亚戈拉斯说了一句著名的话:“我看到了那些得救的人,但是那些遭遇海难的人被画在哪里呢?”西塞罗在《神性论》中保留了这段轶事,它捕捉了这种偏见的整个机制:幸存者是可见和发声的;而死者是沉默的。
文艺复兴时期的形式化 (17世纪): 弗朗西斯·培根将这一观察纳入他的“心智假象”理论,特别是“种族假象”。他指出,人类智力更容易被肯定而非否定所打动——成功被记录下来,而失败则从记录中消失。
二战期间的数学处理 (1943年): 亚伯拉罕·沃尔德 (Abraham Wald) 在哥伦比亚大学统计研究小组的工作为解决幸存者偏差提供了第一个严格的数学框架,永远改变了运筹学和军事战略。
金融经济学革命 (20世纪90年代): 包括布朗、戈茨曼、埃尔顿、格鲁伯和布莱克在内的研究人员量化了这种偏差对共同基金和对冲基金业绩数据的影响,揭示了它对投资分析的重大影响。
流行哲学 (21世纪初): 纳西姆·尼古拉斯·塔勒布 (Nassim Nicholas Taleb) 在《随机漫步的傻瓜》(2001) 和《黑天鹅》(2007) 中,将幸存者偏差从一个统计学概念提升为一种哲学世界观。
2.2. 主要研究者
| 研究者 | 贡献 | 年份 |
|---|---|---|
| 米洛斯的迪亚戈拉斯 | 首次记录了对该偏差的观察(海难幸存者) | 约公元前450年 |
| 弗朗西斯·培根 | 整合到“心智假象”理论中 | 1620 |
| 亚伯拉罕·沃尔德 | 飞机脆弱性分析的数学处理 | 1943 |
| 斯蒂芬·布朗 & 威廉·戈茨曼 | 量化了共同基金业绩研究中的偏差 | 1992 |
| 埃德温·埃尔顿、马丁·格鲁伯 & 克里斯托弗·布莱克 | 估计了共同基金中偏差的年度幅度(约0.9%) | 1996 |
| 伯顿·麦尔基尔 | 估计了对冲基金的幸存者偏差(每年约4.4%) | 1995 |
| 纳西姆·尼古拉斯·塔勒布 | 通过“沉默的证据”概念进行哲学普及 | 2001-2007 |
| 詹姆斯·赫克曼 | 解决选择偏见的赫克曼修正法(诺贝尔奖级工作) | 2000 |
2.3. 里程碑式研究
飞机脆弱性分析 (Wald, 1943)
二战期间,统计研究小组被要求确定应该在轰炸机的哪些部位放置装甲。军方提供的数据显示了返航飞机上的弹孔集中情况:机身、机翼和尾部损伤严重,但发动机和驾驶舱损伤极小。
军方直觉上的结论是在被击中次数最多的区域加装装甲。沃尔德反直觉的洞见完全推翻了这一建议:在发动机和驾驶舱,也就是没有观察到损伤的区域,加装装甲。
他的推理是:敌人的火力很可能是随机分布在飞机各处的。发动机上“缺失”的弹孔并不是发动机没有被击中的证据,而是飞机在发动机被击中后无法返航的证据。军方一直在检查可以幸存的损伤,而不是致命的损伤。
沃尔德在他的备忘录《一种基于幸存飞机损伤的飞机脆弱性评估方法》中将其形式化,确立了幸存者身上观察到的命中密度与该区域命中的致死率成反比。
共同基金的幸存者偏差 (Brown, Goetzmann, et al., 1992)
发表在《金融研究评论》上的这篇论文表明,标准金融数据库系统性地删除了清算或合并基金的记录。由于基金几乎总是因为业绩不佳而被清算,这种截断产生了一种统计海市蜃楼:它使得基金的平均业绩看起来比实际好,并在波动性和回报率之间创造了虚假的相关性,从而模仿了本不存在的“技能”。
幸存者偏差与共同基金业绩 (Elton, Gruber & Blake, 1996)
这项具有里程碑意义的研究追踪了截至1976年底存在的所有共同基金。主要发现:
- 幸存者偏差使年回报率虚高了约0.9%(90个基点)
- 小基金的偏差明显大于大基金
- 合并的基金(通常是在大基金中隐藏不良记录)和清算的基金都导致了这种偏差
这些发现一旦排除了偏差,就为有效市场假说提供了强有力的实证支持。
2.4. 神经学基础
幸存者偏差源于人类认知的基本特征:
系统1思维: 丹尼尔·卡尼曼的“快思考”系统将“容易回忆”与“发生频率”混为一谈。因为成功的例子(史蒂夫·乔布斯、比尔·盖茨)很容易被回想起,我们凭直觉赋予类似结果的概率高于基础概率所保证的。
可得性启发式: 大脑在评估决策时依赖于立即可用的例子。成功在本质上更具“可得性”——成功的公司在证券交易所上市,而失败的公司退市;成功的建筑屹立不倒,而倒塌的建筑被替换。
模式识别的局限性: 人类大脑进化出了从感知到的数据中提取因果叙事的能力,但无法处理缺失的数据。这个基本的局限性,即我们只能分析我们能看到的东西,正是幸存者偏差的神经学基础。
乐观偏见的相互作用: 与自我评估相关的神经回路倾向于乐观。在查看存在幸存者偏差的数据时,这些回路鼓励与赢家认同,而不是与占多数的沉默的失败者认同,从而强化了高风险行为。
3. 进化起源
幸存者偏差深深植根于我们的进化遗产:人脑是一部模式识别引擎,运行在速度往往胜过精度的环境中。
祖先环境中的适应性价值: 对于我们的祖先来说,关注成功的策略是有道理的。如果一种狩猎技术、迁徙路线或食物来源产生了幸存者,那么它就值得模仿。那些失败的人,那些尝试了不同方法并死去的人,无法提供咨询。从可见的成功中学习是一种快速、高效的启发式方法。
能量保存: 大脑消耗我们大约20%的代谢能量。分析缺失的数据,想象所有我们看不见的失败,在认知上是极其昂贵的。进化偏爱那些能有效处理可用信息的大脑,而不是详尽地模拟看不见的替代方案的大脑。
是特征,不是缺陷: 在环境相对稳定且结果立即可见的祖先环境中,基于幸存者偏差的学习通常已经足够好了。如果你的邻居使用某种特定的避难所设计熬过了冬天,复制它是合理的。只有在复杂的现代环境中,当失败被系统性地隐藏,且“幸存者”样本极具欺骗性时,这种偏差才会成为问题。
可得性错配: 我们的大脑在小群体中进化,在那里大多数相关事件都可以直接观察到。在现代社会中,我们遇到的信息经过了多层选择(媒体、市场、历史)的过滤,这使得我们基于可得性的直觉系统性地产生误导。
4. 这种偏差如何表现
4.1. 在日常生活中
“现在的质量大不如前”: 罗马万神殿、维多利亚时代的红木家具以及“仍在使用”的20世纪50年代的电器,都是经过几个世纪的破坏后幸存下来的统计异常值。倒塌的劣质罗马廉租房、腐烂的廉价维多利亚时代家具以及垃圾填埋场里坏掉的50年代电器都是不可见的。我们是在用过去最好的与现在的平均水平进行比较。
“经典”音乐的谬误: 人们声称20世纪60-70年代的音乐更优秀,因为“那个时代所有的歌曲都是经典”。这忽略了有成千上万的衍生、制作糟糕的歌曲被发行——广播电台只播放幸存下来的那1%的红歌。我们是在用经过过滤的过去最好的音乐与当今100%的输出进行比较。
来自幸福情侣的恋爱建议: 在寻求恋爱建议时,我们通常会咨询那些仍然在一起的情侣。我们很少听到那些尝试了相同方法并以离婚告终的人的说法,他们可能正是遵循了导致失败的建议。
餐厅推荐: 一个城市里受欢迎的餐厅,根据定义,都是幸存者。成千上万倒闭的餐厅——可能有着相同的策略——已经关门,无法警告我们哪些行不通。
4.2. 在工作场所中
大学辍学神话: 媒体强调盖茨、乔布斯和扎克伯格等亿万富翁,作为辍学导致成功的证据。这忽略了成千上万背负债务和终生收入较低的辍学者。辍学成功的基准率在统计上低于毕业生;那些著名的例子是极端的异常值。
“我如何成功”的文学作品: 正如纳西姆·塔勒布指出的那样,失败的企业家不会写名为《我如何使我的创业公司破产》的书。成功的企业家会写《我是如何做到的》,他们的建议(冒大风险、忽略批评)可能正是导致失败者失败的完全相同的行为。
基于“成功”档案的招聘: 公司通常根据表现最好的员工的特征来创建招聘档案。但他们缺乏可能表现同样出色的被拒候选人的数据,或者受雇后有着类似特征但失败并离开的人的数据。
绩效归因错误: 当分析某些项目为何成功时,组织会研究成功的团队。他们无法研究那些被放弃、重组或成员离开的失败项目——结果可能会发现这两个阵营存在相同的“成功因素”。
4.3. 在商业和营销中
创业“成功公式”: 建议行业是一个由幸存者经营的垄断行业。“努力工作”、“坚持不懈”和“对质量的痴迷”出现在成功企业家的故事中,但对失败企业家的调查可能也会发现相同的特征。区分因素通常是运气、时机或外部事件。
产品推荐: 营销展示的是满意的客户。那些流失、要求退款或只是消失的不满意的客户,在叙述中是不存在的,这扭曲了人们对产品有效性的感知。
竞争标杆分析: 公司以成功的竞争对手为标杆,学习他们的策略。但尝试过类似策略却失败的公司已经被收购、解散或转型——它们不成功的策略是无法进行分析的。
4.4. 在政治和媒体中
历史叙事建构: 历史由幸存者书写,将他们的观点呈现为决定性的。失败者、死亡者或被边缘化者提出的观点、警告和替代方案,被系统性地排除在集体记忆之外。
新闻幸存者: 媒体报道的是在编辑选择中幸存下来的故事。成千上万同等具有新闻价值的事件未被报道,这塑造了公众对存在什么问题以及哪些解决方案有效的认知。
政治战略“教训”: 政治分析师研究获胜的竞选活动以提取成功因素。但使用了相同策略却失败的竞选活动受到的关注较少,这可能会导致有缺陷的战略建议。
4.5. 在医疗保健中
一战头盔悖论: 一战引入钢盔时,野战医院报告说头部受伤的情况急剧增加。有人认为头盔有缺陷。实际情况是:在有头盔之前,头部中弹的士兵会当场死亡(记录为阵亡,从未到达医院)。头盔将致命伤转化为可治疗的伤害,使得头部受伤在数据中首次变得可见。
猫的高楼综合症: 1987年的一项兽医研究发现,从7层以上坠落的猫受的伤,比从5-7层坠落的猫受的伤要少,表明更高的坠落“更安全”。偏差在于:该数据集仅包含被送到兽医那里的猫。从30层楼摔下来当场死亡的猫被埋葬了,没有接受治疗——这造成了高空坠落安全的错觉。
“健康工人效应”: 研究通常表明,产业工人的死亡率低于一般人群——这不是因为工厂工作健康,而是因为劳动力排除了残疾人、卧病在床者和绝症患者。工人是预先筛选的幸存者。
创伤死亡率统计: 偏远地区事故受害者的院内死亡率有时低于城市受害者。实际情况:受重伤的偏远地区患者在长途运输中死亡,抵达时即为“入院前死亡”,被排除在医院统计之外。城市医院接收活着的危重患者,然后他们死在医院里,这推高了城市的死亡率。
4.6. 在金融和投资中
共同基金业绩: 标准数据库删除了已清算基金的记录。由于基金因业绩不佳而清算,数据库正在清除失败者,使得平均基金业绩看起来比实际每年高约0.9%。
对冲基金数据: 对冲基金是自愿报告的,这引入了双重偏见:幸存者偏差(失败的基金停止报告)和回填/即时历史偏差(成功的基金开始报告并回填他们幸运的早年数据;早年不成功的基金从不报告并解散)。麦尔基尔估计,这种综合偏差会导致年回报率虚高约4.4%。
标普500指数回溯测试: 随着破产公司被剔除和成长型公司被加入,指数构成也会发生变化。使用当前标普500指数名单进行的回溯测试获得了不切实际的回报,因为它无意中确保了100%的存活率——在测试期间倒闭的每家公司都被排除在外了。
“热手”错觉: 早期研究表明,基金经理可以持续击败市场。当布朗和戈茨曼纠正了幸存者偏差后,这种明显的技能大部分消失了——“热手”在很大程度上是随机分布的尾端。
5. 现实世界案例研究
案例研究 1:轰炸机装甲决策(二战)
-
背景: 盟军轰炸机在敌方火力下损失惨重,导致军方提议用装甲板加固飞机。然而,装甲增加了重量,减少了航程、机动性和载弹量——必须将它放在最理想的位置。
-
发生了什么: 军方收集了大量关于执行任务返航的轰炸机上弹孔的数据。数据显示,机身、机翼和尾部的损伤密度很高,但发动机和驾驶舱的损伤极小。军事指挥官得出结论,装甲应该装在飞机被击中次数最多的地方。
-
偏差的体现: 亚伯拉罕·沃尔德意识到这些数据只代表了幸存者。在发动机和驾驶舱被击中的飞机没有返航——它们坠毁在英吉利海峡或德国的田野里。“缺失的”弹孔不是发动机没有被击中的证据;它们是发动机被击中会致命的证据。
-
后果: 沃尔德建议在发动机和驾驶舱加装装甲。他的方法拯救了无数生命和飞机,并继续在朝鲜战争和越南战争中被使用。
-
经验教训: 在分析结果时,永远要问:“我没看到的情况发生了什么?”证据的缺失本身可能就是最重要现象的证据。
案例研究 2:共同基金行业的真相启示(20世纪90年代)
-
背景: 几十年来,关于主动型基金经理是否能持续击败市场(“产生阿尔法”)的争论一直很激烈。早期研究表明他们可以。
-
发生了什么: 研究人员布朗、戈茨曼、埃尔顿、格鲁伯和布莱克发现,金融数据库经常删除清算或合并基金的记录。由于基金几乎总是因为业绩不佳而关闭,数据库正在系统性地删除失败者。
-
偏差的体现: 这种截断创造了一个统计上的海市蜃楼,其余的“幸存”基金看起来具有更高的平均回报,并显示出波动性和模仿技能的业绩之间的明显关系。
-
后果: 一旦纠正了0.9%的年度偏差,许多主动型基金经理明显跑赢大盘的情况就消失了,这为有效市场假说提供了有力的支持,并彻底改变了金融研究处理历史数据的方式。
-
经验教训: 任何具有退出、关闭或消失情况的数据集都必须分析幸存者偏差。看起来像是技巧或表现出色的情况可能是审查样本的伪影。
历史案例:迪亚戈拉斯和神庙祈愿板
古希腊诗人米洛斯的迪亚戈拉斯在神庙里被展示了祈愿板——由那些向神灵祈祷并在海难中幸存下来的水手委托绘制的画作。他的朋友把这当作神圣保护的证据。
迪亚戈拉斯的回答成为概率哲学的基础文本:“我看到了那些得救的人,但是那些遭遇海难的人被画在哪里呢?”
淹死的水手不能委托别人画画。一个只检查神庙证据的观察者会得出结论,祈祷能保证海上的安全——这个结论完全是从一个经过审查的样本中得出的,在这个样本中,提供证据的能力与生存相关。
这则有2500年历史的轶事概括了为什么幸存者偏差如此具有破坏性:幸存者是唯一能讲述他们故事的人。
6. 这种偏差的代价
6.1. 个人代价
扭曲的风险评估: 通过只看到成功的冒险者,个人低估了失败的概率。没有成为亿万富翁的大学辍学生,“做对了一切”却破产的企业家,在“稳赚不赔”的事情上失去一切的投资者——他们的经历是无形的,这导致其他人承担了没有校准好风险。
错误归因的成功因素: 人们采用幸存者的行为(坚持、冒险、自信),却没有意识到失败者身上也存在这些相同的特征。可能花费数年时间在那些从不是真正区分因素的策略上。
浪费在模仿上的资源: 遵循源自受幸存者偏差影响的数据的“成功公式”,会导致将精力投入到那些实际上并没有带来成功的方法中——只是在可见样本中与成功相关。
受损的自我形象: 当遵循源自幸存者的建议没有带来成功时,个人可能会责怪自己,而不是认识到这些建议是基于有缺陷的数据。
6.2. 职业代价
投资损失: 在金融领域,幸存者偏差被量化为大约0.9-4.4%的年度回报膨胀。根据未修正的历史数据做出决策的投资者会系统地高估预期回报并低估风险。
战略误导: 通过研究成功的公司而得出的业务战略,错过了使用了相同战略但失败的公司。资源流向那些感觉有效但可能是随机的方法。
招聘和人才决策: 基于成功员工的档案错过了可能出色的、与可见模式不同的候选人,而雇佣那些匹配的人可能会复制与实际绩效无关的特征。
产品开发失败: 从成功的产品中学习,而不研究类似的失败产品,会导致对并非实际成功因素的功能或方法的投资。
6.3. 社会代价
历史误解: 由幸存者书写的历史呈现出倾斜的视角。失败的观点、替代方法以及战败者的警告系统性地被排除在集体记忆之外。
政策误导: 基于对成功结果(经济、社会、军事)的研究,而没有考虑到具有类似特征的失败的政策,会导致有缺陷的干预措施。
文化造神: 由幸存者偏差放大的“白手起家的成功”叙事,掩盖了运气、时机和环境的作用,塑造了人们对不平等和阶层流动性的态度。
医疗方案错误: 基于有幸存者偏差的数据的治疗决策,可能会忽略某些患者治疗不足的情况,或者成功的结果是不顾特定干预措施而不是因为特定干预措施而产生的。
6.4. 统计影响
| 领域 | 估计偏差影响 | 来源 |
|---|---|---|
| 共同基金 | 每年虚高约0.9%回报率 | Elton, Gruber, Blake (1996) |
| 对冲基金 | 每年虚高约4.4%回报率 | Malkiel (1995) |
| 一战头盔“受伤” | 记录的头部受伤增加100%+(实际上是拯救的生命) | 军方医疗记录 |
| 主动型基金“技能” | 很大——修正后大量明显的Alpha收益被消除 | Brown, Goetzmann et al. (1992) |
7. 隐藏的益处
幸存者偏差并不完全是负面的。它有其适应性功能,在特定情况下仍然可以提供价值。
高效的学习启发式: 在结果可直接观察的稳定环境中,向幸存者学习是快速且相对准确的。如果对你的邻居有效的大多数避难所设计对你也有用,那么复制幸存者就是有效率的。
动机功能: 一些接触成功故事的机会提供了动机和可以效仿的榜样。完全意识到所有的失败可能会让人瘫痪。关键是校准接触量,而不是消除它。
快速决策: 当速度比精度更重要时,使用现有的例子(本质上具有幸存者偏差)可能比延迟分析更好。并非每个决定都需要全面调查。
合法的模式检测: 有时幸存者特征是真正有因果关系的,而不仅仅是相关的。在失败模式是随机的、成功因素是系统性的领域里,幸存者确实携带了真实信息。
不受欢迎的极端情况: 完全消除幸存者偏差将需要在做出任何决定之前对所有可能的失败进行详尽的分析。这在认知上是不可能的,而且实际上会令人瘫痪。目标是认识到并适当修正,而不是消除。
8. 自我评估:你是否有这种偏见?
8.1. 警告标志清单
- 你经常引用成功人士(乔布斯、盖茨、马斯克)作为生活/职业策略的证据
- 你认为过去的产品/音乐/手工艺通常优于今天的
- 你经常仅基于对成功例子的研究做出重大决策
- 你很少问:“那些尝试过这种做法但失败了的人怎么了?”
- 你对历史基金/投资表现数据信以为真
- 你相信“成功有迹可循”,并且可以从赢家身上可靠地提取出来
- 你在你钦佩的成功故事中忽视运气/时机等重要因素
- 你曾根据对你有效的方法给出建议,而没有考虑那些对其无效的人
- 你觉得“我如何成功”的书籍/播客非常有说服力
- 在分析决策时,你关注结果而不是导致结果的过程
评分:
- 勾选0-2项:不易受影响
- 勾选3-5项:中度易受影响
- 勾选6-8项:高度易受影响
- 勾选9-10项:极易受影响
8.2. 自我反思问题
-
你上一次在做出重大决定之前主动寻找失败案例是什么时候?
-
想想你取得的一项成功——有多少其他人尝试了类似的方法却失败了?你真的知道吗?
-
你相信哪些“显而易见”的成功因素?你将如何检验这些因素是否也存在于失败中?
-
当你收到成功人士的建议时,你是否考虑过有多少不成功的人给出了同样的建议?
-
有人向你指出过你是根据不完整的数据得出结论的吗?你是如何回应的?
8.3. 快速诊断场景
场景: 你正在考虑创业,并读到你们行业中专注于客户服务的企业有60%撑过了前5年。这似乎是有力的证据,证明对客户服务的关注是生存的关键。
你会如何解释这个?
- A) “太棒了!我绝对应该优先考虑客户服务——数据清楚地表明它很有效。” → 高度易受影响
- B) “很有趣,但我想知道在倒闭的企业中,有多大比例也优先考虑了客户服务。” → 中度易受影响
- C) “如果不知道失败企业的客户服务率,这就什么都没告诉我。如果60%的失败企业也关注客户服务,那么这个因素就没有预测价值。” → 低度易受影响
9. 识别他人身上的这种偏见
9.1. 行为指标
在言语中:
- 频繁使用著名的成功故事作为普遍证据
- 从可见的获胜者的小样本中得出普遍规律
- 在成功叙事中忽视运气/时机因素
- 根据“什么是有效的”进行推断,而不承认看不见的失败
在决策中:
- 过度依赖成功公司/人员的案例研究
- 对基础概率和失败频率的重视不足
- 仅以成功的竞争对手为标杆
- 相信历史表现数据而不质疑数据收集方式
在争论中:
- 使用成功例子的存在作为策略有效性的证明
- 争论“X对Y有效”,而不考虑X对其无效的Z
- 将缺乏证据(没有已知的失败)解释为不存在的证据
9.2. 对话中的危险信号
人们在受到这种偏见影响时所说的话:
- “看看[著名的成功例子]——他们做了X,而且成功了!”
- “我认识的所有成功人士都有特征Y。”
- “数据显示,这种方法有着良好的记录。”
- “他们现在制造的东西大不如前了。”
- “每个伟大的公司都有这个特点。”
他们提出的论点类型:
- 从可见的成功中归纳,不考虑失败率
- 仅使用幸存案例的“举例证明”
他们避免问的问题:
- “有多少人尝试了这种方法但失败了?”
- “这项策略成功的基准率是多少?”
- “为什么我们在这个数据集中看不到失败案例?”
9.3. 情境触发因素
激活偏见的环境:
- 获取经过精心策划的成功故事(媒体、书籍、会议)
- 分析带有退出/关闭/删除机制的数据库
- 任何失败从视野中消失的评估
- 对当前市场领导者的回顾性分析
增加脆弱性的情绪状态:
- 对已经做出的决定感到乐观
- 渴望证明某种方法的合理性
- 对成功人物的钦佩
时间压力:
- 紧急情况降低了寻找反证(失败)数据的可能性
- 截止日期更倾向于使用可用的例子而不是进行详尽的搜索
10. 认知脱偏策略
10.1. 即时技巧
迪亚戈拉斯问题: 在根据成功例子做出任何决定之前,明确地问:“遭遇海难的人在哪里?”谁尝试过并失败了?为什么我看不到他们?
反转数据: 当看到幸存者特征时,在心理上构建“失败者的墓地”。失败的案例也会有这些特征吗?如果不知道,说明数据不完整。
检查基准率: 在从成功中推断之前,先估计分母。“在所有尝试过这种方法的人中,有多大比例成功了?”如果未知,承认不确定性。
失败模式清单: 列出所分析的例子可能会失败并消失的所有方式。破产的汽车公司、关闭的餐馆、清算的基金——它们都去哪儿了?
信息源质疑: 对于任何数据集,问:“退出/删除/幸存机制是什么?”失败案例是如何被移除的?这揭示了偏见的结构。
10.2. 长期策略
有意识地研究失败: 寻找事后分析、破产分析、失败的创业故事。CB Insights的《创业失败事后分析》和类似资源提供了通常缺失的沉默证据。
事前验尸实践: 在开始项目之前,进行“事前验尸”——假设项目已经失败,然后倒推找出原因。这能锻炼想象失败的心理肌肉。
概率校准: 练习在查找数据之前估计基础概率。追踪你的准确性。这能建立起一种直觉,知道可见的成功率在多大程度上夸大了真实的成功率。
历史反事实: 在研究历史时,积极思考替代路径——差点发生了什么,谁差点成功了,还有哪些其他可能的结果。纳西姆·塔勒布称之为“另类历史”。
10.3. 环境设计
数据基础设施: 使用保留了失败发生时刻记录的“时间点”数据集,而不是只显示幸存者的当前状态数据库。
失败图书馆: 组织知识管理应该归档失败的项目,而不仅仅是成功的项目。事后分析应该像成功案例研究一样容易获取。
魔鬼代言人协议: 将在战略决策中专门寻找反证证据和缺失的失败数据的角色制度化。
多元化的顾问网络: 在你的顾问圈中包括经历过失败的人。他们的观点提供了通常缺失的“沉默证据”。
10.4. 何时寻求外部意见
需要外部验证的决策类型:
- 基于历史表现数据的重大投资
- 基于竞争对手分析的战略决策
- 基于成功故事的职业/生活决策
- 基于治疗结果数据的医疗决策
向谁咨询:
- 熟悉选择偏见的统计学家
- 在你正在考虑的方法上失败过的人
- 研究特定领域失败率的研究人员
- 被指派去寻找缺失数据的魔鬼代言人
如何构建请求:
- “这里的基数是多少?”
- “那些尝试过这种方法却失败了的人怎么了?”
- “这些数据是如何收集的,什么原因导致案例消失?”
11. 实践练习
练习 1:失败者墓地漫步
- 目标: 培养对不可见失败的直觉
- 所需时间: 45分钟
- 所需材料: 互联网连接、笔记本
- 难度级别: 初学者
- 说明:
- 选择一个你感兴趣的领域(初创公司、餐厅、产品等)
- 找出该领域5个著名的成功案例
- 对于每一个成功案例,研究3个尝试过类似方法但失败的同代人
- 记录失败者与成功者共享的特征/策略
- 记录为什么失败者通常是不可见的(破产、被收购、被删除等)
- 反思问题:
- 寻找失败者有多难?
- 成功者和失败者身上都出现了哪些“成功因素”?
- 这如何改变你对成功原因的看法?
- 频率: 每月一次,尤其是在做重大决定之前
练习 2:数据集解剖
- 目标: 学会识别数据源中的幸存者偏差
- 所需时间: 60分钟
- 所需材料: 访问你正在使用的数据集(财务、商业、绩效数据)
- 难度级别: 中级
- 说明:
- 选择一个你依赖其做决策的数据集
- 记录数据收集方法
- 找出所有可能导致记录被删除的机制(关闭、合并、删除、未报告)
- 估计原群体中可能缺失了多少百分比
- 考虑缺失的数据可能与幸存的数据有什么不同
- 反思问题:
- 如果你能看到缺失的数据,会有什么改变?
- 你应该对从这些数据中得出的结论有多大信心?
- 哪些调整可能是合适的?
- 频率: 只要在利用历史数据做决策时
练习 3:事前验尸仪式
- 目标: 在失败变得不可见之前,系统地将其可视化
- 所需时间: 30分钟
- 所需材料: 纸、计时器
- 难度级别: 高级
- 说明:
- 在开始项目之前,召集团队
- 设定20分钟的计时器
- 想象现在是一年以后,项目彻底失败了
- 每个人写下失败的所有原因(首先独立完成)
- 分享并整合失败模式
- 反思问题:
- 哪些失败模式最有可能发生?
- 哪些失败不会给未来的分析师留下任何证据?
- 你怎样才能避免成为看不见的失败数据?
- 频率: 在每个重要项目开始时
每日实践
每晚的失败反思: 每天晚上,回顾你做出的一个决定,并问自己:“我没有看到哪些本应为这个决定提供信息的失败教训?”
- 建议时长: 5分钟
- 最佳时间: 晚上
- 追踪进度方法: 每天在日记中记录一个“隐藏失败”的见解
每周挑战
寻找沉默证据: 每周,选择一个你基于可见证据持有的信念,积极寻找可能反驳它的“沉默证据”。
- 4周后的预期结果: 极大地改善询问“缺失了什么”的直觉,并降低对仅凭可见数据得出的结论的信心
- 供反思的日记提示:
- 我本周审视了什么信念?
- 我发现了什么沉默的证据?
- 找到它如何改变了我的信心水平?
12. 针对特定受众
致领导者和管理者
战略规划: 在分析竞争对手的成功时,强制战略团队也研究那些使用了类似战略但失败的竞争对手。失败可能会揭示观察到的“成功因素”并不具有因果关系。
项目后分析: 像对待成功的项目一样,严谨地归档和研究失败的项目。从失败中学习通常更有价值,而且如果不刻意保存,它就会消失。
招聘决定: 对源自顶尖员工的简历要求保持谨慎。考虑一下,哪些本来能成功的候选人被拒绝了,以及哪些符合条件但后来失败离职了。
决策记录: 不仅要记录结果,还要记录决策时的信息和推理。这允许诚实的评估,即使由于离职、重组或修改而导致失败“消失”。
文化建设: 公开庆祝和讨论失败。这让它们在组织记忆中保持可见,而不是沉默。
致父母和教育工作者
教授概念: 使用迪亚戈拉斯的故事——它对孩子们来说很容易理解。问:“如果我们只听到赢家说话,我们就学不到什么?”
平衡成功故事: 在分享励志故事时,也要分享失败的故事。“很多人尝试了和她完全一样的做法,但没有成功。可能会是哪里不同呢?”
科学教育: 幸存者偏差是理解抽样、选择和实验设计的一个极好的切入点。使用二战轰炸机的例子——它既生动又反直觉。
以身作则: 分享你自己的失败,以及它们教会了你什么。让失败成为可以讨论的话题,而不是不可见的。
致医疗保健专业人员
临床试验解释: 警惕退出模式。停止治疗的患者可能在系统上与继续治疗的患者有所不同。意向治疗分析部分解决了这个问题。
历史疗法评估: 经受住“时间考验”的“传统”疗法可能仅仅是幸存者。被放弃的无效疗法没有留下任何证据。
诊断模式识别: 令人难忘的病例(记忆中的幸存者)可能无法代表基础概率。在进行模式匹配时,主动回想具有不同结果的病例。
死亡率统计: 了解“入院前死亡”的排除、转移模式和记录实践如何在其结果数据中造成幸存者偏差。
致金融专业人士
数据库卫生: 在可用时始终使用无幸存者偏差的数据库。对于标准数据库,应用已知的修正因子(例如,共同基金约为0.9%)。
客户沟通: 在展示历史业绩时,解释遗漏了什么。“该指数显示的是今天存在的公司。失败的公司不包括在内,这使得过去的业绩看起来比实际情况更好。”
对回溯测试保持怀疑: 时间点数据至关重要。任何使用当前指数构成的回溯测试实际上都达到了100%的存活率——这是一个不可能的条件。
对冲基金尽职调查: 同时考虑幸存者偏差和回填偏差。综合影响(麦尔基尔估计为约4.4%)意味着报告的平均对冲基金表现大大高估了现实。
13. 与其他偏见的相互作用
放大幸存者偏差的偏见
| 偏见 | 如何相互作用 |
|---|---|
| 可得性启发式 | 使幸存者在记忆中更加突出;失败者是双重不可见的(从数据中被删除且不易被回想起来) |
| 乐观偏见 | 鼓励对幸存者的认同,而不是对失败概率进行现实评估 |
| 确认偏见 | 导致寻找证实现有信念的成功故事,而忽略反驳的失败证据 |
| 后视偏见 | 使得幸存者的成功在事后看来似乎是“显而易见的”,掩盖了运气的作用和失败的合理性 |
| 叙事谬误 | 根据幸存者数据构建令人信服的故事,让人感觉具有解释力,但却遗漏了实际的(不可见的)因果因素 |
抵消幸存者偏差的偏见
| 偏见 | 如何提供帮助 |
|---|---|
| 悲观偏见 | 预感负面结果的自然倾向,可以平衡对可见成功的过度关注 |
| 损失厌恶 | 对潜在损失的提高关注度可能会促使寻找失败的例子 |
常见的偏见链条
成功模仿级联: 幸存者偏差(只看到赢家)→ 可得性启发式(赢家主导记忆)→ 叙事谬误(根据赢家特征构建因果故事)→ 过度自信(相信这个故事解释了成功)→ 确认偏见(寻找支持该故事的证据)→ 风险误判(低估失败概率)
中断点: 这条链条可以在叙事形成之前通过明确提出“失败者在哪里?”的问题来尽早打破。一旦构建了一个令人信服的故事,要推翻它就变得困难得多。
14. 文化视角
幸存者偏差在所有文化中都有表现,但可能会被文化背景放大或缓和。
个人主义与集体主义文化: 在高度个人主义的文化(如美国)中,“白手起家的成功”叙事尤为突出,可能会放大个人成就背景下的幸存者偏差。集体主义文化中,对内群体中失败的可见度可能更高,这在一定程度上缓和了这种偏差。
高权力距离文化: 在权力距离大的文化中,成功可能会被更多地庆祝,而失败会被隐藏起来以避免羞耻,这可能会增加结果中幸存者可见度的单一性。
风险态度: 风险承受能力较高的文化可能更容易从显眼的冒险者那里吸取教训,而厌恶风险的文化可能会自然地寻找更多的失败数据。
| 文化类型 | 表现 |
|---|---|
| 个人主义文化 | 强烈的“白手起家”成功叙事;聚焦明星企业家放大了偏见 |
| 集体主义文化 | 强调集体成功的故事;内部对于失败的认知可能适度缓和偏见 |
| 高语境文化 | 关于失败的隐性知识可能会非正式地流传,部分抵消可见成功偏见 |
| 低语境文化 | 明确且记录在案的成功案例占主导地位;只有刻意记录才会显露失败 |
15. 神话与误解
| 神话 | 现实 |
|---|---|
| “这种偏见只影响统计学和金融学” | 幸存者偏差影响着历史、医学、产品设计、职业规划、人际关系建议,以及几乎所有结果多变且失败会消失的领域 |
| “看看成功案例是无害的——最坏的情况也就是学到了好做法” | 危险的错误观点。成功的案例可能与失败案例有着共同特征,导致错误归因以及模仿并非导致成功的因素的危险行为 |
| “如果一件东西存在了很长时间,那它一定是好东西” | 长期存在的幸存者可能只是幸运的异常值。成千上万失败的当代产品/建筑/实践是不可见的 |
| “成功人士是提供建议的最佳来源” | 他们是唯一可见的来源,但未必是最好的。他们的建议可能描述的特征同样也导致了失败,只不过运气不同罢了 |
| “只要'意识到'幸存者偏差,就可以纠正它” | 意识有帮助,但还不够。为了进行准确的分析,经常需要定量修正(赫克曼、IPW、卡普兰-迈耶) |
16. 专家见解
“我看到了那些得救的人,但是那些遭遇海难的人被画在哪里呢?” —— 米洛斯的迪亚戈拉斯,公元前5世纪
“失败的餐厅墓地非常寂静。即使是最伟大的思想实验和书籍也很少写到如何在餐饮业不失败,因为失败的人不写书。” —— 纳西姆·尼古拉斯·塔勒布,《随机漫步的傻瓜》
“人类的智力更容易被肯定而不是否定所打动。” —— 弗朗西斯·培根,《新工具》
“[统计研究小组]是有史以来组建的最不寻常的统计学家团队。” —— W·艾伦·沃利斯,统计研究小组主任
17. 关键要点
-
幸存者偏差是普遍且古老的——2500年前被迪亚戈拉斯认识到,二战期间由沃尔德正式确定,并在现代金融中被量化。
-
这种偏差会产生系统性的欺骗性数据——不仅仅是不完整,而且是具有误导性的,因为失败案例的缺失改变了可见分布的形状。
-
缺失的数据往往是最重要的数据——沃尔德的洞见,“缺失”的弹孔在坠毁的飞机上,是所有幸存者偏差分析的典范。
-
对财务的影响是可量化的——共同基金每年约0.9%,对冲基金每年约4.4%,对回溯测试误差的影响未知但可能巨大。
-
应对之策是积极寻找不可见事物——不断地问“遭遇海难的人在哪里?”是防止这种偏见的准则。
-
存在修正方法——赫克曼修正法、逆概率加权、卡普兰-迈耶估计以及时间点数据库可以部分解决这种偏差。
-
可见性不等于有效性——我们很容易看到成功案例,但这丝毫不能说明它们对全部人口具有代表性。
18. 进一步的资源
学术论文
- Brown, S. J., Goetzmann, W., Ibbotson, R. G., & Ross, S. A. (1992). Survivorship Bias in Performance Studies. Review of Financial Studies, 5(4), 553-580.
- Elton, E. J., Gruber, M. J., & Blake, C. R. (1996). Survivorship Bias and Mutual Fund Performance. Review of Financial Studies, 9(4), 1097-1120.
- Wald, A. (1943). A Method of Estimating Plane Vulnerability Based on Damage of Survivors. Statistical Research Group Memorandum.
书籍
- Taleb, N. N. (2001). Fooled by Randomness: The Hidden Role of Chance in Life and in the Markets. Random House.
- Taleb, N. N. (2007). The Black Swan: The Impact of the Highly Improbable. Random House.
- Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.
书籍章节
- Bacon, F. (1620). Idols of the Tribe. In Novum Organum.
- Cicero. (45 BCE). De Natura Deorum [On the Nature of the Gods]. Book III (contains the Diagoras anecdote).
19. 总结卡片
| 要素 | 内容 |
|---|---|
| 偏差名称 | 幸存者偏差 |
| 定义 | 仅关注幸存例子而忽略已消失失败者的错误 |
| 类别 | 缺乏意义 |
| 关键标志 | 完全从可见的成功故事中得出结论 |
| 主要原因 | 失败案例在观察中系统性地消失(由于死亡、破产、删除等) |
| 最大风险 | 严重低估失败的概率并错误识别成功因素 |
| 快速修复 | 在从成功数据得出任何结论之前先问:“遭遇海难的人在哪里?” |
| 长期策略 | 建立保存和展示失败数据的系统;使用经过偏差修正的统计方法 |
| 铭记 | “最关键的数据往往就是那些缺失的数据。” |
20. 术语表
| 术语 | 定义 |
|---|---|
| 截断 (Truncation) | 当观测值低于或高于特定阈值时,将其完全排除在样本之外 |
| 审查 (Censoring) | 当测量值仅部分已知时(例如,知道患者已死亡,但不知道他们原本能活多久) |
| 沉默的证据 (Silent Evidence) | 无法观察到的数据点,因为它们的缺失是由正在研究的现象本身引起的 |
| 基准率/基础概率 (Base Rate) | 在考虑任何特定信息之前,总体中某个事件发生的基本频率 |
| 可得性启发式 (Availability Heuristic) | 在评估话题时依赖于脑海中立即可用的例子的心理捷径 |
| 赫克曼修正法 (Heckman Correction) | 用于校正非随机抽取样本中选择偏见的两步统计方法 |
| 逆概率加权 (IPW) | 根据幸存观察对象的生存概率反向加权,以代表其丢失的同伴 |
| 卡普兰-迈耶估计 (Kaplan-Meier Estimator) | 一种处理审查数据以评估生存概率的统计方法 |
| 回填偏差 (Backfill Bias) | 基金在取得早期成功后才进行报告,“回填”了良好的数据并隐藏了早期的失败 |
| 游戏谬误/卢迪克谬误 (Ludic Fallacy) | 在边界条件未知或被偏见掩盖的领域中滥用统计模型 |
21. 讨论问题
供读书俱乐部、课堂或自我反思:
-
你能找出一个你主要基于可见成功故事而做出的重大人生决定吗?你未能看到哪些失败?
-
沃尔德建议在没有弹孔的地方加装装甲。目前的哪些问题可能会受益于观察那些没有出现损害的地方?
-
突出成功而隐藏失败的社交媒体,可能会如何在职业和人生决定中放大幸存者偏差?
-
是否有什么方法能够真正“看到”失败,还是我们总是利用带有幸存者偏差的数据进行工作?修正方法的局限性是什么?
-
塔勒布认为,来自成功人士的建议可能并不比来自失败人士的建议更有价值。考虑到这种偏差,我们应该如何看待指导和向他人学习?