幸存者偏差
概览
| 类别 | 详细信息 |
|---|---|
| 定义 | 集中关注在选择过程中“幸存”下来的人、事物或数据点,而忽略那些因为缺乏可见性而未幸存下来的人、事物或数据点的系统性逻辑错误。 |
| 类别 | 意义不足 (我们简化概率和数字,让它们更容易思考) |
| 克服难度 | 非常困难 |
| 普遍程度 | 普遍存在 |
| 相关偏见 | 可得性启发法、乐观偏见、选择偏差、确认偏误、后视偏差 |
1. 快速总结
当我们分析成功时,我们只看到了赢家:蓬勃发展的公司、屹立不倒的建筑、功成名就的人。我们从未看到失败,因为它们已经消失了。这制造出一幅危险失真的现实图景,其中我们高估了自己成功的几率,错误地识别了导致成功的原因,并从不完整的数据中得出结论。最关键的信息几乎总是那些缺失的信息。
用大白话说
幸存者偏差的意思是,你只看到了那些赢家,却忘记了所有没能成功的人。失败的人通常不在你的视线里。这会让成功看起来比实际更容易,也更常见。
打个比方,你刷短视频时看到很多孩子初次尝试就完成了高难度的滑板动作。这会让你觉得好像人人都能做到。但你看到的只是大家特意挑选并上传的片段。那些摔倒的、放弃的或者一直学不会的孩子根本不会上传视频。你的信息流里展示的只是少数幸运儿,而不是事情的全貌。老歌也是这个道理。你父母那个年代的热门歌曲听起来可能比今天的音乐更好,但当年那些难听的歌早就被人忘掉了。
教你一个简单的小习惯。当某些事情因为你看到的成功者而显得轻而易举时,不妨问问自己:“谁尝试过这件事,现在却不在这里?”然后再想想,他们可能会对你说些什么。
2. 科学背景
2.1. 发现与历史
人们对幸存者偏差的认识比现代统计学早了两千多年,尽管其正式的数学处理是在二战期间才出现的。
古代起源(公元前5世纪): 最早有记载的观察来自米洛斯的迪亚戈拉斯,一位希腊诗人和著名的无神论者。当有人向他展示那些在海难中幸存下来的崇拜者所画的祈愿板,作为神圣干预的证据时,迪亚戈拉斯留下了一句有名的反问:“我看到了那些得救的人,但是那些遭遇海难的人被画在哪里呢?”西塞罗在《论神性》中记载了这段轶事,它道出了这种偏差的全部机制:幸存者看得见、能发声,死者却沉默无言。
文艺复兴时期的形式化(17世纪): 弗朗西斯·培根将这一观察纳入他的“心智假象”理论,具体说是“族类假象”。他指出,人类智力更容易被肯定而非否定所打动:成功会被记住,失败则从记录中消失。
二战时期的数学处理(1943): 亚伯拉罕·沃尔德为哥伦比亚大学统计研究小组撰写的备忘录,为解决幸存者偏差提供了第一个严格的数学框架,能够根据返航飞机的损伤情况来估计飞机各部位的脆弱程度。这些备忘录一直未公开出版,直到海军分析中心于1980年重印,而 Mangel 和 Samaniego 1984年在《美国统计学会杂志》上发表的综述才将它们引入统计学课程。如今附会于沃尔德名下的装甲轶事是后来逐渐形成的;Bill Casselman 2016年为美国数学学会查阅档案时,并未发现有关该故事戏剧性部分的文献记录(见 2.3)。
金融经济学革命(1990年代): 包括 Brown、Goetzmann、Elton、Gruber 和 Blake 在内的研究人员量化了该偏差对共同基金和对冲基金业绩数据的影响,揭示了它对投资分析的扭曲程度有多么严重。
流行哲学(2000年代): 纳西姆·尼古拉斯·塔勒布在《随机漫步的傻瓜》(2001)和《黑天鹅》(2007)中,将幸存者偏差从一个统计学概念提升为一种哲学世界观。
2.2. 主要研究者
| 研究者 | 贡献 | 年份 |
|---|---|---|
| 米洛斯的迪亚戈拉斯(Diagoras of Melos) | 首次记录了对该偏差的观察(海难幸存者) | 约公元前450年 |
| 弗朗西斯·培根(Francis Bacon) | 整合到“心智假象”理论中 | 1620 |
| 亚伯拉罕·沃尔德(Abraham Wald) | 飞机脆弱性分析的数学处理 | 1943 |
| 马克·曼格尔与弗朗西斯科·萨马涅戈(Marc Mangel 与 Francisco Samaniego) | 综述了沃尔德的统计研究小组备忘录,使飞机生存能力评估方法广为人知 | 1984 |
| 斯蒂芬·布朗与威廉·戈茨曼(Stephen Brown 与 William Goetzmann) | 量化了共同基金业绩研究中的偏差 | 1992 |
| 埃德温·埃尔顿、马丁·格鲁伯与克里斯托弗·布莱克(Edwin Elton、Martin Gruber 与 Christopher Blake) | 估计了共同基金中偏差的年度幅度(约0.9%) | 1996 |
| 伯顿·麦尔基尔与阿塔努·萨哈(Burton Malkiel 与 Atanu Saha) | 从TASS数据库估计了对冲基金的幸存者偏差(每年约4.4%) | 2005 |
| 比尔·卡塞尔曼(Bill Casselman) | 追溯沃尔德装甲故事的来源,发现其戏剧性部分缺乏文献记载 | 2016 |
| 纳西姆·尼古拉斯·塔勒布(Nassim Nicholas Taleb) | 通过“沉默的证据”概念进行哲学普及 | 2001-2007 |
| 詹姆斯·赫克曼(James Heckman) | 获诺贝尔奖的研究:用于校正选择偏差的赫克曼修正法 | 2000 |
2.3. 标志性研究
飞机脆弱性分析(沃尔德,1943)
二战期间,哥伦比亚大学的统计研究小组受美国军方委托研究飞机的生存能力。沃尔德在该工作中的成果作为一组写于1943年左右的备忘录保存下来,于1980年由海军分析中心出版,并由 Mangel 和 Samaniego(1984)进行了综述。备忘录所针对的是一个数据问题:损伤报告仅来自成功返航的飞机,因此幸存飞机上的中弹分布低估了那些足以导致坠机的关键部位所受到的损伤。沃尔德假设敌方火力在飞机各处大致均匀分布,并推导出一组方程,用于估计飞机每个部位中弹后的致命概率。返航飞机上弹孔较少的部位,正是中弹往往致命的部位,因为在这些部位中弹的飞机根本无法返航。通常被引用的备忘录是《一种基于幸存飞机损伤估计飞机脆弱性的方法》。
历史记录展示与未展示的内容: 这一研究的流行版本声称,军方提议在弹孔密集的机身、机翼和机尾加装装甲,而沃尔德推翻了他们的提议,主张装甲应加在没有弹孔的发动机和驾驶舱。Bill Casselman 在2016年为美国数学学会撰文时,查阅了备忘录、W. Allen Wallis 的统计研究小组回忆录以及其他现存档案,并未发现军方提议、沃尔德推翻提议或所谓“装甲加在没有弹孔处”的说法的任何文献出处。备忘录根本没有提出任何具体建议;统计研究小组只回答别人向它提出的问题,把作战决策留给了军方。卡塞尔曼给出的结论是,这个故事“很可能是真的”,其中“有一个坚实的真实内核”,但“最精彩的情节几乎没有任何证据支持”。网络上流传的红点飞机示意图是现代插图,而非战时文件。这一逆转轶事在2010年代广泛流传;Jordan Ellenberg 在《魔鬼数学》(2014)中给出了较为严谨的重构,并明确说明这是重构。方法有据可查,戏剧情节则没有。
共同基金的幸存者偏差(Brown、Goetzmann 等人,1992)
发表在《金融研究评论》上的这篇论文表明,标准金融数据库系统性地删除了清算或合并基金的记录。由于基金几乎总是因为业绩不佳而被清算,这种截断产生了一种统计海市蜃楼。基金的平均业绩看起来好于实际情况,波动性与回报率之间的虚假相关看起来像是“技能”,而这种技能其实并不存在。
幸存者偏差与共同基金业绩(Elton、Gruber 与 Blake,1996)
这项标志性研究追踪了截至1976年底存在的所有共同基金。主要发现:
- 幸存者偏差使年回报率虚高了约0.9%(90个基点)
- 小基金的偏差明显大于大基金
- 合并的基金(通常是在大基金中掩盖不良记录)和清算的基金都导致了这种偏差
纠正这种偏差后,这些发现为有效市场假说提供了有力的实证支持。
2.4. 神经学基础
幸存者偏差源于人类认知的基本特征:
系统1思维: 丹尼尔·卡尼曼的“快思考”系统将“容易回忆”与“发生频率”混为一谈。因为成功的例子(史蒂夫·乔布斯、比尔·盖茨)很容易被回想起,我们凭直觉赋予类似结果的概率高于基础概率所能支持的水平。
可得性启发法: 大脑在评估决策时依赖于立即可用的例子。成功在本质上更具“可得性”,例如成功的公司在证券交易所上市,而失败的公司退市;成功的建筑屹立不倒,而倒塌的建筑被替换。
模式识别的局限性: 人类大脑进化出了从感知到的数据中提取因果叙事的能力,但无法处理缺失的数据。这一基本局限(我们只能分析自己能看到的东西)正是幸存者偏差的神经基础。
乐观偏见的相互作用: 与自我评估相关的神经回路倾向于乐观。在查看存在幸存者偏差的数据时,这些回路鼓励与赢家认同,而不是与占多数的沉默的失败者认同,从而强化了高风险行为。
3. 进化起源
幸存者偏差深深植根于我们的进化历程中:作为模式识别的机器,在漫长的进化中往往看重速度甚于精度。
祖先环境中的适应性价值: 对于我们的祖先来说,关注成功的策略是有道理的。如果某种狩猎技术、迁徙路线或食物来源产生了幸存者,那么它就值得模仿。那些失败者,即那些尝试了不同方法并死去的人,无法提供咨询。从可见的成功中学习是一种快速、高效的启发式方法。
能量节约: 大脑消耗我们大约20%的代谢能量。分析缺失的数据(想象所有我们看不见的失败)很耗费认知资源。进化偏爱那些能有效处理可用信息的大脑,而不是详尽地模拟看不见的替代方案。
是特征,不是缺陷: 在环境相对稳定且结果立即可见的祖先环境中,基于幸存者偏差的学习通常足够有效。如果你的邻居使用某种特定的避难所设计熬过了冬天,模仿它是合理的。只有在复杂的现代环境中,当失败被系统性地隐藏,且“幸存者”样本严重缺乏代表性时,这种偏差才会成为问题。
可得性错配: 我们的大脑在小群体中进化,在那里大多数相关事件都可以直接观察到。在现代社会中,我们遇到的信息经过了多层选择(媒体、市场、历史)的过滤,这使得我们基于可得性的直觉系统性地产生误导。
4. 这种偏差如何表现
4.1. 在日常生活中
“过去的质量大不如前”: 罗马万神殿、维多利亚时代的红木家具以及“仍在使用”的1950年代电器,都是在数个世纪的破坏中幸存下来的统计异常值。那些倒塌的劣质罗马廉租房、腐烂的廉价维多利亚家具,以及垃圾填埋场里损坏的1950年代电器,都是不可见的。我们是在用过去最好的与现在的平均水平进行比较。
“经典”音乐的谬误: 人们声称1960-70年代的音乐更优秀,因为“那个时代所有的歌曲都是经典”。这忽略了当时有成千上万粗制滥造、缺乏原创的歌曲发行;广播电台只播放幸存下来的那1%的热门歌曲。我们是在用经过过滤的过去最优秀的音乐与当今100%的作品进行比较。
来自幸福情侣的恋爱建议: 在寻求恋爱建议时,我们通常会咨询那些仍然在一起的情侣。我们很少听到那些尝试了相同方法并以离婚告终的人的说法,他们可能正是遵循了导致失败的建议。
餐厅推荐: 一个城市里受欢迎的餐厅,根据定义,都是幸存者。成千上万倒闭的餐馆(可能采取了完全相同的策略)已经关门,无法向我们警示哪些做法行不通。
4.2. 在工作场所中
大学辍学神话: 媒体突出宣传盖茨、乔布斯和扎克伯格等亿万富翁,作为辍学导致成功的证据。这忽略了成千上万背负债务且终身收入更低的辍学者。从统计上看,辍学成功的基础概率低于大学毕业生;那些著名的例子是极端的异常值。
“我如何成功”的成功学读物: 正如纳西姆·塔勒布指出的那样,失败的创业者不会写名为《我如何使我的创业公司破产》的书。成功的创业者会写《我是如何做到的》,而他们的建议(承担巨大风险、无视批评者)可能恰恰就是让失败者失败的那些行为。
基于“成功者”画像的招聘: 公司通常根据绩效最佳员工的特征来制定招聘画像。但他们缺乏那些可能表现同样出色的被拒求职者的数据,也缺乏那些具备相似特质受聘却失败离职的人员的数据。
绩效归因错误: 在分析某些项目为何成功时,组织会研究成功的团队。他们无法研究那些被放弃、重组或成员离职的失败项目。相同的“成功因素”可能在两类项目中同样存在。
4.3. 在商业和营销中
创业“成功公式”: 建议行业是一个由幸存者垄断的行业。“努力工作”、“坚持不懈”和“对质量的痴迷”出现在成功创业者的故事中,但如果调查那些失败创业者的墓地,很可能也会发现完全相同的特质。真正的区分因素往往是运气、时机或外部环境。
产品评价背书: 营销总是展示满意的客户。那些流失、要求退款或悄然离开的不满意客户在叙事中完全缺席,从而扭曲了人们对产品有效性的认知。
竞争标杆分析: 企业以成功的竞争对手为标杆,学习其策略。但尝试过类似策略却失败的公司已经被收购、清算或转型,其不成功的策略在分析中是看不见的。
4.4. 在政治和媒体中
历史叙事建构: 历史由幸存者书写,将他们的视角呈现为盖棺定论的叙事。失败者、罹难者或边缘群体所提出的观点、警告与替代方案,被系统性地低估。
新闻幸存者: 媒体报道的是在编辑筛选中幸存下来的事件。成千上万同样具有新闻价值的事件未被报道,这塑造了公众对存在哪些问题以及哪些解决方案有效的认知。
政治策略“教训”: 政治分析师通过研究获胜的竞选活动来提炼成功因素。但采用了相同策略却落败的竞选活动受到的关注较少,这可能导致提出有缺陷的战略建议。
4.5. 在医疗保健中
一战头盔悖论: 一战中引入钢盔时,野战医院报告头部受伤人数急剧增加。有人据此认为头盔存在设计缺陷。而实际情况是,在配备头盔之前,头部被弹片击中的士兵往往当场阵亡(直接记录为阵亡,根本不会被送往医院)。头盔将致命伤转化为可救治的伤情,从而使头部伤员在数据中首次变得可见。
猫的高楼综合征: 1987年的一项兽医研究发现,从7层以上坠落的猫受到的伤害反而比从5-7层坠落的猫更少,这似乎表明从更高处坠落“更安全”。其中的偏差在于,该数据集仅包含被主人送医救治的猫。从30层楼坠落当场摔死的猫直接被埋葬,根本没有接受救治。这造成了高空坠落更安全的错觉。
“健康工人效应”: 研究常常显示,产业工人的死亡率低于一般人群,这并非因为工厂工作有益健康,而是因为劳动力排除了残障人士、卧病在床者和绝症患者。工人是经过预先筛选的幸存者。
创伤死亡率统计: 偏远地区事故受害者的院内死亡率有时低于城市受害者。实际情况是,偏远地区受重伤的患者在长途转运途中死亡,抵达时已是“到院已死亡”(DOA)而未被计入医院统计。城市医院接收了活着的危重患者,而这些患者随后死于院内,从而推高了城市医院的死亡率。
4.6. 在金融和投资中
共同基金业绩: 标准数据库删除了已清算基金的记录。由于基金几乎都是因业绩不佳而清算,数据库系统性地清除了失败者,使得基金的平均业绩看起来比实际每年高出约0.9%。
对冲基金数据: 对冲基金属于自愿报告,这引入了双重偏差,即幸存者偏差(失败的基金停止报告)与回填/即时历史偏差(成功的基金在有了起色后才开始报告,并回填早年幸运时期的数据;早年不成功的基金从不报告并直接解散)。Malkiel 和 Saha(2005)基于 TASS 数据库的研究表明,幸存者偏差部分每年约为4.4%。在1996年报告的604只对冲基金中,到2004年仍存活的不足四分之一,且已经倒闭的基金收益率远低于幸存基金。
标普500指数回溯测试: 随着破产公司被剔除、成长型公司被纳入,指数的成分不断发生变化。使用当前标普500指数名单进行的回溯测试获得了不切实际的回报,因为它无意中确保了100%的存活率:在测试期间倒闭的每家公司都被排除在外了。
“热手”错觉: 早期研究认为基金经理能够持续击败市场。当 Brown 和 Goetzmann 纠正了幸存者偏差之后,这种表面上的技能大部分消失了;所谓的“热手”在很大程度上只是随机分布的尾端。
5. 现实世界案例研究
案例研究 1:轰炸机装甲决策(二战)
-
背景: 盟军轰炸机在敌方火力下损失惨重,促使军方提议用装甲板加固飞机。然而,装甲会增加重量,降低航程、机动性和载弹量。装甲必须安装在最合理的部位。
-
发生了什么: 军方收集了执行任务返航飞机的受损数据,并将该问题移交给了统计研究小组。流行的说法还补充称,指挥官们希望在返航飞机中弹最多的部位加装装甲,即机身、机翼和机尾,而沃尔德推翻了他们的意见。现存文献中均未记录军方的这一提议或沃尔德的反驳;Casselman(2016)发现备忘录中没有包含任何建议。
-
偏差的体现: 沃尔德的备忘录所真正展示的,正是传说故事戏剧化呈现的推理逻辑。数据仅代表幸存者。在关键部位中弹的飞机未能返航,因此这些部位的中弹在样本中代表不足。沃尔德将“缺失”的弹孔视为信息,并建立估算方程,通过某些部位的中弹在返航飞机上出现的罕见程度,来估计击中该部位的致死率。
-
后果: 这些备忘录于1980年由海军分析中心重印,并于1984年由 Mangel 和 Samaniego 进行总结;它们现在已成为纠正幸存者样本偏差的经典教学案例。至于究竟有哪些装甲加固决策(如果真有的话)是基于这些备忘录做出的,历史上并无记录。
-
经验教训: 在分析结果时,永远要追问“那些我看不见的案例究竟发生了什么?”缺乏证据本身可能正是最重要现象的证据。
案例研究 2:共同基金行业的真相启示(1990年代)
-
背景: 几十年来,关于主动型基金经理是否能持续击败市场(“产生阿尔法收益”)的争论一直很激烈。早期研究表明他们可以。
-
发生了什么: 研究人员 Brown、Goetzmann、Elton、Gruber 和 Blake 发现,金融数据库经常删除已清算或合并基金的记录。由于基金几乎总是因为业绩不佳而关闭,数据库系统性地清除了失败者。
-
偏差的体现: 这种截断造成了一种统计海市蜃楼,其余的“幸存”基金显得具有更高的平均回报,并在波动性与业绩之间展现出貌似“专业技能”的虚假关联。
-
后果: 一旦纠正了每年约0.9%的偏差,许多主动型基金经理看似超越大盘的表现便不复存在。这为有效市场假说提供了有力支持,并从根本上改变了金融研究处理历史数据的方式。
-
经验教训: 任何存在退出、关闭或消失情况的数据集都必须分析幸存者偏差。表面上的技能或优异表现可能只是删失样本带来的假象。
历史案例:迪亚戈拉斯和神庙祈愿板
古希腊诗人米洛斯的迪亚戈拉斯在神庙里看到了一些祈愿板,那是向神灵祈祷并在海难中幸存的水手委托绘制的画作。他的朋友将此视为神明庇佑的证据。
迪亚戈拉斯的回答成了概率哲学中的经典名句:“我看到了那些得救的人,但是那些遭遇海难的人被画在哪里呢?”
溺水身亡的水手不可能委托画家作画。如果观察者只查验神庙里的证据,就会得出祈祷能保佑航海平安的结论,而这个结论完全来自一个删失样本,在这个样本里,能否提供证据与能否幸存相关。
这则流传了2500年的轶事概括了幸存者偏差为何如此有害:幸存者是唯一能讲述自己故事的人。
6. 这种偏差的代价
6.1. 个人代价
扭曲的风险评估: 通过只看到成功的冒险者,个人低估了失败的概率。没有成为亿万富翁的大学辍学生,“做对了一切”却依然破产的创业者,在“稳赚不赔”的项目上倾家荡产的投资者,他们的经历都是不可见的,这导致其他人承担了缺乏校准的风险。
错误归因的成功因素: 人们效仿幸存者的行为特征(坚持不懈、敢于冒险、自信),却未能认识到这些特征在失败者身上同样存在。人们可能会耗费数年时间去推行那些从来都不是真正致胜因素的策略。
浪费在模仿上的资源: 遵循源自受幸存者偏差影响数据的“成功公式”,会导致人们将精力投入到那些实际上并不能带来成功的方法中。它们只是在可见样本中与成功存在关联。
受损的自我形象: 当践行源自幸存者的建议却未能获得成功时,个体往往会苛责自己,而没有意识到这些建议本身建立在有缺陷的数据之上。
6.2. 职业代价
投资损失: 在金融领域,幸存者偏差导致的年回报率虚高已量化约为0.9%至4.4%。依据未经校正的历史数据做出决策的投资者,会系统性地高估预期收益并低估潜在风险。
战略误导: 仅仅通过研究成功企业所制定的商业战略,会遗漏那些采取完全相同策略却遭遇失败的公司。资源由此流向那些看似经过验证、实际上可能只是随机的方法。
招聘与人才决策: 基于顶尖绩优员工制定的画像,会错失那些不符合可见模式但同样优秀的潜在候选人;而招募那些符合画像的人,又可能只是复制了与实际工作绩效无关的特征。
产品开发失误: 仅向成功产品学习而不研究类似失败产品,会导致对那些并非真正成功关键的功能或方案进行投资。
6.3. 社会代价
历史认知偏差: 由幸存者书写的历史呈现出偏颇的视角。失败者的观点、替代方案以及战败者的预警,被系统性地排除在集体记忆之外。
政策制定偏差: 仅仅基于对成功结果(经济、社会、军事)的研究而制定政策,未能考量具有相似特征的失败案例,会导致干预措施存在缺陷。
文化神话炮制: 在幸存者偏差推波助澜下的“白手起家”叙事,掩盖了运气、时机与环境的作用,并影响了公众对社会不平等与阶层流动的认知。
医疗方案失误: 基于存在幸存者偏差的数据做出的治疗决策,可能会忽视某些患者治疗不足的问题,抑或将原本并不取决于特定治疗干预的康复归功于该干预。
6.4. 统计影响
| 领域 | 估计偏差影响 | 来源 |
|---|---|---|
| 共同基金 | 每年虚高约0.9%回报率 | Elton、Gruber、Blake(1996) |
| 对冲基金 | 每年虚高约4.4%回报率 | Malkiel 与 Saha(2005) |
| 一战头盔“受伤” | 记录的头部受伤增加100%+(实际上是拯救的生命) | 军方医疗记录 |
| 主动型基金“技能” | 相当大;修正后大量表面上的阿尔法收益被消除 | Brown、Goetzmann 等人(1992) |
7. 隐藏的益处
幸存者偏差并不完全是负面的。它曾具有适应性功能,在特定情境下仍能提供价值。
高效的学习启发式: 在结果可直接观察的稳定环境中,向幸存者学习是快速且相对准确的。如果对你的邻居有效的大多数避难所设计对你也有用,那么复制幸存者就是有效率的。
激励功能: 适当接触成功故事能带来动力和可效仿的榜样。如果完全意识到所有的失败,可能会导致行动瘫痪。关键在于校准接触的程度,而非完全杜绝。
快速决策: 当速度比精度更重要时,直接利用唾手可得的案例(本质上具有幸存者偏差)可能好于久拖不决的分析。并非每个决策都值得全面调查。
正当的模式识别: 有时幸存者的特质确实具有因果效应,而不仅仅是相关性。在失败模式纯属偶然、而成功因素具有系统性的领域中,幸存者身上确实带有真实的信息。
不切实际的极端情况: 要想彻底根除幸存者偏差,就必须在做出任何决策之前穷尽分析所有可能的失败情形。这在认知上做不到,在实践中也会令人寸步难行。目标是保持觉察并做出恰当校正,而非消除。
8. 自我评估:你是否有这种偏见?
8.1. 警告标志清单
- 你经常引用成功人士(乔布斯、盖茨、马斯克)作为生活/职业策略的证据
- 你认为过去的产品/音乐/手工艺通常优于今天的
- 你曾仅基于对成功例子的研究做出重大决策
- 你很少问:“那些尝试过这种做法但失败了的人怎么了?”
- 你对历史基金/投资表现数据信以为真
- 你相信“成功有迹可循”,并且可以从赢家身上可靠地提取出来
- 你在你钦佩的成功故事中忽视运气/时机等重要因素
- 你曾根据对你有效的方法给出建议,而没有考虑那些对其无效的人
- 你觉得“我如何成功”的书籍/播客非常有说服力
- 在分析决策时,你关注结果而不是导致结果的过程
评分:
- 勾选0-2项:不易受影响
- 勾选3-5项:中度易受影响
- 勾选6-8项:高度易受影响
- 勾选9-10项:极易受影响
8.2. 自我反思问题
-
你上一次在做出重大决定之前主动寻找失败案例是什么时候?
-
想想你取得的一项成功。有多少其他人尝试了类似的方法却失败了?你真的知道吗?
-
你相信哪些“显而易见”的成功因素?你将如何检验这些因素是否也存在于失败中?
-
当你收到成功人士的建议时,你是否考虑过有多少不成功的人给出了同样的建议?
-
有人向你指出过你是根据不完整的数据得出结论的吗?你是如何回应的?
8.3. 快速诊断场景
场景: 你正在考虑创业,并读到你们行业中专注于客户服务的企业有60%撑过了前5年。这似乎是有力的证据,证明对客户服务的关注是生存的关键。
你会如何解释这个?
- A) “太棒了!我绝对应该优先考虑客户服务;数据清楚地表明它很有效。” → 高度易受影响
- B) “很有趣,但我想知道在倒闭的企业中,有多大比例也优先考虑了客户服务。” → 中度易受影响
- C) “如果不知道失败企业的客户服务率,这就什么都没告诉我。如果60%的失败企业也关注客户服务,那么这个因素就没有预测价值。” → 低度易受影响
9. 识别他人身上的这种偏见
9.1. 行为指标
在言语中:
- 频繁使用著名的成功故事作为普遍证据
- 从可见的获胜者的小样本中得出普遍规律
- 在成功叙事中忽视运气/时机因素
- 根据“什么是有效的”进行推断,而不承认看不见的失败
在决策中:
- 过度依赖成功公司/人员的案例研究
- 对基础概率和失败频率的重视不足
- 仅以成功的竞争对手为标杆
- 相信历史表现数据而不质疑数据收集方式
在争论中:
- 使用成功例子的存在作为策略有效性的证明
- 争论“X对Y有效”,而不考虑X对其无效的Z
- 将缺乏证据(没有已知的失败)解释为不存在的证据
9.2. 对话中的危险信号
人们在受到这种偏见影响时所说的话:
- “看看[著名的成功例子]。他们做了X,而且成功了!”
- “我认识的所有成功人士都有特征Y。”
- “数据显示,这种方法有着良好的记录。”
- “他们现在制造的东西大不如前了。”
- “每个伟大的公司都有这个特点。”
他们提出的论点类型:
- 从可见的成功中归纳,不考虑失败率
- 仅使用幸存案例的“举例证明”
他们避免问的问题:
- “有多少人尝试了这种方法但失败了?”
- “这项策略成功的基础概率是多少?”
- “为什么我们在这个数据集中看不到失败案例?”
9.3. 情境触发因素
激活偏见的环境:
- 获取经过精心策划的成功故事(媒体、书籍、会议)
- 分析带有退出/关闭/删除机制的数据库
- 任何失败从视野中消失的评估
- 对当前市场领导者的回顾性分析
增加脆弱性的情绪状态:
- 对已经做出的决定感到乐观
- 渴望证明某种方法的合理性
- 对成功人物的钦佩
时间压力:
- 紧急情况降低了寻找反证(失败)数据的可能性
- 截止日期更倾向于使用可用的例子而不是进行详尽的搜索
10. 认知脱偏策略
10.1. 即时技巧
迪亚戈拉斯问题: 在根据成功例子做出任何决定之前,明确追问“遭遇海难的人在哪里?”谁尝试过并失败了?为什么我看不到他们?
反转数据: 当看到幸存者特征时,在心理上构建“失败者的墓地”。失败的案例也会有这些特征吗?如果不知道,说明数据不完整。
检查基础概率: 在从成功中推断之前,先估计分母。“在所有尝试过这种方法的人中,有多大比例成功了?”如果未知,承认不确定性。
失败模式清单: 列出所分析的例子可能会失败并消失的所有方式。破产的汽车公司、关闭的餐馆、清盘的基金,它们都去哪儿了?
信息源质疑: 对于任何数据集,追问“退出/删除/幸存机制是什么?”失败案例是如何被移除的?这揭示了偏见的结构。
10.2. 长期策略
有意识地研究失败: 寻找事后分析、破产分析、失败的创业故事。CB Insights 的《创业失败事后分析》和类似资源提供了通常缺失的沉默证据。
事前验尸实践: 在启动项目之前进行“事前验尸”,假设项目已经失败,然后倒推找出原因。这能锻炼想象失败的心理肌肉。
概率校准: 练习在查找数据之前估计基础概率。追踪你的准确性。这能建立起一种直觉,知道可见的成功率在多大程度上夸大了真实的成功率。
历史反事实: 在研究历史时,积极思考替代路径,例如差点发生了什么、谁差点成功了、还有哪些其他可能的结果。纳西姆·塔勒布称之为“另类历史”。
10.3. 环境设计
数据基础设施: 使用保留了失败发生时刻记录的“时间点”数据集,而不是只显示幸存者的当前状态数据库。
失败图书馆: 组织知识管理应该归档失败的项目,而不仅仅是成功的项目。事后分析应该像成功案例研究一样容易获取。
魔鬼代言人协议: 将在战略决策中专门寻找反证证据和缺失的失败数据的角色制度化。
多元化的顾问网络: 在你的顾问圈中包括经历过失败的人。他们的观点提供了通常缺失的“沉默证据”。
10.4. 何时寻求外部意见
需要外部验证的决策类型:
- 基于历史表现数据的重大投资
- 基于竞争对手分析的战略决策
- 基于成功故事的职业/生活决策
- 基于治疗结果数据的医疗决策
向谁咨询:
- 熟悉选择偏见的统计学家
- 在你正在考虑的方法上失败过的人
- 研究特定领域失败率的研究人员
- 被指派去寻找缺失数据的魔鬼代言人
如何构建请求:
- “这里的基数是多少?”
- “那些尝试过这种方法却失败了的人怎么了?”
- “这些数据是如何收集的,什么原因导致案例消失?”
11. 实践练习
练习 1:失败者墓地漫步
- 目标: 培养对不可见失败的直觉
- 所需时间: 45分钟
- 所需材料: 互联网连接、笔记本
- 难度级别: 初学者
- 说明:
- 选择一个你感兴趣的领域(初创公司、餐厅、产品等)
- 找出该领域5个著名的成功案例
- 对于每一个成功案例,研究3个尝试过类似方法但失败的同代人
- 记录失败者与成功者共享的特征/策略
- 记录为什么失败者通常是不可见的(破产、被收购、被删除等)
- 反思问题:
- 寻找失败者有多难?
- 成功者和失败者身上都出现了哪些“成功因素”?
- 这如何改变你对成功原因的看法?
- 频率: 每月一次,尤其是在做重大决定之前
练习 2:数据集解剖
- 目标: 学会识别数据源中的幸存者偏差
- 所需时间: 60分钟
- 所需材料: 访问你正在使用的数据集(财务、商业、绩效数据)
- 难度级别: 中级
- 说明:
- 选择一个你依赖其做决策的数据集
- 记录数据收集方法
- 找出所有可能导致记录被删除的机制(关闭、合并、删除、未报告)
- 估计原群体中可能缺失了多少百分比
- 考虑缺失的数据可能与幸存的数据有什么不同
- 反思问题:
- 如果你能看到缺失的数据,会有什么改变?
- 你应该对从这些数据中得出的结论有多大信心?
- 哪些调整可能是合适的?
- 频率: 只要在利用历史数据做决策时
练习 3:事前验尸仪式
- 目标: 在失败变得不可见之前,系统地将其可视化
- 所需时间: 30分钟
- 所需材料: 纸、计时器
- 难度级别: 高级
- 说明:
- 在开始项目之前,召集团队
- 设定20分钟的计时器
- 想象现在是一年以后,项目彻底失败了
- 每个人写下失败的所有原因(首先独立完成)
- 分享并整合失败模式
- 反思问题:
- 哪些失败模式最有可能发生?
- 哪些失败不会给未来的分析师留下任何证据?
- 你怎样才能避免成为看不见的失败数据?
- 频率: 在每个重要项目开始时
每日实践
每晚的失败反思: 每天晚上,回顾你做出的一个决定,并问自己“我没有看到哪些本应为这个决定提供信息的失败教训?”
- 建议时长: 5分钟
- 最佳时间: 晚上
- 追踪进度方法: 每天在日记中记录一个“隐藏失败”的见解
每周挑战
寻找沉默证据: 每周,选择一个你基于可见证据持有的信念,积极寻找可能反驳它的“沉默证据”。
- 4周后的预期结果: 明显提升追问“缺失了什么”的直觉,并降低对仅凭可见数据得出的结论的信心
- 供反思的日记提示:
- 我本周审视了什么信念?
- 我发现了什么沉默的证据?
- 找到它如何改变了我的信心水平?
12. 针对特定受众
致领导者和管理者
战略规划: 在分析竞争对手的成功时,强制战略团队也研究那些使用了类似战略但失败的竞争对手。失败可能会揭示观察到的“成功因素”并不具有因果关系。
项目后分析: 像对待成功的项目一样,严谨地归档和研究失败的项目。从失败中学习通常更有价值,而且如果不刻意保存,它就会消失。
招聘决定: 对根据顶尖员工总结出的画像保持谨慎。考虑一下,哪些本来能成功的候选人被拒绝了,以及哪些符合条件但后来失败离职了。
决策记录: 不仅要记录结果,还要记录决策时的信息和推理。这允许诚实的评估,即使由于离职、重组或修改而导致失败“消失”。
文化建设: 公开庆祝和讨论失败。这让它们在组织记忆中保持可见,而不是沉默。
致父母和教育工作者
教授概念: 使用迪亚戈拉斯的故事。它对孩子们来说很容易理解。启发提问“如果我们只听赢家讲述,我们会有什么学不到?”
平衡成功故事: 在分享励志故事时,也要分享失败的故事。“很多人尝试了和她完全一样的做法,但没有成功。可能会是哪里不同呢?”
科学教育: 幸存者偏差是理解抽样、选择和实验设计的一个极好切入点。使用二战轰炸机的例子。它既生动又反直觉,而且蕴含着第二重教训,即告诉学生装甲逆转的故事是一个建立在真实方法之上的传说,并问问他们会如何去核实查证。
以身作则: 分享你自己的失败,以及它们教会了你什么。让失败成为可以讨论的话题,而不是不可见的。
致医疗保健专业人员
临床试验解释: 警惕退出模式。停止治疗的患者可能在系统上与继续治疗的患者有所不同。意向治疗分析部分解决了这个问题。
历史疗法评估: 经受住“时间考验”的“传统”疗法可能仅仅是幸存者。被放弃的无效疗法没有留下任何证据。
诊断模式识别: 令人难忘的病例(记忆中的幸存者)可能无法代表基础概率。在进行模式匹配时,主动回想具有不同结果的病例。
死亡率统计: 了解“到院已死亡”的排除、转运模式和记录实践如何在结果数据中造成幸存者偏差。
致金融专业人士
数据库卫生: 在可用时始终使用无幸存者偏差的数据库。对于标准数据库,应用已知的修正因子(例如,共同基金约为0.9%)。
客户沟通: 在展示历史业绩时,解释遗漏了什么。“该指数显示的是今天存在的公司。失败的公司不包括在内,这使得过去的业绩看起来比实际情况更好。”
对回溯测试保持怀疑: 时间点数据必不可少。任何使用当前指数成分进行的回溯测试实际上都达到了100%的存活率,这是一个不可能成立的前提条件。
对冲基金尽职调查: 同时考虑幸存者偏差和回填偏差。两者的综合效应(根据 Malkiel 与 Saha 的研究,仅幸存者偏差每年就约为4.4%,再加上回填效应)意味着报告的对冲基金平均表现大幅高于实际情况。
13. 与其他偏见的相互作用
放大幸存者偏差的偏见
| 偏见 | 如何相互作用 |
|---|---|
| 可得性启发法 | 使幸存者在记忆中更加突出;失败者是双重不可见的(从数据中被删除且不易被回想起来) |
| 乐观偏见 | 鼓励对幸存者的认同,而不是对失败概率进行现实评估 |
| 确认偏误 | 导致寻找证实现有信念的成功故事,而忽略反驳的失败证据 |
| 后视偏差 | 使得幸存者的成功在事后看来似乎是“显而易见的”,掩盖了运气的作用和失败的合理性 |
| 叙事谬误 | 根据幸存者数据构建令人信服的故事,让人感觉具有解释力,但却遗漏了实际的(不可见的)因果因素 |
抵消幸存者偏差的偏见
| 偏见 | 如何提供帮助 |
|---|---|
| 悲观偏见 | 预感负面结果的自然倾向,可以平衡对可见成功的过度关注 |
| 损失厌恶 | 对潜在损失的更多关注可能会促使人们寻找失败的例子 |
常见的偏见链条
模仿成功的连锁反应: 幸存者偏差(只看到赢家)→ 可得性启发法(赢家主导记忆)→ 叙事谬误(根据赢家特征构建因果故事)→ 过度自信(相信这个故事解释了成功)→ 确认偏误(寻找支持该故事的证据)→ 风险误判(低估失败概率)
中断点: 这条链条可以在叙事形成之前通过明确提出“失败者在哪里?”的问题来尽早打破。一旦构建了一个令人信服的故事,要推翻它就变得困难得多。
14. 文化视角
幸存者偏差在所有文化中都有表现,但可能会被文化背景放大或缓和。
个人主义与集体主义文化: 在高度个人主义的文化(如美国)中,“白手起家的成功”叙事尤为突出,可能会放大个人成就背景下的幸存者偏差。集体主义文化中,对内群体中失败的可见度可能更高,这在一定程度上缓和了这种偏差。
高权力距离文化: 在权力距离大的文化中,成功可能会被更多地庆祝,而失败会被隐藏起来以避免羞耻,这可能让人们更加只看得到幸存者。
风险态度: 风险承受能力较高的文化可能更容易从显眼的冒险者那里吸取教训,而厌恶风险的文化可能会自然地寻找更多的失败数据。
| 文化类型 | 表现 |
|---|---|
| 个人主义文化 | 强烈的“白手起家”成功叙事;聚焦明星企业家放大了偏见 |
| 集体主义文化 | 强调集体成功的故事;内部对于失败的认知可能适度缓和偏见 |
| 高语境文化 | 关于失败的隐性知识可能会非正式地流传,部分抵消可见成功偏见 |
| 低语境文化 | 明确且记录在案的成功案例占主导地位;只有刻意记录才会显露失败 |
15. 神话与误解
| 神话 | 现实 |
|---|---|
| “这种偏见只影响统计学和金融学” | 幸存者偏差影响着历史、医学、产品设计、职业规划、人际关系建议,以及几乎所有结果多变且失败会消失的领域 |
| “看看成功案例是无害的;最坏的情况也就是学到了好做法” | 危险的错误观点。成功的案例可能与失败案例有着共同特征,导致错误归因以及模仿并非导致成功的因素的危险行为 |
| “如果一件东西存在了很长时间,那它一定是好东西” | 长期存在的幸存者可能只是幸运的异常值。成千上万失败的当代产品/建筑/实践是不可见的 |
| “成功人士是提供建议的最佳来源” | 他们是唯一可见的来源,但未必是最好的。他们的建议可能描述的特征同样也存在于失败者身上,只不过运气不同罢了 |
| “只要‘意识到’幸存者偏差,就可以纠正它” | 意识有帮助,但还不够。为了进行准确的分析,经常需要定量修正(赫克曼、IPW、卡普兰-迈耶) |
| “沃尔德告诉军方把装甲加在没有弹孔的地方” | 他在1943年的备忘录中根据幸存飞机的损伤估算了击中飞机各部位的致死率;备忘录中并未提出任何建议。Casselman(2016)没有发现任何关于军方所谓提议或沃尔德推翻提议的记录。数学方法是真实的,对话则是后来添加的 |
16. 专家见解
西塞罗讲述了这样一件事:有人向米洛斯的迪亚戈拉斯展示还愿画,画的是在风暴中幸存的水手,以此证明神明会回应祈祷;迪亚戈拉斯却问,那些遭遇海难淹死的人的画在哪里。 — 概述自西塞罗,《论神性》(De Natura Deorum,公元前 45 年),第三卷,第 89 节
纳西姆·尼古拉斯·塔勒布认为,我们看得到成功者,却忽略了那些失败后没有留下任何记录的人,他称之为沉默的证据,因此看得见的成功会扭曲我们对“什么有效”的判断。 — 概述自纳西姆·尼古拉斯·塔勒布,《黑天鹅》(2007),第 8 章
“……人类智力有一种特有而恒常的谬误,就是更容易被肯定的事例所打动和激发,而不是被否定的事例;而它本应对二者一视同仁,不偏不倚。” — 弗朗西斯·培根,《新工具》(1620),第一卷,格言 46,Spedding, Ellis & Heath 译
“[统计研究小组是]有史以来组织起来的最杰出的统计学家群体。” — W. Allen Wallis,“The Statistical Research Group, 1942-1945”,Journal of the American Statistical Association 75(370) (1980),pp. 320-330 https://doi.org/10.1080/01621459.1980.10477469
17. 关键要点
-
**幸存者偏差普遍且古老:**早在2500年前就被迪亚戈拉斯认识到,二战期间由沃尔德建立数学模型,并在现代金融中被量化(共同基金每年0.9%,对冲基金约4.4%,后者依据 Malkiel 与 Saha 的研究)。
-
**该偏差会产生系统性误导的数据。**它不仅是不完整的,而且会主动误导,因为失败案例的缺失改变了可见分布的形态。
-
**缺失的数据往往是最关键的数据。**沃尔德将“缺失”弹孔解读为未返航飞机中弹的方法,是所有幸存者偏差分析的典范;流传的装甲逆转故事缺乏文献记录,因此应当引用这一方法,而非传说。
-
**财务影响是可量化的:**共同基金每年约0.9%,对冲基金每年约4.4%,回溯测试误差的影响未知,但相当大。
-
**应对之策是主动搜寻不可见之物。**时刻追问“那些遭遇海难的人在哪里?”是抵御这种偏差的基本功。
-
**存在修正方法:**赫克曼修正法、逆概率加权、卡普兰-迈耶估计以及时间点数据库,都可以部分解决这种偏差。
-
**可见性不等于有效性。**我们能够轻易看到成功案例,这丝毫不意味着它们能代表整个总体。
18. 进一步的资源
学术论文
- Brown, S. J., Goetzmann, W., Ibbotson, R. G., & Ross, S. A. (1992). Survivorship Bias in Performance Studies. Review of Financial Studies, 5(4), 553-580. https://doi.org/10.1093/rfs/5.4.553
- Elton, E. J., Gruber, M. J., & Blake, C. R. (1996). Survivorship Bias and Mutual Fund Performance. Review of Financial Studies, 9(4), 1097-1120. https://doi.org/10.1093/rfs/9.4.1097
- Wald, A. (1943). A Method of Estimating Plane Vulnerability Based on Damage of Survivors. Statistical Research Group Memorandum (reprinted by the Center for Naval Analyses, 1980).
- Mangel, M., & Samaniego, F. J. (1984). Abraham Wald's Work on Aircraft Survivability. Journal of the American Statistical Association, 79(386), 259-267. https://doi.org/10.1080/01621459.1984.10478038
- Malkiel, B. G., & Saha, A. (2005). Hedge Funds: Risk and Return. Financial Analysts Journal, 61(6), 80-88. https://doi.org/10.2469/faj.v61.n6.2775
- Casselman, B. (2016). The Legend of Abraham Wald. AMS Feature Column, American Mathematical Society, June 2016.
书籍
- Taleb, N. N. (2001). Fooled by Randomness: The Hidden Role of Chance in Life and in the Markets. Random House.
- Taleb, N. N. (2007). The Black Swan: The Impact of the Highly Improbable. Random House.
- Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.
书籍章节
- Bacon, F. (1620). Idols of the Tribe. In Novum Organum.
- Cicero. (45 BCE). De Natura Deorum [On the Nature of the Gods]. Book III (contains the Diagoras anecdote).
19. 总结卡片
| 要素 | 内容 |
|---|---|
| 偏差名称 | 幸存者偏差 |
| 定义 | 仅关注幸存例子而忽略已消失失败者的错误 |
| 类别 | 意义不足 |
| 关键标志 | 完全从可见的成功故事中得出结论 |
| 主要原因 | 失败案例在观察中系统性地消失(由于死亡、破产、删除等) |
| 最大风险 | 严重低估失败的概率并错误识别成功因素 |
| 快速修复 | 在从成功数据得出任何结论之前先问:“遭遇海难的人在哪里?” |
| 长期策略 | 建立保存和展示失败数据的系统;使用经过偏差修正的统计方法 |
| 铭记 | “最关键的数据往往就是那些缺失的数据。” |
20. 术语表
| 术语 | 定义 |
|---|---|
| 截断 | 当观测值低于或高于特定阈值时,将其完全排除在样本之外 |
| 删失 | 当测量值仅部分已知时(例如,知道患者已死亡,但不知道他们原本能活多久) |
| 沉默的证据 | 无法观察到的数据点,因为它们的缺失正是由所研究的现象本身引起的 |
| 基础概率 | 在考虑任何具体信息之前,总体中某个事件发生的基本频率 |
| 可得性启发法 | 在评估话题时依赖于脑海中立即可联想到的例子的心理捷径 |
| 赫克曼修正法 | 用于校正非随机选择样本中选择偏差的两步统计方法 |
| 逆概率加权(IPW) | 按照幸存观测对象的生存概率反向加权,以代表其缺失的同类对象 |
| 卡普兰-迈耶估计 | 一种处理删失数据以估算生存概率的统计方法 |
| 回填偏差 | 基金在取得早期成功后才进行报告,“回填”了优秀数据并隐藏了早期的失败 |
| 游戏谬误 | 在边界条件未知或被偏差掩盖的领域中滥用统计模型 |
21. 讨论问题
供读书俱乐部、课堂或自我反思:
-
你能找出一个你主要基于可见成功故事而做出的重大人生决定吗?你未能看到哪些失败?
-
传说中沃尔德建议在没有弹孔的地方加装装甲;而他的备忘录实际上只是估算了哪些部位中弹是致命的。无论如何,当下的哪些问题可能会受益于审视那些损伤未曾出现的地方?
-
突出成功而隐藏失败的社交媒体,可能会如何在职业和人生决定中放大幸存者偏差?
-
是否有什么方法能够真正“看到”失败,还是我们总是利用带有幸存者偏差的数据进行工作?修正方法的局限性是什么?
-
塔勒布认为,来自成功人士的建议可能并不比来自失败人士的建议更站得住。考虑到这种偏差,我们应该如何看待指导和向他人学习?