基础概率谬误
一览
| 类别 | 详情 |
|---|---|
| 定义 | 一种系统性认知错误:人们忽视一般统计信息(基础概率),转而偏重关于某个具体案例的个别化信息。 |
| 类别 | 信息过多 (我们更容易注意到记忆中已有印象或经常重复的事物) |
| 克服难度 | 非常困难 |
| 普遍程度 | 普遍存在(即使用自然频率呈现,多数人仍会答错) |
| 相关偏误 | 代表性启发法、合取谬误、检察官谬误、分母忽视、德州神枪手谬误、确认偏误、自动化偏见 |
1. 快速概述
判断概率时,人们往往只注意某个案例中生动、具体的细节,忽略了决策应当依据的整体统计背景。比如,有人向你描述一个安静、爱读书、喜欢诗歌的人,你可能会猜他是“图书管理员”,尽管具备这些特征的教师、会计师和办公室职员要多得多。基础概率谬误源于大脑的运作方式:它擅长识别模式、讲述故事,却不擅长计算概率。
用大白话说
基础概率谬误,就是你在猜一件事之前,忘了先问它有多常见。一个有趣的线索抓住了你的注意力,就决定了你的判断,即使数字明明指向另一个答案。
比如,你班上来了一位新同学。他很安静,戴着眼镜,总带着一本厚厚的行星科普书。你心想:“他以后会当宇航员。”可是,世界上有多少宇航员?不过几百人。又有多少安静、爱看太空书的孩子,长大后当了教师、护士或程序员?有几百万人。这个线索让你觉得一个答案很对,却忘了这个答案有多罕见。
你可以试个小办法。猜之前先问自己:“一百个这样的人里面,究竟会有多少人真的成为那样的人?”然后在脑中想象这一百个人。多数时候,普通的答案更可能正确,只因为符合它的人多得多。
2. 背后的科学
2.1. 发现与历史
基础概率忽视是在1970年代心理学的认知革命中被正式识别的。早在1955年,Paul Meehl 和 Albert Rosen 就已指出统计推理与临床直觉之间的矛盾,并提醒临床医生注意诊断检测结果的解读问题。正式识别并命名这一偏误的则是 Amos Tversky 和 Daniel Kahneman。
他们1973年的论文《论预测的心理学》挑战了当时经济学中占主导地位的“理性人”假设。他们证明,当人们被要求预测结果时,并不会像直觉统计学家那样用新证据去更新先验概率(贝叶斯定理所要求的做法)。相反,他们依赖的是系统性忽略基础概率信息的心理捷径。
这一发现引发了被称为“理性之战”的激烈理论论争:基础概率忽视究竟是人类推理的根本缺陷,还是对环境结构的适应性反应?这场论争影响了此后五十年的认知科学。Gigerenzer 所属的生态理性阵营认为,人的心智在演化中适应了对自然频率的处理,因此,这种谬误主要是用概率形式呈现问题所造成的。Aron Barbey 和 Steven Sloman(2007)在 Behavioral and Brain Sciences 上以双加工理论作出回应,频率格式之所以有效,是因为它揭示了问题中集合的嵌套关系,也就是谁属于哪个群体,让审慎推理能够压过联想式捷径。因此,无论是否用频率表述,只要格式能让嵌套关系一目了然,就会有帮助。
定量研究明确了呈现格式影响的大小。Michelle McDowell 和 Perke Jacobs(2017)在 Psychological Bulletin 上发表元分析,汇总了35篇文章中的226项表现估计,涵盖二十年的自然频率研究。自然频率确实能稳定地改善表现,但正如后来对这项元分析的概括所指出的,采用自然频率格式时,约24%的参与者能解出一道贝叶斯问题;采用概率格式时,这一比例约为4%。即使格式合适,仍有四分之三的人答错。将相关数量以简短列表呈现,以及使用视觉辅助工具,都能改善这两种格式下的表现。作者还主张,应扩大“成功进行贝叶斯推理”的定义,把选择和推理过程也纳入考量,而不只看能否得出精确的数值答案。
研究中的关键里程碑:
- 1955年: Meehl 与 Rosen 提出临床预测与精算预测的问题
- 1973年: Tversky 与 Kahneman 发表《论预测的心理学》
- 1980年: Maya Bar-Hillel 提出相关性理论的批评
- 1995年: Gerd Gigerenzer 证明自然频率格式可减少该谬误
- 2002年: Kahneman 与 Frederick 将“属性替代”理论形式化
- 2007年: Barbey 与 Sloman 以双加工理论和嵌套集合解释回应生态理性观点
- 2010年代: 研究延伸至人工智能系统与算法偏误
- 2017年: McDowell 与 Jacobs 的元分析量化了自然频率的效果,确有改善,但多数人仍会答错
2.2. 主要研究者
| 研究者 | 贡献 | 年份 |
|---|---|---|
| Paul Meehl 与 Albert Rosen | 指出临床诊断中的基础概率问题;确立了统计表格的预测表现优于临床判断 | 1955 |
| Amos Tversky 与 Daniel Kahneman | 正式识别并命名基础概率谬误;提出代表性启发法理论 | 1973 |
| Maya Bar-Hillel | 提出相关性理论;表明人们会使用具有因果相关性的基础概率 | 1980 |
| Gerd Gigerenzer | 证明自然频率格式可大幅减少该谬误;提出生态理性概念 | 1995 |
| Ulrich Hoffrage | 将自然频率研究应用于医疗决策 | 1998 |
| L.J. Cohen | 从哲学角度批评,区分培根式概率与帕斯卡式概率 | 1981 |
| Masasi Hattori 与 Yutaka Nishida | 提出等概率假说 | 2009 |
| Jonathan Koehler | 从概念和方法上评述基础概率的使用,认为实验室研究夸大了这种谬误 | 1996 |
| Aron Barbey 与 Steven Sloman | 用双加工理论和嵌套集合解释某些呈现格式为何能减少忽视 | 2007 |
| Michelle McDowell 与 Perke Jacobs | 对自然频率格式进行元分析(35篇文章、226项估计);发现其改善确实存在,但程度有限 | 2017 |
2.3. 里程碑式研究
“Tom W.”实验(Kahneman 与 Tversky,1973)
这项奠基性研究表明,即便参与者掌握准确的基础概率知识,代表性依然会压倒基础概率。
设计: 参与者被分为三组。
- 基础概率组: 估计九个学科领域研究生所占的百分比。他们正确地判断出人文学科和教育学是大领域(高基础概率),而计算机科学是小领域(低基础概率)。
- 相似性组: 阅读一份关于“Tom W.”的性格描述(描述为聪明但缺乏创造力、做事有条理、文笔机械、对他人缺乏同情心),然后按照 Tom 与各领域典型学生的相似程度排序。
- 预测组: 阅读同一份性格描述,按 Tom W. 目前正在某领域就读的概率对各领域排序。关键在于,研究者明确告知他们,这份描述所依据的测试“效度有限”。
结果: 预测组的排序与相似性组几乎完全相关(r > 0.9),而与基础概率组呈负相关。尽管知道计算机科学相比人文学科是个极小的领域,参与者仍预测 Tom 是计算机科学专业的学生,因为他像一个计算机科学专业的人。个别化信息彻底淹没了基础概率信息,即便参与者已被警告该信息并不可靠。
出租车问题(Kahneman 与 Tversky,1972)
这是该谬误最著名的数值化演示,它把基础概率与目击者证词之间的冲突单独凸显出来。
情境: 一辆出租车在夜间肇事逃逸。城中有两家出租车公司运营。
- 基础概率:85% 绿色出租车,15% 蓝色出租车
- 一名目击者指认该车为蓝色
- 法庭测试显示,该目击者辨认颜色的正确率为 80%
问题: 该车是蓝色的概率有多大?
直觉回答: 大多数参与者回答 80%,直接照搬目击者的准确率。
贝叶斯分析: $$P(Blue|Witness\ says\ Blue) = \frac{0.80 \times 0.15}{(0.80 \times 0.15) + (0.20 \times 0.85)} = \frac{0.12}{0.29} \approx 41%$$
洞见: 尽管目击者声称是蓝色,但实际上该车是绿色的可能性更大(59%)。庞大的绿色车队产生的“误报为蓝色”数量,超过了小规模蓝色车队产生的“正确报为蓝色”数量。参与者无法凭直觉领会,绿色基础概率的“权重”会把概率从目击者的 80% 准确率往下拉。
工程师与律师问题(Tversky 与 Kahneman,1973)
设计: 参与者收到的描述抽取自 100 名专业人士的样本。
- 条件 A:70 名工程师,30 名律师
- 条件 B:30 名工程师,70 名律师
“Jack”被描述为具有典型工程师式特质(保守、谨慎、对木工感兴趣)。
结果: 参与者在两种条件下估计 Jack 是工程师的概率几乎完全相同(约 90%),完全无视基础概率已经颠倒。关键在于,当给出一段与两种刻板印象都不相符的中性描述时,参与者能正确使用基础概率(70% 或 30%)。可见,他们有能力使用基础概率,只是一获得个别化信息就将其抛在脑后。
自然频率干预的重复验证: Gigerenzer 和 Hoffrage(1995)发现,将这类问题改写为自然频率形式(“每1,000人中有8人”),能提高贝叶斯推理的答对率。McDowell 和 Jacobs(2017)汇总35篇文章中的226项表现估计,检验这一发现的适用范围。改善效果得到了重复验证,但答对的比例只是从很小的一部分增加到较大的一部分,仍然属于少数,概率格式下约4%答对,自然频率格式下约24%答对。将相关数量以简短列表呈现,或配合视觉辅助工具时,效果最好;计算能力和专业知识等个体差异也会影响改善的程度。
2.4. 神经学基础
关于基础概率忽视的神经基础研究指向两套认知系统之间的冲突:
系统1(直觉加工): 前额叶皮层与边缘系统驱动快速、自动的模式匹配。当接触到个别化信息时,这些区域强烈激活,产生基于“相似性”的直觉判断。杏仁核可能会强化生动、具体信息的显著性。
系统2(审慎加工): 背外侧前额叶皮层与前扣带回皮层支持费力的统计推理。fMRI 研究显示,正确整合基础概率需要这些区域的激活,而这需要付出认知努力,也容易受到时间压力或认知负荷的干扰。
神经层面的竞争: 基础概率忽视似乎源于系统1在神经竞争中“胜出”,原因在于以下几点。
- 模式匹配更快,所需资源更少
- 具体的故事比抽象的统计数据更能激活情绪加工
- 大脑的默认模式是构建叙事,而非计算概率
- 工作记忆的限制制约了对基础概率与案例信息的同时加工
神经递质研究提示,参与奖赏预测的多巴胺通路可能使具体的“命中”比统计思维更具吸引力,而压力激素还会进一步抑制审慎加工。
3. 进化起源
人类认知在演化中形成了一套模式识别机制,适于应对眼前的环境威胁,却不擅长计算抽象概率,基础概率谬误由此产生。
具体案例推理的生存优势:
- 在祖先的生存环境中,草丛中的窸窣声可能是捕食者。那些忽视“风吹”这一基础概率、直接假定有威胁的人,比谨慎计算统计概率的人更容易活下来
- 社会性生存依赖于读懂具体个体的意图,而非群体平均值
- 资源和配偶是通过评估特定机会获得的,而非依靠抽象频率
- 基于模式匹配的快速决策节省了宝贵的认知能量
叙事驱动: 那些能从事件中构建出连贯因果故事的祖先,比把现实当作零散统计数据处理的人更善于学习、传授和预测。这种建构叙事的能力成为人类智能的核心,但在需要形式化的概率推理时会造成系统性盲区。
情境中的适应性: 在大多数前现代情境中,基础概率忽视对人们是有利的。眼前那只具体的老虎,比老虎的平均分布重要得多。问题出现在这套认知架构用于现代决策时,罕见疾病、法医证据或金融衍生品,这些领域统计思维不可或缺,却在演化史上前所未有。
能量节约: 计算贝叶斯概率需要消耗大量能量。大脑消耗了身体20%的能量,也发展出了在多数时候“够用就好”的捷径。在资源匮乏的环境中,形式化推理的认知成本超过了它的边际收益。
4. 这种偏误如何表现
4.1. 在日常生活中
- 对陌生人的刻板印象: 遇到一个戴眼镜、说话轻声细语的人,你可能会假定他是“教授”,尽管教授相对于其他职业的基础概率极低
- 风险评估: 看到飞机失事的新闻报道后,高估飞行的危险,却忽视航空旅行在统计上的安全性
- 人际关系判断: 因一次可疑行为就断定某人不诚实,无视你与其长期诚实交往的历史(其可信度的基础概率)
- 彩票与赌博: 因近期中奖就把某张“幸运”彩票或某家赌场视为特别,却忽视输钱的数学基础概率
- 育儿恐惧: 因媒体上生动的报道而大大高估绑架之类的危险,却低估车祸这类常见风险
4.2. 在职场中
- 绩效评估: 因一次出色的演示就把某位员工评为“高潜力”,却忽视其日常工作产出数据
- 招聘决策: 偏好面试表现符合成功刻板印象的候选人,而不考虑同类录用者中成功的基础概率
- 项目估算: 因某些具体特征就认为“这个项目不一样”,却忽视同类项目中预算超支和延期的基础概率
- 领导力评估: 把团队成功归因于富有魅力的领导者,却忽视市场环境(有利环境中成功的基础概率)
- 竞争对手分析: 过度看重竞争对手的具体举措,却忽视全行业同类战略的成功率
4.3. 在商业与营销中
- 客户证言与案例研究: 企业使用具体的成功故事,正是因为消费者会低估典型结果的基础概率
- “电视广告同款”: 生动的演示压倒了关于产品有效性的统计信息
- 保险销售: 灾难场景的戏剧化描绘使罕见事件显得很可能发生
- 定向广告: 把产品置于特定的理想情境中展示,而非呈现统计上的收益
- 创业叙事: 尽管创业失败的基础概率约为 90%,“这家初创公司不一样”的故事依然经久不衰
- 客户细分: 过度依赖印象深刻的客户互动,而非系统的数据分析
4.4. 在政治与媒体中
- 犯罪报道: 对罕见暴力犯罪的生动报道左右了政策制定,尽管暴力犯罪的基础概率正在下降
- 选举预测: 评论员聚焦于竞选中的具体时刻(“失言”),却忽视在任者优势的历史基础概率
- 移民辩论: 关于移民犯罪的具体故事压倒了移民犯罪率低于本地人的统计证据
- 政策叙事: 为新政策辩护的“这次不一样”论调忽视了政策失败的基础概率
- 恐怖主义风险: 因触目惊心的袭击而投入巨额安全经费,而基础概率却显示其他威胁(交通事故、心脏病)更值得投入资源
4.5. 在医疗健康中
假阳性悖论: 当某种疾病罕见(基础概率低)时,即便检测准确率很高,阳性结果中也会有多数是假阳性。
HIV 筛查示例:
-
人群:100,000 人,HIV 患病率 0.01%
-
检测:灵敏度 99.9%,特异度 99.9%
-
真阳性:约 10 例(被正确识别的感染者)
-
假阳性:约 100 例(被错误标记的健康人)
-
结果: 阳性结果仅意味着约 9% 的实际感染可能性
-
诊断失误: 医生锚定于与某种引人注目的诊断相符的症状,却忽视常见病症的基础概率
-
药物有效性: 患者关注具体的康复故事,而非统计上的治疗成功率
-
筛查决策: 患者在不了解假阳性基础概率的情况下误读阳性检测结果
-
治疗依从性: 生动的副作用故事压倒了统计上的安全性数据
-
COVID-19 疫苗的误解: “住院患者中 70% 接种过疫苗”被误读为疫苗失效,却忽视了易感人群中 95% 以上都已接种(分母问题)
4.6. 在金融与投资中
- “这次不一样”: 投资者聚焦于具体叙事(新经济、AI 革命)来为极端估值辩护,却忽视市场回调的历史基础概率
- 互联网泡沫: 人们用互联网的发展潜力为100倍以上的市盈率辩护,无视约 15 倍平均估值的历史基础概率
- 个股选择: 把公司层面的信息当作决定性依据,却忽视个股相对指数表现不佳的基础概率
- 风险投资中的乐观倾向: 投资决策基于创始人的个人魅力,而非初创企业失败的基础概率
- LTCM 崩盘: 诺贝尔奖得主的模型把近期的低波动率当作基础概率,忽视了市场恐慌的历史频率(“肥尾”)
- 房地产投机: “这个市场不一样”的信念忽视了房地产周期的历史基础概率
5. 真实案例研究
案例研究 1:Sally Clark,一位被错误监禁的母亲
-
背景: 1999年,英国律师 Sally Clark 失去了两个幼子,第一个夭折于出生后 11 周,第二个夭折于 8 周。她被控杀害两名婴儿。
-
发生了什么: 专家证人 Sir Roy Meadow 作证称,在一个富裕家庭中发生两例婴儿猝死综合征(SIDS)的概率约为 1/7300万(按 (1/8543)² 计算)。他把这比作押注一匹“大冷门”的赔率。
-
偏误如何起作用: 两个关键错误叠加。
- 违背独立性假设: Meadow 假定 SIDS 死亡是彼此独立的事件。实际上,遗传与环境因素会使第一例发生后第二例的可能性大得多,这些事件是条件依赖的。
- 基础概率忽视: 即便接受“1/7300万”这个数字,陪审团也需要把它与杀害两名婴儿的基础概率作比较。母亲谋杀两名孩子也同样极其罕见(也许是1/1亿)。在比较两个极其罕见的事件时,比值才是关键。如果两名孩子均因 SIDS 死亡的概率是1/7300万,而均遭谋杀的概率是1/1亿,那么 SIDS 实际上更有可能。控方孤立地抛出“1/7300万”,等于暗示谋杀是默认答案。
-
后果: Sally Clark 被定罪并判处终身监禁。皇家统计学会采取了极不寻常的举措,公开谴责本案所使用的统计推理。Clark 在第二次上诉后于 2003 年获释。由于无法从错误监禁和丧子之痛中恢复,她于 2007 年死于急性酒精中毒。
-
经验教训: 统计证据需要恰当的贝叶斯框架。法庭必须比较证据在互相竞争的假设之下的概率,而不能孤立地评估单一假设。专家证人需要接受统计素养训练。
案例研究 2:Lucia de Berk,荷兰护士
-
背景: 荷兰护士 Lucia de Berk 于 2003 年因其值班期间病人死亡的统计分析而被判七项谋杀罪和三项谋杀未遂罪。
-
发生了什么: 一位医院统计人员作证称,如此多的死亡恰好发生在她值班期间纯属偶然的概率为 1/3.42亿。
-
偏误如何起作用:
- 事后筛选: 只有在调查人员得知 Lucia 当班之后,这些死亡才被归类为“可疑”,这是典型的确认偏误与基础概率忽视的结合
- 忽视集群现象的基础概率: 在任何大型医院系统中,大数定律都保证,终究会有某位护士的值班分布看起来极不可能纯属偶然(德州神枪手谬误)
- 被忽略的替代假设: 病人在夜班期间死亡的基础概率(夜班时病情较重的患者受到更密切监护)未被恰当考虑
-
后果: Lucia 服刑六年多。在服刑期间她中风。独立统计学家后来的数学分析显示,她无罪的概率其实很高。她于 2010 年获得平反,荷兰当局承认这是该国历史上最严重的冤案之一。
-
经验教训: 大型数据集中的统计巧合并非因果关系的证据。事后分析需要极度谨慎。法庭需要对概率证据进行独立的统计审查。
案例研究 3:Robert Williams,人脸识别失误
-
背景: 2020年1月,底特律的黑人男子 Robert Williams 在家中当着家人的面被捕,起因是一套人脸识别算法把他的驾照照片与一起商店行窃案的监控画面匹配上了。
-
发生了什么: 警探向 Williams 出示监控图像,并说“电脑说就是你”。他被羁押了 30 小时后才获释。
-
偏误如何起作用:
- 假阳性悖论: 即便是准确率 99% 的人脸识别系统,在数百万张人脸的数据库中检索时,也会产生数千个错误匹配
- 自动化偏见: 调查人员把算法给出的“匹配”当作决定性证据,而非需要佐证的概率性提示
- 随机匹配的基础概率: 就像出租车问题一样,“目击者”(算法)有一定错误率,而“无辜人群”的规模极其庞大,因而产生大量假阳性
-
后果: Williams 遭到错误逮捕和羁押,其 DNA、指纹和入案照片被录入刑事数据库。他对底特律警察局提起诉讼。此案成为执法领域算法偏误的标志性范例。
-
经验教训: 算法证据必须以概率方式评估,不能被当作绝无差错。假匹配的基础概率必须传达给决策者。在基于算法匹配实施逮捕之前,应当要求有佐证证据。
历史案例:长期资本管理公司的倒闭
1998年,由诺贝尔奖得主 Myron Scholes 和 Robert Merton 掌舵的对冲基金长期资本管理公司(LTCM)轰然崩塌,几乎动摇了全球金融体系。
LTCM 精密的风险价值(VaR)模型依赖于显示市场低波动的近期历史数据。他们计算得出,重大亏损属于“10-sigma事件”,在统计上不可能发生。这些模型忽视了金融恐慌的历史基础概率,也就是市场分布的“肥尾”。它们也忽视了系统性相关的基础概率:在危机中,随着恐慌蔓延,所有相关性都会趋近于 1。
1998年8月俄罗斯债务违约时,“不可能”的事发生了。LTCM 在不到四个月内亏损 46 亿美元,最终需要美联储牵头的救助来阻止更广泛的金融传染。
教训在于:再精密的模型,只要忽视罕见事件的历史基础概率,就会留下灾难性的盲区。近期的具体状况并不能可靠地指示尾部风险。
6. 这种偏误的代价
6.1. 个人代价
- 恐惧与焦虑: 高估罕见威胁(空难、暴力犯罪、疾病)造成长期压力,同时却忽视了更可能发生的风险
- 关系受损: 凭一件印象深刻的事判断他人,忽视其一贯行为所体现的基础概率,导致不公正的判断和信任破裂
- 错失机会: 因生动的失败故事而回避有益的活动(乘飞机、手术、职业转换),却忽视成功的基础概率
- 财务损失: 依据引人入胜的叙事而非统计证据作出投资决策
- 医疗焦虑: 在不了解假阳性基础概率的情况下误读筛查结果
6.2. 职业代价
- 职业判断失误: 作职业选择时,只看某些引人注目的结果,忽视统计数据反映的职业发展轨迹
- 项目失败: “这个项目不一样”的思维导致反复低估成本与工期
- 招聘失误: 基于面试表现的刻板印象而非具有预测力的基础概率来挑选候选人
- 战略失误: 商业决策由竞争对手的轶事而非行业统计数据驱动
- 预测失败: 预测基于当下的叙事,忽视了类似情境的历史基础概率
6.3. 社会代价
- 冤假错案: 正如 Sally Clark 和 Lucia de Berk 案所示,法律程序中的基础概率忽视会摧毁无辜者的人生
- 政策资源错配: 资源被投向生动却罕见的威胁(恐怖主义),而更可能造成伤害的因素(交通死亡、疾病)却被忽视
- 算法不公: 以有偏数据训练的 AI 系统会延续并放大基础概率错误,导致警务、信贷和招聘中的歧视
- 公共卫生失灵: 对筛查统计数据的误解导致大规模的不当检测与治疗决策
- 金融危机: 无视估值基础概率的市场制造出泡沫,一旦不可避免地破裂便会伤及数百万人
6.4. 统计影响
关于基础概率忽视可测量影响的研究发现:
- 医疗决策: 研究显示,当疾病基础概率较低时,只有约 15% 的医生能正确解读阳性检测结果,导致大量过度诊断
- 陪审团判断: 模拟陪审团研究发现,当出现生动的证词时,基础概率信息基本会被忽略
- 预测准确性: Philip Tetlock 的研究发现,克服了基础概率忽视的“超级预测者”比专家的表现好 30% 以上
- 算法表现: ProPublica 对 COMPAS 再犯风险算法的分析发现,其基础概率偏误使黑人被告的假阳性率是白人被告的两倍
- 呈现格式的实测效果: McDowell 和 Jacobs(2017)对35篇文章、226项表现估计的元分析发现,自然频率格式使贝叶斯推理的答对率从约4%提高至约24%。这一方法有效,但仍有四分之三的人答错
7. 隐藏的益处
基础概率谬误背后的机制也有实际的适应价值,不能只看作认知缺陷。
快速威胁探测: 在漏掉一头捕食者就意味着死亡的环境中,对具体的危险线索反应过度,好过仔细计算群体统计数据。与假阴性(被吃掉)相比,假阳性(不必要的警觉)的代价较低。
社会智能: 读懂具体个体的意图,对社会成功而言比掌握人类行为的群体统计数据更重要。你需要读懂眼前这个人的意图,群体平均数无法代替他。
叙事式学习: 故事是人类跨代传递知识的方式。相比统计数据更偏好生动案例的这种“偏误”,正是我们能够从自身和他人的经验中学习的原因。
能量效率: 缜密的贝叶斯推理需要消耗大量能量。对大多数日常决策而言,快速的模式匹配只需一小部分认知成本便能产生足够好的结果。
权衡取舍: 彻底消除基础概率忽视需要持续不断地费力计算,反而会让决策陷入瘫痪。目标不是消除这一启发法,而是识别何时需要统计思维,尤其是在基础概率最为关键的法律、医疗、金融和政策领域。
8. 自我评估:你有这种偏误吗?
8.1. 警示信号清单
- 你常常认为“这次情况不一样”,却不去核查它与过往情境在统计上的相似之处
- 你觉得具体案例比统计摘要更有说服力
- 你曾根据令人印象深刻的轶事而非查阅数据来作决策
- 你很难相信某个医学检测结果可能是假阳性
- 你根据能否轻易想象出某个结果来估计它的概率
- 你会根据第一印象或单一行为迅速评判他人
- 你曾忽略“背景信息”,因为它看起来不如具体细节与当前问题相关
- 在讨论中你觉得基础概率统计数据“冷冰冰”或“没抓住重点”
- 当统计预测与你的直觉不符时,你曾感到意外
- 你抗拒用百分比思考,更偏好是/否式的判断
评分:
- 勾选 0-2 项:易感性低
- 勾选 3-5 项:易感性中等
- 勾选 6-8 项:易感性高
- 勾选 9-10 项:易感性极高
8.2. 自我反思问题
- 你上一次因为统计证据(而非某个动人的故事或例子)而改变想法是什么时候?
- 想想你最近作出的一个重大决定。你有没有研究过类似决定的成功/失败基础概率?
- 你是否曾因为某些统计数据“感觉与我的具体情况无关”而将其弃置不顾?
- 当有人向你讲述一则轶事时,你会不会本能地想:这段经历有多典型或多不典型?
- 有没有人对你说过,你太看重个别案例,而对数据重视不够?
8.3. 快速诊断情境
情境: 一种针对某严重疾病的新检测方法问世。该检测准确率为 99%(既能在疾病存在时检出,也能正确排除健康人)。在一般人群中,每 1,000 人中有 1 人患此病。你的检测结果呈阳性。你实际患病的概率是多少?
你会如何回答?
- A)约 99% → 易感性高(你把答案等同于检测准确率,忽略了基础概率)
- B)约 50% → 易感性中等(你感觉哪里不对,但算不出实际概率)
- C)约 9% → 易感性低(你正确整合了基础概率;在受检的 1,000 人中约有 10 例真阳性和约 100 例假阳性)
9. 在他人身上识别这种偏误
9.1. 行为指标
- 把统计论证斥为“冷冰冰”或“没抓住重点”,转而偏好个人故事
- 在作一般性论断时频繁使用“以我的经验”或“我认识一个人……”这类说法
- 把个别案例当作广泛规律的决定性证据
- 难以接受统计概括适用于自己的具体情况
- 在估计概率时过度看重近期或印象深刻的事件
- 面对基础概率数据时抗拒改变观点
9.2. 对话中的危险信号
处于这种偏误时人们常说的话:
- “但这个案例不一样……”
- “统计数据说明不了全部”
- “我知道数字是怎么说的,但是……”
- “我跟你说说我认识的一个人……”
- “统计数据什么都能证明”
他们提出的论证类型:
- 引用个别的成功/失败故事作为一般策略有效的证据
- 把例外情况当作典型结果的代表
他们回避提出的问题:
- “这种情况通常多久发生一次?”
- “类似情境下的成功率是多少?”
9.3. 情境触发因素
- 情感上的利害关系: 当结果关系重大时,具体案例信息会变得更有说服力
- 生动的例子: 近期的、戏剧性的或亲身经历的事件会压倒统计基线
- 复杂性: 当统计分析比较困难时,人们会退回到具有代表性的例子
- 时间压力: 快速决策更倾向模式匹配而非概率计算
- 叙事语境: 当信息以故事而非统计数据的形式出现时
- 权威的呈现方式: 当权威人士在不提供基础概率背景的情况下呈现案例信息时
10. 认知去偏策略
10.1. 即时技巧
- 追问“多久发生一次?”: 在接受个别化信息之前,明确询问基础概率。“这种结果一般有多常见?”
- “100 人”重构法: 看到一个概率时,想象有 100 个处于该情境中的人。每种结果分别会发生在多少人身上?
- 考虑替代假设: 竞争假设的基础概率是多少?(比如比较两名孩子均因 SIDS 死亡与均遭谋杀的发生率)
- 参照类预测: 找出与你处境相关的参照类,并查阅其历史结果
- 新闻检验法: 这个具体案例会上新闻,是不是因为它不寻常?如果是,那它多半不具代表性
10.2. 长期策略
- 练习贝叶斯思维: 定期做需要整合基础概率的概率题
- 记录预测日志: 记下预测及其概率值,之后核对结果以校准你的直觉
- 接受统计训练: 概率与统计的正规教育能提升对该谬误的抵抗力
- 建立基础概率资料库: 针对重要领域(健康、职业、财务)研究并记住相关的基础概率
- 结交懂统计的朋友: 与那些用概率方式思考、并愿意质疑你推理的人建立关系
10.3. 环境设计
- 使用自然频率格式: 把概率转换为“Y 中有 X”的形式,大脑处理起来更直观
- 制作决策清单: 在重要决策中把基础概率问题设为必经步骤
- 使用图标阵列: 概率的视觉化表示能减少分母忽视
- 预先承诺统计标准: 在接触具体信息之前,先界定哪些统计结果会改变你的看法
- 设计信息呈现方式: 把基础概率放在显眼位置,并置于个别化信息之前
10.4. 何时寻求外部意见
- 后果重大的决策: 医学诊断、法律裁判、重大投资、招聘决定
- 当你有强烈直觉时: 强烈的直觉可能意味着系统1占了上风,因此应找人核查统计数据
- 复杂的概率情境: 当多个条件概率相互作用时
- 情感牵涉: 当个人利害使客观推理变得困难时
- 专业能力不匹配: 当决策所需的统计专业能力是你所欠缺的
11. 实践练习
练习 1:筛查检测计算器
- 目标: 通过演算医学筛查情境,培养贝叶斯推理的直觉
- 所需时间: 20 分钟
- 所需材料: 计算器、纸
- 难度等级: 中级
- 步骤:
- 选择一种疾病,查找它在你所属人口群体中的患病率(基础概率)
- 查找针对该疾病的常见筛查检测的灵敏度和特异度
- 计算阳性预测值:阳性结果中有多少比例是真阳性?
- 计算阴性预测值:阴性结果中有多少比例是真阴性?
- 用一个针对 10,000 人群体的 2x2 表格将其可视化
- 反思问题:
- 阳性预测值是否让你感到意外?
- 这如何改变你对医学筛查的看法?
- 拿到检测结果后你应该向医生提出哪些问题?
- 频率: 每月一次,每次换一种疾病
练习 2:参照类预测
- 目标: 养成在作预测之前先寻找相关基础概率的习惯
- 所需时间: 30 分钟
- 所需材料: 网络、电子表格
- 难度等级: 中级
- 步骤:
- 确定一个你即将作出的决策或预测
- 界定参照类:有哪些类似的情境?
- 研究该参照类中各种结果的基础概率
- 根据使你的情况有所不同的具体因素来调整基础概率
- 记录你的推理过程和最终的概率估计
- 反思问题:
- 找到基础概率后,你最初的估计发生了怎样的变化?
- 哪些具体因素足以支持对基础概率作出调整?
- 你是否曾在没有证据的情况下就想把自己的情况视为“不一样”?
- 频率: 每次重大决策之前
练习 3:频率重构
- 目标: 练习把概率陈述转换为自然频率格式
- 所需时间: 15 分钟
- 所需材料: 一份概率陈述清单(来自新闻报道、研究论文)
- 难度等级: 初级
- 步骤:
- 从近期新闻中收集 5 条概率陈述(例如“5% 的并发症风险”)
- 把每一条重述为自然频率(例如“每 100 名患者中有 5 名”)
- 针对每一条,写下其余 95 名(或相应人数)会发生什么
- 留意这如何改变你对该概率的直觉感受
- 练习把频率版本解释给别人听
- 反思问题:
- 哪种格式让概率更容易理解?
- 换成频率格式后,有没有某些概率让你更担心,或不那么担心?
- 你如何在日常生活中运用这种重构方法?
- 频率: 每周一次
每日练习
基础概率之问: 每一天,当你形成某个观点或作出某个预测时,暂停一下,问自己“基础概率是多少?”如果你不知道,就花 60 秒查一查。
- 建议时长:每次 1-2 分钟
- 一天中的最佳时段:全天中作决策或判断的时刻
- 如何跟踪进展:在日志中记下你何时记得发问,以及从中学到了什么
每周挑战
预测审计: 每周回顾你作出的 3 个预测或判断。针对每一个,依次完成以下步骤。
- 判断你当时是否考虑了基础概率
- 查明基础概率实际上是多少
- 评估基础概率信息是否会改变你的判断
- 4 周后的预期成效:更清楚地意识到自己思维中的基础概率忽视;更能自然而然地考虑基础概率
- 反思日志提示:
- 哪类决策最容易触发我的基础概率忽视?
- 哪些策略能帮我记得去核查基础概率?
- 随着练习的推进,我的决策质量有何变化?
12. 针对特定人群
致领导者与管理者
在组织中,生动的成败案例往往比系统分析更能左右战略,基础概率谬误在这里尤其危险。
容易出现的问题:
- 招聘决策基于面试印象而非候选人基础概率
- 绩效评估锚定于令人印象深刻的事件而非稳定的指标
- 战略规划由竞争对手的轶事而非行业统计数据驱动
- 资源分配依据近期项目结果而非历史成功率
策略:
- 采用带标准化评分的结构化面试,以降低个人印象的影响
- 开展“事前验尸”演练,明确考虑项目失败的基础概率
- 要求对重大举措进行参照类预测
- 构建突出展示基础概率、同时呈现个别案例的仪表盘
- 培养“统计怀疑者”,并赋予他们质疑单凭生动案例作推理的权力
致家长与教育者
儿童尤其容易受基础概率忽视影响,因为他们主要通过例子和故事来认识世界。
教学方法:
- 用涉及概率的游戏(骰子、纸牌)来建立对基础概率的直觉
- 讨论风险(陌生人带来的危险、疾病、事故)时,提供每类风险实际有多常见的背景信息
- 指出新闻报道之所以报道某些事件,恰恰是因为它们罕见
- 示范统计思维:“这个例子很有意思。不知道它有多典型呢?”
- 教会他们区分“这件事发生过”和“这件事通常会发生”
适合各年龄段的解释:
- 6-10 岁:“有些事情经常发生,有些事情很少见。故事常常讲少见的事,因为它们出人意料。”
- 11-14 岁:“数字能告诉我们事情真正发生的频率,这和我们听说它们的频率是两回事。”
- 15 岁以上:介绍概率概念、贝叶斯定理和形式推理
致医疗专业人员
基础概率忽视会给诊断、筛查和医患沟通带来严重后果。
临床意义:
- 当症状匹配压倒患病率数据时,罕见病会被过度诊断
- 筛查项目的成效取决于人群基础概率,而不仅仅是检测准确率
- 阳性筛查结果引发的患者焦虑常常超出合理的担忧程度
- 治疗决策可能过度看重引人注目的个案报告,而非临床试验的统计数据
策略:
- 向患者沟通检测结果时使用自然频率格式
- 部署能呈现相关基础概率的临床决策支持系统
- 在诊断清单中要求明确考虑基础概率
- 使用图标阵列和视觉辅助工具来解释阳性预测值
- 把贝叶斯推理训练纳入医学教育
致金融专业人士
市场受各种叙事左右,因此投资要取得成功,就必须坚持考虑基础概率。
容易出现的问题:
- 泡沫估值中的“这次不一样”思维
- 风险模型中的近因效应(把近期波动率当作基础概率)
- 过度看重具体分析师的建议,而非行业基础概率
- 把基金经理的成功业绩记录归于能力而非运气
策略:
- 维护长期估值基础概率参考图表(市盈率、违约率等)
- 采用系统化的投资组合再平衡,确保纳入均值回归的假设
- 使用以历史数据校准分布的蒙特卡洛模拟
- 要求在投资理由中明确记录所依据的基础概率
- 研究历史上的泡沫与崩盘,以校准预期
13. 与其他偏误的相互作用
强化该偏误的其他偏误
| 偏误 | 相互作用方式 |
|---|---|
| 代表性启发法 | 核心机制是以相似程度代替发生频率来判断概率,直接导致基础概率忽视 |
| 可得性启发法 | 生动、易记的案例更容易浮现脑海,使其显得比基础概率所示更常见 |
| 确认偏误 | 我们寻找能印证模式匹配结果的信息,回避可能与之矛盾的基础概率数据 |
| 叙事谬误 | 我们需要连贯的故事,因此抽象的统计信息显得不完整,与问题的关联也不那么明显 |
| 锚定效应 | 最初的具体信息锚定了我们的估计,妨碍向基础概率作出恰当调整 |
抵消该偏误的其他倾向
| 偏误 | 如何起作用 |
|---|---|
| 重视基础概率 | 有些人能自然而然地恰当权衡基础概率;可以研究这些“超级预测者” |
| 统计训练效应 | 统计学教育促使系统2介入,帮助发现基础概率忽视 |
| 自动化 | 设计得当的算法能强制纳入基础概率考量(前提是算法自身没有偏误) |
常见的偏误链条
链条 1: 生动案例(可得性)→ 模式匹配(代表性)→ 基础概率忽视 → 自信的误判(过度自信)→ 错误得到印证(确认偏误)
链条 2: 锚定于具体案例 → 忽略群体数据 → 构建支持性叙事(叙事谬误)→ 抵制纠正性证据
打断连锁反应: 最有效的干预时机在早期,也就是生动案例吸引注意力之前。预先提供基础概率信息、使用频率格式,以及养成主动核查基础概率的习惯,都能阻止这一连锁反应开始。
14. 文化视角
关于基础概率使用的文化差异研究发现了一些有趣的规律。不过,忽视基础概率这一核心倾向似乎普遍存在。
跨文化研究发现:
- 研究一致发现,在西方、亚洲及其他文化背景下均存在基础概率忽视
- 有些证据显示,东亚参与者在某些情境中对基础概率的运用略好一些,这可能与整体性认知风格有关
- 无论文化背景如何,重视概率与统计的教育体系都能带来更好的基础概率整合
- 各文化的法律体系对统计证据的处理方式差异很大
| 文化类型 | 表现 |
|---|---|
| 个人主义文化 | 高度关注个体案例和个人责任,可能放大对群体统计数据的忽视 |
| 集体主义文化 | 对情境的更多关注可能有助于更好地整合基础概率,尽管证据尚不一致 |
| 高语境文化 | 包括“通常会发生什么”在内的隐性知识可能更容易受到关注 |
| 低语境文化 | 人们可能更期待明确呈现统计数据,也可能更好地理解这类信息 |
普遍性: 比起抽象的统计基线,人们更偏好具体生动的信息。这一核心现象似乎为人类所共有,根源在于早于文化分化的认知架构。
跨文化启示: 在不同文化背景下呈现统计证据时,需要谨慎选择表述方式。在某一法律或医疗体系中行之有效的做法,未必能直接移植到另一体系。
15. 迷思与误解
| 迷思 | 事实 |
|---|---|
| “人们忽视基础概率,说明他们是非理性的” | 呈现格式只解释了部分问题。Gerd Gigerenzer 的自然频率格式能提高答对率,但 McDowell 和 Jacobs(2017)的元分析显示,这一比例约为24%,而概率格式下约为4%。即使采用更好的格式,多数人仍会答错,因此不能把忽视基础概率完全归结为呈现问题 |
| “基础概率忽视意味着人们不会算概率” | 当基础概率看起来具有因果相关性时(Bar-Hillel 的研究),或当没有生动的个别化信息时,人们能正确使用基础概率 |
| “教育能消除这种偏误” | 统计训练有帮助但无法消除该偏误,即便是统计学家,在直觉判断中也会表现出这种偏误 |
| “基础概率永远最重要” | 在某些情境中,具体信息确实应当压倒基础概率,问题在于权重是否恰当 |
| “这是个现代问题” | 这种认知倾向由来已久;新出现的是它会引发灾难性错误的应用情境(医学、法律、金融、人工智能) |
16. 专家洞见
“受试者不愿从一般推出个别,其程度只有他们乐于从个别推出一般才能与之相比。” — Richard Nisbett 与 Eugene Borgida,“Attribution and the Psychology of Prediction”,Journal of Personality and Social Psychology(1975),丹尼尔·卡尼曼在《思考,快与慢》(2011)中引用。这句话常被误归于 Tversky 与卡尼曼。
丹尼尔·卡尼曼指出,人们判断某件事有多大可能发生时,会被它与刻板印象的相似程度所左右,尽管相似性并不能说明这件事有多常见。 — 概述自丹尼尔·卡尼曼,《思考,快与慢》(2011),“Tom W 的专业”一章
Gerd Gigerenzer 与 Ulrich Hoffrage 表明,当问题以自然频数(人类历史上接触统计信息时所用的形式)而不是概率来表述时,人们对基础概率的推理要好得多。 — 概述自 Gigerenzer 与 Hoffrage,“How to Improve Bayesian Reasoning Without Instruction: Frequency Formats”,Psychological Review 102(4)(1995),pp. 684-704
L. Jonathan Cohen 认为,那些声称证明了人类非理性的实验,往往用一套并不适合该任务的规范标准来评判受试者。 — 概述自 L. J. Cohen,“Can Human Irrationality Be Experimentally Demonstrated?”,Behavioral and Brain Sciences 4(3)(1981),pp. 317-331
17. 核心要点
-
基础概率忽视具有普遍性: 有具体信息可用时,所有人都倾向于低估统计基础概率的权重。这是人类认知架构的特性,而非个人的失败。
-
代表性启发法是其机制: 我们根据与典型形象有多相似来判断概率,忽视了它在群体中出现的频率。
-
格式有影响,但作用有限: 元分析显示,以自然频率(Y 中有 X)代替概率来呈现信息,能使答对率从约4%提高至约24%(McDowell 与 Jacobs,2017)。改善确实存在,但多数人仍会答错。
-
情境决定基础概率的使用: 当基础概率看起来具有因果相关性时,人们会使用它;当它看起来“只是统计数字”时,人们就会忽视它。
-
后果是灾难性的: 从冤假错案(Sally Clark、Lucia de Berk)到金融危机(LTCM、互联网泡沫),再到算法歧视,基础概率忽视参与造成了这些重大的社会失误。
-
去偏需要设计: 我们无法仅凭“决定”就重视基础概率。我们需要通过信息架构、清单和决策流程,让基础概率清楚可见,并与眼前的问题联系起来。
-
这种偏误也有益处: 在许多日常情境中,忽视基础概率的快速模式匹配能高效地适应环境。我们的目标是辨别何时确实需要统计思维。
18. 延伸资源
学术论文
- Tversky, A., & Kahneman, D. (1973). On the psychology of prediction. Psychological Review, 80(4), 237-251. https://doi.org/10.1037/h0034747
- Gigerenzer, G., & Hoffrage, U. (1995). How to improve Bayesian reasoning without instruction: Frequency formats. Psychological Review, 102(4), 684-704. https://doi.org/10.1037/0033-295x.102.4.684
- Bar-Hillel, M. (1980). The base-rate fallacy in probability judgments. Acta Psychologica, 44(3), 211-233. https://doi.org/10.1016/0001-6918(80)90046-3
- Kahneman, D., & Frederick, S. (2002). Representativeness revisited: Attribute substitution in intuitive judgment. In Heuristics and Biases (pp. 49-81). Cambridge University Press. https://doi.org/10.1017/cbo9780511808098.004
- Koehler, J. J. (1996). The base rate fallacy reconsidered: Descriptive, normative, and methodological challenges. Behavioral and Brain Sciences, 19(1), 1-17. https://doi.org/10.1017/s0140525x00041157
- Barbey, A. K., & Sloman, S. A. (2007). Base-rate respect: From ecological rationality to dual processes. Behavioral and Brain Sciences, 30(3), 241-254. https://doi.org/10.1017/s0140525x07001653
- McDowell, M., & Jacobs, P. (2017). Meta-analysis of the effect of natural frequencies on Bayesian reasoning. Psychological Bulletin, 143(12), 1273-1312. https://doi.org/10.1037/bul0000126
- Weber, P., Binder, K., & Krauss, S. (2018). Why can only 24% solve Bayesian reasoning problems in natural frequencies: Frequency phobia in spite of probability blindness. Frontiers in Psychology, 9, 1833. https://doi.org/10.3389/fpsyg.2018.01833
书籍
- Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.
- Gigerenzer, G. (2002). Calculated Risks: How to Know When Numbers Deceive You. Simon & Schuster.
- Gigerenzer, G., Todd, P. M., & ABC Research Group. (1999). Simple Heuristics That Make Us Smart. Oxford University Press.
- Tetlock, P. E., & Gardner, D. (2015). Superforecasting: The Art and Science of Prediction. Crown.
- Meehl, P. E. (1954). Clinical vs. Statistical Prediction. University of Minnesota Press.
书籍章节
- Meehl, P. E., & Rosen, A. (1955). Antecedent probability and the efficiency of psychometric signs, patterns, or cutting scores. Psychological Bulletin, 52(3), 194-216. https://doi.org/10.1037/h0048070
- Hattori, M., & Nishida, Y. (2009). Why does the base rate appear to be ignored? The equiprobability hypothesis. Psychonomic Bulletin & Review, 16(6), 1065-1070.
19. 速览卡
| 要素 | 内容 |
|---|---|
| 偏误名称 | 基础概率谬误 |
| 定义 | 判断概率时忽视一般统计信息,转而偏重具体案例细节 |
| 类别 | 信息过多 |
| 关键征兆 | 不核查统计相似性就断定“这个案例不一样” |
| 主要成因 | 代表性启发法,以与原型的相似程度来判断概率 |
| 最大风险 | 灾难性的司法不公、医疗误诊、金融危机 |
| 快速对策 | 在接受具体信息之前先问:“这种情况通常多久发生一次?” |
| 长期策略 | 练习参照类预测,并使用自然频率格式 |
| 谨记 | “具体案例会压倒整体信息,但统计数据才反映真实情况” |
20. 术语表
| 术语 | 定义 |
|---|---|
| 基础概率 | 在考虑任何具体证据之前,某事件在群体中的先验概率或发生率 |
| 贝叶斯定理 | 根据新证据更新概率的数学公式,其中纳入了基础概率 |
| 后验概率 | 考虑新证据之后某假设的概率 |
| 代表性启发法 | 一种心理捷径,通过某事物与原型的相似程度来判断概率 |
| 自然频率 | 以计数形式(如“100 中有 8”)而非百分比呈现的概率信息 |
| 假阳性悖论 | 当某种情况罕见时,即便检测准确,阳性结果也大多是错的 |
| 检察官谬误 | 把 P(证据|无罪) 与 P(无罪|证据) 相混淆 |
| 属性替代 | 用一个更容易回答的问题(相似性)代替较难的问题(概率) |
| 生态理性 | 一种观点,认为认知适应了环境结构,不能仅按规范标准判为“非理性” |
| 参照类 | 用于估计基础概率的相关比较群体 |
21. 讨论问题
供读书会、课堂或自我反思使用:
-
你能想到人生中某个重大决定,事后才意识到自己忽视了基础概率吗?你会做出哪些不同的选择?
-
“理性之战”讨论的是:基础概率忽视究竟是人类认知的“缺陷”还是“特性”。你的看法是什么,又有哪些启示?
-
鉴于我们已知陪审团存在基础概率忽视,法庭应如何处理统计证据?是否应设置专门的培训或专家要求?
-
Gigerenzer 认为,以自然频率呈现信息有助于在很大程度上“解决”基础概率忽视,但元分析显示,即使用这种格式,多数人仍会答错。谁应当负责以正确的格式呈现信息:个人、机构,还是教育者?对于仍会答错的四分之三的人,又该采取什么措施?
-
随着 AI 系统日益作出影响人类生活的决策,我们在应对算法中的基础概率偏误方面负有哪些义务?算法公平性应当如何定义?