聚类错觉 (The Clustering Illusion)

概览

类别 详情
定义 倾向于将在随机分布的小样本中不可避免产生的“连续出现”或“集群”,错误地视为有意义的模式,而不是随机概率。
分类 缺乏意义 (当信息存在空白时,我们会用刻板印象、一般情况和过去的经历来填补特征)
克服难度 非常困难
普遍程度 普遍存在
相关偏见 代表性启发式,赌徒谬误,热手谬误,幻想性错觉,空想性错视,德克萨斯神枪手谬误,小数定律

1. 快速总结

我们的大脑是寻求模式的机器,进化出了在混乱中找出秩序的能力:草丛中的沙沙声预示着捕食者,云层的形成预示着风暴。这套生存机制有它的阴暗面,就是我们会在没有模式的地方看到模式。观察随机数据时——无论是股票价格、地图上的癌症病例,还是篮球运动员的连续命中——我们会把随机性自然产生的“块状分布”当成有意义的“集群”。真正的随机性并不是均匀分布的;它是成块的,而我们的大脑会将这些块误认为是某种潜在力量在起作用的证据。


2. 背后的科学

2.1. 发现与历史

聚类错觉在人类认知研究中有深厚的根基,尽管这个概念是通过几个关键发展逐渐成型的:

  • 20世纪70年代:以色列心理学家阿莫斯·特沃斯基 (Amos Tversky) 和丹尼尔·卡尼曼 (Daniel Kahneman) 发现了代表性启发式,这为我们为什么会误解聚类提供了心理学基础。
  • 1958年:德国神经学家克劳斯·康拉德 (Klaus Conrad) 创造了“幻想性错觉” (apophenia) 一词,用于描述倾向于在不相关事物之间感知到有意义联系的更广泛倾向,最初在精神分裂症背景下提出。
  • 1985年:吉洛维奇 (Gilovich)、瓦隆 (Vallone) 和特沃斯基的里程碑式“热手”研究将聚类错觉引入了主流科学讨论中。
  • 1991年:托马斯·吉洛维奇 (Thomas Gilovich) 的书《我们如何知道并非如此》(How We Know What Isn't So) 正式命名并普及了“聚类错觉”,作为一种独特的认知偏见。
  • 2018年:米勒 (Miller) 和桑朱尔霍 (Sanjurjo) 的数学再分析表明,即使是研究这种错觉的研究人员也犯了统计学错误,可见我们在这种偏见面前有多么脆弱。

2.2. 关键研究人员

研究人员 贡献 年份
阿莫斯·特沃斯基 & 丹尼尔·卡尼曼 发现了代表性启发式并记录了“小数定律” 20世纪70年代
托马斯·吉洛维奇 在《我们如何知道并非如此》一书中命名并系统地分析了聚类错觉 1991
罗伯特·瓦隆, 托马斯·吉洛维奇, & 阿莫斯·特沃斯基 进行了最初的“热手”研究 1985
威廉·瓦赫纳尔 (Willem Wagenaar) & 玛雅·巴尔-希勒尔 (Maya Bar-Hillel) 记录了随机序列感知中的交替偏见 1991
鲁玛·福尔克 (Ruma Falk) & 克利福德·科诺尔德 (Clifford Konold) 提出了随机性感知的编码假说 1997
约书亚·米勒 & 亚当·桑朱尔霍 确定了连续选择偏见,部分恢复了热手效应 2018
R.D. 克拉克 (R.D. Clarke) 对V-2火箭撞击的统计分析证明了随机分布 1946

2.3. 里程碑研究

热手研究 (Gilovich, Vallone, & Tversky, 1985)

这项研究调查了篮球球迷、球员和教练普遍存在的一种信念,即球员会“发烫”——成功会孕育成功。

方法论:

  • 调查了100名篮球球迷关于他们对连续投篮命中的信念
  • 分析了1980-81赛季费城76人队的投篮记录
  • 检查了条件概率:前一次命中后,命中的概率是否会增加?
  • 分析了波士顿凯尔特人队的罚球记录(去除了防守变量)
  • 与康奈尔大学校队球员进行了受控投篮实验

主要发现:

  • 91%的球迷认为球员在之前投篮命中后,下次命中的机会更大
  • 84%认为把球传给刚刚连续投篮命中的球员很重要
  • 实际数据显示,投篮命中的概率与之前的结果无关
  • 观察到的“连续”数量完全符合随机序列中的预期
  • 球员预测自己命中和投失的能力并不比瞎猜好,即使他们“感觉很烫”

结论: 研究人员得出结论,热手是由聚类错觉以及记忆偏见(记住连续命中的情况而忘记交替出现的模式)共同产生的认知错觉。

米勒-桑朱尔霍的反驳 (2018)

三十年后,经济学家约书亚·米勒和亚当·桑朱尔霍发现了原始方法论中一个微妙但至关重要的缺陷:连续选择偏见 (streak selection bias)。

发现:

  • 在任何有限的二元数据序列中,在连续成功之后取得成功的预期比例,在数学上预计将小于成功的潜在概率。这是反直觉的,但在数学上是可证明的。对于100次抛硬币,正面之后出现正面的预期概率约为0.46,而不是0.50。

影响:

  • GVT假设球员在命中后有50%的命中率表明没有热手
  • 正确的基线实际上是大约46%,这意味着命中率为50%的球员比随机预期高出了大约4个百分点
  • 重新分析发现了热手效应存在统计学显著证据

宏观教训: 连聚类错觉的研究者本人也栽在了对随机性的统计学误解上,可见这种偏见扎根之深。

克拉克的V-2轰炸分析 (1946)

英国精算师R.D. 克拉克对德国V-2火箭对伦敦南部的撞击进行了统计分析。

方法论:

  • 将伦敦南部划分为576个面积相等的网格(每个0.25平方公里)
  • 追踪了这些网格内537枚炸弹的撞击
  • 应用泊松分布来预测纯随机下的预期结果

结果:

每格命中数 泊松预期 实际观察
0 226.9 229
1 211.4 211
2 98.5 93
3 30.6 35
4 7.1 7
5+ 1.6 1

结论: 让伦敦人相信特定街区被当成目标的“聚类”现象,完全符合随机概率。

2.4. 神经学基础

聚类错觉涉及几种认知机制和大脑系统:

模式识别系统:

  • 大脑的视觉皮层和模式识别网络在进化中被调整为检测规律性
  • 颞叶处理序列信息并识别偏离预期模式的情况
  • 当检测到聚类时,这些系统会发出“检测到模式!”的信号,即使根本没有模式存在

编码机制 (Falk & Konold):

  • 人们根据在大脑中编码一个序列的难易程度来判断随机性
  • 像“正正正正正正”这样的序列很容易编码(“六个正面”) → 被判定为非随机
  • 像“正反正正反正”这样的序列很难编码(需要死记硬背) → 被判定为随机
  • 随机过程偶尔会产生“可压缩”的聚类,大脑会将其标记为模式

多巴胺能奖励系统:

  • 模式检测触发奖励路径,当我们发现聚类时,在神经层面获得一种“快感”
  • 这创造了一个正反馈循环,加强了寻求模式的行为
  • “连接点滴”的快感促使持续的模式检测,即使是错误的

注意力系统:

  • Stian Reimers 的研究表明,交替偏见可能反映了为变化检测而调整的注意力系统
  • 在自然环境中,变化发出需要响应的重要事件信号
  • 稳定状态(聚类)会受到额外关注,因为它们偏离了预期的交替

3. 进化起源

聚类错觉是我们最大的进化优势——快速识别因果关系的能力——的阴暗面。

祖先的生存优势: 在祖先的环境中,检测模式的能力是生存的先决条件:

  • 认识到高草丛中的沙沙声与捕食者相关可以挽救你的生命
  • 识别特定云层的形成预示着风暴可以使人做好准备
  • 注意到某些植物聚集在水源附近有助于觅食
  • 发现动物足迹聚集在水坑周围提高了狩猎成功率

成本收益不对称: 从进化的角度来看,假阳性(看到不存在的模式)的成本远远低于假阴性(错过存在的模式):

  • 假阳性:你因为风吹的沙沙声而逃跑 → 轻微的能量消耗
  • 假阴性:你忽略了其实是捕食者的沙沙声 → 死亡

这种不对称性对模式敏感的头脑产生了强大的选择压力,即使他们偶尔“疑神疑鬼”。

现代的错配: 这种对结构的敏感度在以下现代世界中变得不适应:

  • 执行随机游走的金融市场
  • 遵循统计分布的疾病发病率
  • 产生数学上随机序列的洗牌算法
  • 由概率论主导的体育统计

我们的大脑将祖先的模式检测算法应用于现代的随机数据,在巧合中看到因果关系,在意外中看到意图。


4. 这种偏见如何表现

4.1. 在日常生活中

赌博和游戏:

  • 相信老虎机在连续亏损后“该”吐钱了
  • 认为彩票中的“幸运数字”是有意义的,因为它们以前出现过
  • 将纸牌游戏中的连续赢牌视为“手气好”的证据

体育迷:

  • 坚持认为当你看球时,你的球队“总是”输
  • 基于令人难忘的表现相信某些球员有“大心脏” (clutch)
  • 基于针对你球队的连续判罚感知到裁判的偏见

音乐和娱乐:

  • 当洗牌连续播放某些艺术家的歌曲时,相信你的音乐流媒体服务对他们有“偏好”
  • 认为某种特定流派“总是”在特定时间出现

迷信:

  • 基于巧合的聚类发展出仪式(穿“幸运”衣服)
  • 相信好运或坏运的“连续”
  • 在随机的日常事件中看到有意义的模式

4.2. 在职场中

绩效评估:

  • 经理们基于最近表现出的结果聚类,认为员工处于“火热”或“低迷”状态
  • 基于简历中的连续经历而不是整体记录来评估求职者
  • 基于最近的表现聚类,相信某些团队或部门有“势头”

销售和业务发展:

  • 追求那些仅仅是随机成功聚类的“热门”线索
  • 在随机失败聚类后放弃有前途的策略
  • 基于巧合的结果,认为某些时间、地点或方法天生就更好

项目管理:

  • 基于结果聚类感知项目有“势头”或被“诅咒”
  • 基于最近的表现连续性做出资源分配决策
  • 对延期或成功的聚类反应过度

4.3. 在商业和营销中

消费者操纵:

  • 赌场利用聚类错觉,展示最近的中奖号码,鼓励玩家在“热门”或“该出”的数字上下注
  • 营销产品成功的“火热势头”以产生错失恐惧症 (FOMO)
  • 通过选择性报道胜利和推荐来创造人为的聚类

产品设计:

  • Spotify和Apple重新设计了他们的洗牌算法,使其“不那么”随机,因为真正的随机对用户来说感觉“坏了”
  • 智能洗牌算法主动防止聚类,以符合用户对“随机”的期望
  • 游戏设计师操纵感知的随机性,使其感觉更“公平”

销售策略:

  • 展示最近购买的聚类以暗示热门产品
  • 在展示销售聚类后使用“限时”优惠
  • 呈现用户评价聚类以暗示普遍满意

4.4. 在政治和媒体中

民意调查和选举:

  • 基于误差范围内的随机波动感知民意调查数据中的“势头”
  • 基于聚类结果相信某些地区或人口结构正在“转变”
  • 媒体报道将随机聚类放大为重大趋势

新闻报道:

  • 基于随机事件聚类报道“犯罪浪潮”
  • 对健康数据中的统计噪声使用“流行病”语言
  • 围绕巧合事件聚类编造叙事

阴谋论:

  • 将不相关的事件联系成有意义的模式
  • 在时间巧合中看到有意的协调
  • 将随机数据聚类解释为隐藏力量的证据

4.5. 在医疗保健中

癌症聚类:

  • 当社区中出现随机的癌症病例聚类时,社区会感到恐慌
  • 要求对统计噪声的环境原因进行调查
  • 长岛乳腺癌研究项目(20世纪90年代)花费了3000万美元调查一个感知到的聚类,该聚类在很大程度上被人口结构和检测偏见所解释

诊断错误:

  • 医生基于最近的患者聚类感知疾病“模式”
  • 基于最近一连串的阳性发现过度下达检测指令
  • 将随机症状聚类归因于特定原因

治疗评估:

  • 患者基于巧合的症状改善聚类认为治疗有效
  • 基于随机副作用聚类停止用药
  • 替代医学靠把随机的好转聚类错误归因于疗法而兴盛

4.6. 在金融和投资中

技术分析:

  • 在随机价格数据中识别“头肩顶”、“双顶”等模式
  • 研究表明,分析师在计算机生成的随机游走图表中也会识别出这些相同的模式
  • 围绕实为统计噪声的模式建立交易策略

追逐趋势:

  • 投资者将连续的正收益感知为基本价值发生了改变的“热门”股票
  • 在随机聚类的顶部买入(在连续上涨发生之后)
  • 等同于热手谬误的金融版

羊群行为:

  • 追随其他投资者聚类行为而不是基本面分析
  • 研究表明,这在金融素养较低的市场中尤为明显
  • 基于感知的势头制造自我强化的泡沫

损失感知:

  • 连续的下跌日被视为需要恐慌性抛售的“崩盘”
  • 标准差内的随机波动触发不成比例的恐惧反应
  • 损失聚类感觉比等效的收益聚类更重大

5. 现实世界案例研究

案例研究 1:V-2火箭袭击伦敦 (1944-1945)

  • 背景: 在第二次世界大战期间,纳粹德国向伦敦发射了V-1飞行炸弹和V-2弹道火箭。V-2本质上是一种带有大误差范围的无制导导弹,旨在对城市进行无差别打击。

  • 发生了什么: 伦敦人观察到炸弹似乎成群落下。伦敦南部的特定街区遭到反复打击,而相邻的行政区则幸免于难。伴随着诸如目标街区有德国间谍、故意针对穷人或引导向特定地标的理论,恐慌蔓延开来。

  • 起作用的偏见: 居民们期望随机轰炸在整个城市中产生均匀分布。当他们观察到聚类——一些地区被多次击中,而另一些地区完好无损——他们拒绝了随机性,并寻求因果解释。

  • 后果: 聚类错觉引起了恐慌,导致从“成为目标”的地区迁移,街区之间产生怨恨,并误导了民防资源。大量精力浪费在寻找不存在的间谍上。

  • 吸取的教训: R.D. Clarke在1946年的统计分析证明,影响模式符合泊松分布——这正是纯随机产生的样子。在任何随机分布中,均匀是不可能的;有些地区必定会被击中多次,而其他地区则完全逃脱。

案例研究 2:长岛乳腺癌研究项目 (20世纪90年代-2000年代)

  • 背景: 纽约长岛拿骚和萨福克县的女性观察到,乳腺癌发病率似乎异常高。“九分之一”(1 in 9) 等草根运动游说进行调查,假设环境毒素——杀虫剂、电磁场、工业径流——是原因。

  • 发生了什么: 政治压力导致国会授权开展长岛乳腺癌研究项目 (LIBCSP),这是一项耗资3000万美元、由美国国家癌症研究所协调、历时十多年的庞大综合研究。

  • 起作用的偏见: 居民感知到一个有意义的癌症病例聚类,并假设这一定有当地的环境原因。这就是“德克萨斯神枪手谬误”——在观察数据点后,围绕它们画一个靶心。

  • 后果: 在对土壤、水、灰尘和血液样本进行详尽调查后:

    • 未发现有机氯 (DDT/PCB) 与乳腺癌之间有关联
    • 未发现与电力线有关联
    • 只有与多环芳烃有微弱且无决定性的关联
    • “聚类”很大程度上归因于人口结构(富裕人口且晚育——一个已知的危险因素)和检测偏见(高乳房X光检查率发现了更多癌症)
  • 吸取的教训: 并非每一个聚类都有环境上的确凿证据。人口结构因素和检测率可能造成表面的聚类,这些是统计上的假象,而不是当地病因的证据。

历史例子:马林县癌症“聚类”

类似现象也发生在加利福尼亚州马林县——另一个乳腺癌发病率很高的富裕地区。虽然居民担心环境原因:

  • 后来的研究揭示,该“聚类”部分是由于在富裕人口中激素替代疗法 (HRT) 的高使用率驱动的
  • 当 HRT 使用率下降(随着研究将它与癌症风险联系起来)后,发病率下降了
  • 因果联系是存在的,但不是聚类错觉所暗示的环境联系
  • 该模式表明了聚类错觉如何引导调查人员向错误的方向搜索

6. 这种偏见的代价

6.1. 个人代价

经济损失:

  • 追逐实为随机聚类的“热门”投资趋势
  • 在随机亏损连续后放弃合理的策略
  • 相信“该赢了”或“连赢手气”而导致的赌博损失

情绪困扰:

  • 感知个人“霉运连连”带来的焦虑
  • 迷信行为限制日常决策
  • 基于巧合的负面事件聚类产生不合理的恐惧

关系损害:

  • 基于巧合事件感知伴侣的行为模式
  • 从随机观察聚类中产生毫无根据的怀疑
  • 确认偏见强化基于聚类得出的结论

机会成本:

  • 在随机的早期失败后放弃有希望的尝试
  • 因等待感知到的“合适时机”而错失良机
  • 在迷信仪式上浪费精力

6.2. 职业代价

投资损失:

  • 研究表明,由于追逐趋势行为,散户投资者的表现始终低于指数
  • 基于感知模式过早卖出赢家并持有输家太久
  • 基于虚幻信号过度交易产生的交易成本

职业决策:

  • 基于短期的结果聚类离职或放弃职业道路
  • 经理基于面试“连击”做出糟糕的招聘决策
  • 感知的负面绩效模式带来的绩效焦虑

商业战略失败:

  • 公司在几个随机的惨淡季度后放弃合理的战略
  • 基于感知部门“势头”的资源错配
  • 在消费者行为数据中寻求模式而腐化的市场研究

6.3. 社会代价

公共卫生资源:

  • 花费数百万美元调查统计噪声(例如,耗资3000万美元的长岛研究)
  • 将资源从真正的公共卫生威胁中转移出来
  • 当调查未发现原因时,社区感到焦虑和不信任

政策误导:

  • 对随机犯罪聚类采取“打击犯罪浪潮”应对措施
  • 基于统计假象制定环境法规
  • 资源分配到非问题上,而真正的问题却得不到解决

市场效率低下:

  • 集体追逐趋势导致泡沫和崩盘
  • 羊群行为放大了市场波动
  • 资本被错配到仅是随机的“热门”板块

6.4. 统计影响

研究发现:

  • 热手研究发现,91%的篮球球迷持有聚类错觉信念
  • Wagenaar 和 Bar-Hillel 发现,人类生成的“随机”序列具有约60-70%的交替率(真正的随机=50%)
  • 米勒-桑朱尔霍的修正表明,即使是训练有素的统计学家也会将真实的随机效应低估约4个百分点
  • Clarke的V-2分析表明,尽管后果严重,公众的看法仍系统性出错

7. 隐藏的好处

尽管聚类错觉有其代价,但它可能服务于适应性目的:

快速模式检测:

  • 在确实存在模式的环境中,快速检测提供了生存优势
  • 这种偏见可能代表了对模式常见的祖先环境的最佳校准
  • 当错过真实模式的代价很高时,“宁可信其有,不可信其无”是适用的

加速学习:

  • 感知模式——即使偶尔是错误的——也可能加速在真正有规律环境中的学习
  • 建立联系的意愿使因果推理得以发展
  • 科学家本身依赖模式感知来产生假设

社会协调:

  • 对模式的共同信念(团队势头,幸运物品)可以通过类似安慰剂的机制产生实际效果
  • 即使在统计上没有根据,热手信念也可以改善团队协调
  • 从感知到的“连胜势头”中获得的信心可以通过心理机制提高绩效

动机效应:

  • 相信自己“状态大勇”可以维持度过困难时期的努力
  • 感知进度模式提供了维持毅力的情感奖励
  • 完全接受随机性可能会破坏目标导向行为

重要警告: 这些好处只在特定背景下成立。在已知随机过程的现代数据丰富环境中(市场、洗牌、统计分布),聚类错觉的成本通常超过了它的好处。


8. 自我评估:你有这种偏见吗?

8.1. 预警信号检查清单

  • 我相信有些老虎机“该”吐钱了
  • 我认为球员在体育比赛中确实会手感“火热”和“冰冷”
  • 我基于巧合的成功养成了一些迷信仪式
  • 我抱怨过洗牌算法“坏了”因为它重复播放艺术家
  • 我相信某些日子、时间或条件对我来说是幸运的
  • 我在股票图表中看到过“趋势”,并基于它们进行交易
  • 我在随机事件中感知到了模式并据此采取行动
  • 我确信我能预测某人何时“手气正顺”
  • 我相信“事情总是成三出现”或类似聚类信念
  • 我在短期的糟糕结果后放弃过策略

评分:

  • 勾选0-2个:易感性低
  • 勾选3-5个:易感性中等
  • 勾选6-8个:易感性高
  • 勾选9-10个:易感性极高

8.2. 自我反省问题

  1. 过去当你“势如破竹”时,你的基本技能是真的改变了,还是你只是经历了一次随机的成功聚类?

  2. 你是否曾经因为短暂的糟糕结果而放弃过一个合理的策略(节食、投资方法、工作方法)?回想起来,策略是有缺陷的,还是只是在经历随机变化?

  3. 你是否觉得真正的随机事件应该比实际情况“更分散”?连续重复对你来说感觉“不对劲”吗?

  4. 你是否注意到随机过程(彩票号码、体育比分、股票走势)中存在你认为有预测价值的模式?

  5. 当朋友或同事指出你所感知的模式可能是随机概率时,你通常如何反应?是防御还是开放?

8.3. 快速诊断场景

场景: 你在看一场篮球比赛。一名球员连续投中了5球。解说员说他“热起来了”。在还剩30秒时,你的球队落后2分并拥有球权。

你会如何看待这个情况?

  • A) “他很烫——把球给他!他投中这一球的可能性比他的赛季平均水平显示的要高得多。” → 高易感性

  • B) “他连中5个,感觉很了不起,但我知道他下一次投篮的实际概率可能接近他的赛季平均水平。话虽如此,他的信心可能会有一点帮助。” → 中等易感性

  • C) “他过去5次投篮与这次投篮无关。球该传给能拿到空位机会、且预期命中率最高的那个人,不管刚才发生了什么。” → 低易感性


9. 识别他人的这种偏见

9.1. 行为指标

在言语中:

  • 频繁使用诸如“连击”、“势头”、“火热”、“该到了”、“模式”等词语
  • 围绕巧合事件构建叙事(“自从我开始……”)
  • 对基于近期观察的预测充满信心

在决策中:

  • 追逐最近的赢家(投资、策略、方法)
  • 在短暂的负面连续情况后放弃方法
  • 基于感知的“时机”或“感觉”做出选择

在日常生活中:

  • 在不确定事件之前举行复杂的仪式
  • 对“运气”及其模式有强烈的意见
  • 倾向于在巧合中看到意义

9.2. 对话危险信号

处于这种偏见时人们说的话:

  • “他热起来了——继续给他传球!”
  • “我该赢了;我已经连输太多次了。”
  • “这是本周的第三次——肯定有事发生。”
  • “算法明显有偏见;它一直在播放同样的艺术家。”
  • “事情总是成三出现。”

他们提出论点的类型:

  • 引用短期结果作为潜在变化的证据
  • 将统计学解释视为“没有抓住重点”而驳回
  • 诉诸“感觉”或直觉而不是数据

他们避免问的问题:

  • “如果是纯属随机,这里实际会是什么样子?”
  • “我需要多少次观察才能确信这不是随机的?”

9.3. 情境触发器

情况:

  • 观察连续的结果(体育、赌博、市场)
  • 查看空间数据(事件分布图、发病图)
  • 评估最近的表现(个人的、职业的、他人的)

环境因素:

  • 时间压力鼓励快速匹配模式
  • 对结果的情感投入
  • 缺乏对实际基础比率的反馈

情绪状态:

  • 寻求解释和控制的焦虑
  • 寻找积极迹象的希望
  • 恐惧放大负面模式的感知

社会背景:

  • 强化模式信念的群体环境
  • 具有根深蒂固信念的专家社区(交易、体育)
  • 强调连续性和模式的媒体报道

10. 认知脱偏策略

10.1. 即时技巧

基础比率问题: 在接受一种模式之前,问:“如果这纯粹是随机的,我会期望看到什么?”如果观察到的模式属于随机预期范围,保留你的判断。

样本量检查: 问:“我有多少次观察?”记住,小样本天生就是呈块状分布的。要求更大的样本量再接受模式。

交替偏见修正: 提醒自己,真正的随机性产生的连续现象比你直觉预期的要多。像“正正正正正正”这样的序列并不罕见——在数学上它们周期性发生是必然的。

反事实测试: 问:“如果出现相反的模式,我也会同样强烈地注意到吗?”我们经常选择性地注意证实我们预期的模式。

德克萨斯神枪手警报: 当有人提出模式时,问:“这个模式是在看数据之前还是之后提出的?”应以极度怀疑的态度看待事后诸葛亮式的模式。

10.2. 长期策略

统计素养:

  • 学习基本的概率论和泊松分布
  • 了解随机序列到底是什么样子的
  • 明确研究赌徒谬误和热手谬误

决策日记:

  • 记录预测及其背后的原因
  • 随着时间推移跟踪结果,以校准你的模式检测能力
  • 回顾你过去感知到的“模式”——有多少是真的?

概率思维:

  • 练习以概率而不是确定性来思考
  • 拥抱不确定性作为随机过程所固有的东西
  • 区分“更有可能”和“一定”

寻找证伪证据:

  • 积极寻找与感知模式相矛盾的数据
  • 当感知到模式时咨询持怀疑态度的来源
  • 对证实和证伪证据施加同样的审查

10.3. 环境设计

增加样本量:

  • 构建在呈现数据前聚合数据的系统
  • 避免强调短期波动的实时推送
  • 创建强调长期趋势而非近期连续状况的仪表板

添加统计背景:

  • 与数据一起显示置信区间
  • 显示历史分布以供比较
  • 包括“如果是随机看起来会如何”的基线

实施冷静期:

  • 在感知到模式后延迟决定
  • 要求对基于模式的行动提供明确的理由
  • 建立对模式假设提出质疑的检查点

使用预先承诺:

  • 在观察结果之前制定决策规则
  • 承诺在规定时期内坚持策略,无论短期结果如何
  • 制造阻碍从而防止对模式做出下意识改变

10.4. 何时寻求外部意见

何时寻求统计学专家的帮助:

  • 根据感知的模式做出高风险的决定
  • 评估具有意义集群的声明(健康、表现、市场)
  • 设计涉及随机性的系统

何时寻求同行评审:

  • 你对某个模式建立了强烈的信心
  • 其他人对你感知的模式持怀疑态度
  • 该模式正在推动重大的行为改变

何时咨询领域专家:

  • 评估该领域是否真的有模式(有些确实有!)
  • 了解基础比率和预期变异
  • 在专业领域中区分信号与噪声

11. 实用练习

练习 1:抛硬币挑战

  • 目标: 体验真正的随机性是如何呈现“非随机”状态的
  • 所需时间: 15分钟
  • 所需材料: 一枚硬币、纸、笔
  • 难度级别: 初学者
  • 说明:
    1. 抛硬币100次并记录每一次结果(正或反)
    2. 在看数据之前,预测:你将观察到的最长连续次数是多少?
    3. 圈出每一次出现4次或更多相同结果的连续
    4. 计算这类连续的总数
    5. 将此与你的直觉进行比较——你预期的连续次数是更多还是更少?
  • 反思问题:
    • 你对连续的次数或长度感到惊讶吗?
    • 这个序列的感觉与你认为的“随机”有何不同?
    • 如果你看到这个序列而不知道它是抛硬币得来的,你会怀疑有模式吗?
  • 频率: 做一次,然后在你发觉自己在随机数据中感知模式时重复练习

练习 2:生成“随机”序列

  • 目标: 体验你自己的交替偏见
  • 所需时间: 10分钟
  • 所需材料: 纸、笔
  • 难度级别: 初学者
  • 说明:
    1. 不用抛硬币,写下一个由50个正和反组成的“随机”序列
    2. 计算交替(正→反或反→正的转换)的次数
    3. 计算你的交替率:交替次数 ÷ 49(可能的总转换次数)
    4. 与50%的真正随机预期进行比较
    5. 注意你的交替率高出了多少
  • 反思问题:
    • 在生成“随机”序列时,你为什么避免较长的连续情况?
    • 这个练习如何改变你对随机性的看法?
    • 这说明了你的直觉概率模型是怎样的?
  • 频率: 每当需要校准你的随机直觉时练习

练习 3:历史模式审计

  • 目标: 评估过去基于模式的决策
  • 所需时间: 30分钟
  • 所需材料: 记录过去决策的日记或笔记
  • 难度级别: 中级
  • 说明:
    1. 列出你根据感知的模式做出的5个决策(投资、关系、职业变动)
    2. 对每一项进行记录:你感知到了什么模式?有多少次观察支持了它?
    3. 调查结果:模式是否如你预期的那样继续?
    4. 估算:随机概率会预测什么?
    5. 计算你的“模式准确率”
  • 反思问题:
    • 你是否对未持续的模式过于自信?
    • 如果你假设那是随机的,会发生什么?
    • 你如何将所学应用到当前的决策中?
  • 频率: 每季度回顾

每日练习

“随机检查”习惯: 每天一次,当你注意到自己感知到一个模式(在新闻、工作、个人生活中)时,停下来问:“如果是随机的,我会期望出现这个吗?”花2分钟考虑在现实这种背景下,随机概率实际上会产生什么结果。

  • 建议持续时间: 2-3分钟
  • 最佳时间: 任何时候你发现自己在匹配模式时
  • 如何追踪进度: 记录模式有多少次经受住了你的审视

每周挑战

模式怀疑周: 在一周内,保持感知到的每一个模式的日志。对于每个条目,注意:

  • 感知到的模式

  • 支持它的观察次数

  • 随机概率会预测什么

  • 你认为它是真正模式的置信度 (1-10)

  • 4周后的预期结果: 大幅提高了对模式的怀疑态度和校准能力

  • 日记反思提示:

    • 有多少模式经受住了统计学审查?
    • 我对自己的模式检测倾向了解了什么?
    • 结果,我的行为发生了怎样的改变?

12. 针对特定受众

致领导者和管理者

领导层含义:

  • 抵制基于最近连续的业绩来评估员工
  • 认识到季度业绩包含大量的随机变化
  • 避免追逐市场、战略或部门的“势头”

团队干预:

  • 训练团队的基本统计思维
  • 在得出模式存在结论前建立最小样本量标准
  • 创建对基于模式的推理提出质疑的文化

决策过程:

  • 实施事前验尸 (pre-mortems),询问“如果这个模式是随机的会怎样?”
  • 要求任何基于模式的策略变更提供基础比率比较
  • 在对感知趋势采取行动之前设置审查期

组织设计:

  • 建立具有更长时间跨度的反馈系统
  • 设计在有意义的时间段内平均分配的指标
  • 避免突出短期波动的实时仪表板

致父母和教育工作者

适龄教学:

  • 使用抛硬币实验演示随机性 (8岁以上)
  • 讨论游戏中技能和运气的区别 (10岁以上)
  • 通过运动和游戏介绍概率概念 (12岁以上)

课堂活动:

  • 让学生生成“随机”序列,然后与真实的随机序列进行比较
  • 分析学校体育数据中的“热手势头”
  • 讨论为什么赌场展示最近的中奖号码

作为对抗偏见的榜样:

  • 当孩子感知到模式时,一起问校准问题
  • 当模式可能是随机的时展示不确定性
  • 赞扬认识到随机性的技能

致医疗保健专业人员

临床意义:

  • 认识到疾病聚集可能是统计学的假象
  • 避免基于患者就诊中最近的“模式”过度诊断
  • 了解社区对感知到的健康聚类的焦虑

患者沟通:

  • 帮助患者了解症状聚类可能并不表示潜在的模式
  • 解释基础比率和健康结果预期变化
  • 用统计学背景解决癌症聚类担忧

诊断考量:

  • 抵制可用性偏见放大最近的患者模式
  • 使用不依赖感知趋势的结构化诊断协议
  • 在聚类调查方面寻求统计学咨询

致金融专业人士

投资应用:

  • 教育客户关于收益中信号与噪声的区别
  • 实行最低持有期以防追逐连胜
  • 显示关于技术分析模式失败率的历史数据

客户沟通:

  • 让客户为正常波动中不可避免的损失聚类做好准备
  • 用长期预期将最近的业绩置于背景中
  • 通过基础比率教育解决热门股票/基金的请求

风险管理:

  • 区分真正的风险信号与随机聚类
  • 构建不需要预测模式的投资组合
  • 实施系统的再平衡,不管短期趋势如何

13. 与其他偏见的相互作用

放大聚类错觉的偏见

偏见 如何相互作用
确认偏见 (Confirmation Bias) 一旦我们感知到某种模式,我们就会选择性地注意到证实它的证据,而忽略反驳的证据,使错觉变得根深蒂固
可用性启发式 (Availability Heuristic) 令人难忘的集群(连续、戏剧性事件)更容易被回忆起来,使它们看起来比实际更常见、更有意义
后视偏见 (Hindsight Bias) 在看到结果后,我们认为该模式比实际情况更具可预测性,强化了模式是真实的这种感觉
叙事谬误 (Narrative Fallacy) 我们编造故事来解释聚类,使随机事件感觉在因果上相关,因此有意义

可以抵消该错觉的偏见

偏见 如何帮助
基础比率忽视(当被纠正时) 积极寻找基础比率迫使考虑如果是随机情况看起来会是什么样子
统计学训练 了解概率分布直接对抗模式错觉

常见的偏见链

热手级联反应: 聚类错觉 → 确认偏见 → 过度自信 → 糟糕决定

示例: 一个交易员感知到一只“热门”股票(聚类错觉),注意到证实的消息而忽略相矛盾的信号(确认偏见),变得自信该模式将继续(过度自信),并在顶部增加头寸(糟糕决定)。

癌症聚类级联反应: 聚类错觉 → 可用性启发式 → 德克萨斯神枪手 → 归因谬误

示例: 一个社区注意到几个癌症病例(聚类错觉),这些病例占据了注意力和记忆(可用性),在事后围绕它们画了一条地理边界(德克萨斯神枪手),并在没有证据的情况下归咎于环境原因(归因谬误)。

打断级联反应:

  • 在接受模式之前要求基础比率
  • 要求在分析数据之前先提供预设假设
  • 在面临高风险模式声明时寻求统计学咨询

14. 文化视角

关于聚类错觉在文化上差异的研究有限,但出现了几个模式:

普遍方面:

  • 在随机数据中感知模式的基本倾向似乎在跨文化中是普遍存在的
  • 这与其作为基本人类认知特征的进化起源相一致
  • 所有被研究的人口在生成“随机”序列时都表现出交替偏见

文化差异:

文化类型 表现
个人主义文化 可能更多地将聚类归因于个人技能或主动性(体育中的“热手”信念)
集体主义文化 可能更多地将聚类归因于命运、宿命或外部力量
高语境文化 可能在聚集事件之间感知到更丰富的联系模式
低语境文化 可能更狭隘地关注特定的集群,而没有更广泛的叙事

金融素养效应:

  • 在巴基斯坦的研究表明,在金融素养较低的地方,市场中的聚类错觉影响更大
  • 受教育程度更高的人口可能更好地识别随机性,但远未免疫
  • 即使是诺贝尔奖得主(卡尼曼)也表示,聚类错觉即使在明知是错误的情况下依然引人注目

文化迷信:

  • 不同的文化发展出不同的模式信念(幸运数字、日子、仪式)
  • 这些信念是普遍的聚类错觉的特定文化表达
  • 它们展示了这种偏见如何与文化叙事相互作用

15. 神话与误解

神话 现实
“随机意味着均匀分布” 真正的随机性本质上是块状的。均匀分布实际上是非随机的证据。
“我可以训练自己对这种偏见免疫” 即使是研究聚类错觉的研究人员,如吉洛维奇和特沃斯基,也承认它有引人注目的性质。认识到它有帮助,但并不能消除这种影响。
“热手被证明是一种错觉” 米勒和桑朱尔霍在2018年的研究发现原始研究存在方法上的缺陷。现在有证据表明篮球中确实存在微小但真实的热手效应。
“技术生成的随机性是真正的随机” 是的,但像Spotify这样的公司故意让他们的洗牌不随机,因为真正的随机对用户来说感觉“坏了”。技术必须迎合我们的偏见。
“癌症聚类总是表明存在环境原因” 许多被调查的癌症聚类是由人口统计特征、检测率和偶然性解释的统计学假象。真正的环境原因相对罕见。

16. 专家洞察

“我们是依赖捷径的认知吝啬鬼。发生聚类错觉是因为我们低估了随机偶然中固有的可变性。我们假设变异性意味着存在可变的原因。” —— 托马斯·吉洛维奇 (Thomas Gilovich),《我们如何知道并非如此》(1991)

“问题在于,对人类来说,真正的随机并不感觉随机。所以我们收到了大量用户抱怨它不是随机的。” —— Mattias Petter Johansson,前 Spotify 工程师

“人们期望由随机过程生成的一系列事件将代表该过程的基本特征,即使该序列很短。” —— 阿莫斯·特沃斯基 (Amos Tversky) & 丹尼尔·卡尼曼 (Daniel Kahneman),关于“小数定律”


17. 关键要点

  1. 随机性是块状的。 真正的随机分布包含聚类——数学上它们必须如此。均匀分布实际上是非随机的证据。

  2. 我们的模式检测是一项生存特征,而不是缺陷。 聚类错觉是帮助我们祖先生存的快速因果推理的阴暗面。

  3. 小样本不可靠。 “小数定律”是一种谬论。我们不能期望短序列能反映长期平均水平。

  4. 即使是专家也会中招。 米勒和桑朱尔霍表明,研究聚类错觉的研究人员在最初的分析中犯了统计错误。

  5. 技术迎合我们的偏见。 Spotify和Apple故意使它们的洗牌功能不那么随机,因为真正的随机性让用户觉得出错了。

  6. 高风险领域很脆弱。 公共卫生调查、金融市场和战略决策都会受到聚类错觉的扭曲。

  7. 意识到偏见有帮助但不能消除。 统计训练可以减少但不能根除偏见。结构性保障措施和决策过程是个人意识必不可少的补充。


18. 进一步资源

学术论文

  • Gilovich, T., Vallone, R., & Tversky, A. (1985). The hot hand in basketball: On the misperception of random sequences. Cognitive Psychology, 17(3), 295-314.
  • Miller, J. B., & Sanjurjo, A. (2018). Surprised by the hot hand fallacy? A truth in the law of small numbers. Econometrica, 86(6), 2019-2047.
  • Clarke, R. D. (1946). An application of the Poisson distribution. Journal of the Institute of Actuaries, 72(3), 481.
  • Wagenaar, W. A. (1972). Generation of random sequences by human subjects: A critical survey of the literature. Psychological Bulletin, 77(1), 65-72.
  • Falk, R., & Konold, C. (1997). Making sense of randomness: Implicit encoding as a basis for judgment. Psychological Review, 104(2), 301-318.

书籍

  • 吉洛维奇 (Gilovich, T.) (1991). 《我们如何知道并非如此:日常生活中人类理性的易错性》(How We Know What Isn't So: The Fallibility of Human Reason in Everyday Life). Free Press.
  • 卡尼曼 (Kahneman, D.) (2011). 《思考,快与慢》(Thinking, Fast and Slow). Farrar, Straus and Giroux.
  • 蒙洛迪诺 (Mlodinow, L.) (2008). 《醉汉的脚步:随机性如何主宰我们的生活》(The Drunkard's Walk: How Randomness Rules Our Lives). Pantheon Books.
  • 塔勒布 (Taleb, N. N.) (2005). 《随机漫步的傻瓜:偶然性在生活和市场中隐藏的角色》(Fooled by Randomness: The Hidden Role of Chance in Life and in the Markets). Random House.

书籍章节

  • Tversky, A., & Kahneman, D. (1971). Belief in the law of small numbers. In Judgment under Uncertainty: Heuristics and Biases (pp. 23-31). Cambridge University Press.

19. 总结卡片

要素 内容
偏见名称 聚类错觉 (Clustering Illusion)
定义 在随机数据聚类中感知到有意义模式的倾向
分类 缺乏意义
关键标志 相信连续结果表明了潜在概率的变化
主要原因 代表性启发式:期望小样本能反映大体量的属性
最大风险 基于随机噪声做出后果严重的决定(财务、健康、战略)
快速修复 问:“在这里,真正的随机事件实际上应该是什么样子?”
长期策略 培养统计素养,要求有意义的样本量才能接受模式
记住 “随机性是块状的——而且它本该如此。”

20. 术语表

术语 定义
幻想性错觉 (Apophenia) 倾向于在不相关的事物之间感知到有意义的联系
代表性启发式 (Representativeness Heuristic) 基于某物与心理原型的匹配程度来判断概率
泊松分布 (Poisson Distribution) 一种概率分布,预测在固定空间或时间内罕见事件的发生率
德克萨斯神枪手谬误 (Texas Sharpshooter Fallacy) 在观察数据后通过定义边界从数据聚类中得出结论
赌徒谬误 (Gambler's Fallacy) 认为过去随机事件会影响未来概率的信念(例如,认为某个数字“该出了”)
热手谬误 (Hot Hand Fallacy) 认为近期的成功会增加随机过程中未来成功的概率的信念
局部代表性 (Local Representativeness) 错误地认为小样本必须反映大总体的属性
交替偏见 (Alternation Bias) 在生成“随机”序列时,倾向于过多地切换、过少地重复
Fisher-Yates洗牌算法 (Fisher-Yates Shuffle) 一种产生一个列表在数学上完美的随机排列的算法

21. 讨论问题

用于读书俱乐部、课堂或自我反思:

  1. Miller-Sanjurjo 的研究表明,即使是研究聚类错觉的研究人员,在理解随机性方面也犯了错误。这告诉我们关于专业知识在克服认知偏见方面的局限性是什么?

  2. Spotify 选择使他们的洗牌算法不那么随机以满足用户。这是正确的方法吗?技术是应该迎合我们的偏见还是应该帮助我们克服它们?

  3. 长岛乳腺癌研究花费了 3000 万美元调查一个统计上的假象。这是资源浪费,还是对社区担忧的必要回应?公共卫生机构应该如何应对感知到的聚类?

  4. 如果热手确实存在(根据 Miller-Sanjurjo 的纠正),但只是很弱的存在,教练还应该调整他们的策略吗?在什么样的效果大小下,一种模式才具有实际意义?

  5. 在你自己生活的哪些方面,你可能会成为聚类错觉的受害者?你将如何设计一个测试来检查它?