均值回归

概览

类别 详情
定义 一种统计规律:只要某个结果部分取决于偶然,异常极端的结果之后通常会跟着一个更接近平均值的结果。这一现象本身并不是偏差。真正的偏差,准确地说叫“回归谬误”,是我们习惯于把这种向平均值的回归归功于期间所做的任何事情:一次严肃的谈话、新换的药、更换教练、那件幸运衬衫。
类别 意义不足(即使数据稀少,我们也能从中找出故事和规律)
克服难度 困难
普遍程度 普遍存在
相关偏差 热手效应(热手谬误)、赌徒谬误、虚假相关、代表性启发法、样本量忽视、结果偏见、安慰剂效应

1. 快速摘要

任何混合了技能与运气的分数,在出现一次极端读数之后,都会向其长期平均水平漂移回去,因为造成这一极端的运气不太可能重演。一次考砸的学生下一次往往会考得更好;四月份打击率高达.400的击球手随后会降温;在病情发作最严重那天去看医生的患者,一周后会感觉好些,不管治没治疗。Francis Galton 在1886年从家族身高中测量出了这一规律,Kahneman 和 Tversky 则在1973年表明人类的直觉会忽视它。麻烦在于,我们是在极端时刻采取行动的:在表现最好之后表扬,在表现最差之后惩罚,在症状高峰时用药,然后看着数字回落,就得出结论说是表扬或药起了作用。这个结论就是回归谬误,连受过训练的统计学家也会上当。


用大白话说

当某件事碰上特别好或者特别糟的一天,第二天通常会正常一些。这是它自己发生的。运气不会一直那么极端。错就错在,以为是你在中间做的事带来了变化。

比如你玩电子游戏,打出了有史以来最差的分数。你哥哥说你手柄握得不对,非要你换个握法。下一局,你的分数提高了。是新握法起的作用吗?也许吧。但那么差的分数主要是运气不好,你下一局本来就会好一些。现在你哥哥相信他教的握法管用,你也信了。

这里有个诀窍。当某件事在你改了之后变好了,问自己一个问题:在我改之前,它是不是糟得不寻常?如果是,那这个改变可能根本没起作用。换回老办法再玩几局,比一比。只有这样,你才能知道到底是什么真正帮上了忙。


2. 背后的科学

2.1. 发现与历史

Francis Galton 在19世纪70年代首先在香豌豆中注意到了这一规律:很大的种子长出的后代也大,但没有亲代那么大;很小的种子长出的后代则没有那么小。他称之为“回复”,并把它当作关于遗传的一个事实。

人类的数据来自1886年的论文《遗传身高中向平庸的回归》。Galton 收集了205对父母的928名成年子女的身高,并与父母合并后的“中亲”身高对照作图。高个子父母的孩子也高,但平均而言,孩子的身高只处在从总体均值到父母身高大约三分之二的位置。“平庸”在这里指的是中间,而不是质量低劣。Galton 起初以为这是遗传中的一种力量,后来发现,反过来把父母对照子女作图,也会得到同样的结果:只要两个测量值相关但不完全相关,回归就会出现,而且是双向的,不需要任何生物学原因。

这一谬误最清晰的早期展示出现在1933年,当时西北大学的统计学教授 Horace Secrist 出版了《商业平庸的胜利》。他追踪了数百家企业十年间的利润率,发现第一年利润率最高的企业到第十年已经滑向平均水平,而利润率最低的企业则有所上升。他把这解读为竞争在磨平卓越。Harold Hotelling 在《美国统计协会杂志》上评论这本书时指出,Secrist 不过是重新发现了回归,而且他自己数据中利润率的离散程度并没有缩小。

Donald Campbell 和 Julian Stanley 在1963年把这一教训带进了研究设计,将“统计回归”列为内部效度的威胁之一:任何因极端分数而被选出的群体,在接受任何处理之后都会显得有所改善。心理学随着 Kahneman 和 Tversky 1973年的论文《论预测心理学》加入进来,这篇论文表明,人们做预测时,就好像证据与结果之间的联系是完美的。Kahneman 后来讲述了它背后的故事:一位以色列空军飞行教官根据经验得出结论,表扬会让学员变差,吼他们会让他们变好。

关键里程碑:

  • 1877年:Galton 报告了香豌豆种子大小向平均值的“回复”
  • 1886年:Galton 的身高论文在928名成年子女中发现了约三分之二的回归比例
  • 1933年:Secrist 的《商业平庸的胜利》把回归误当作竞争法则;Hotelling 的书评指出了这一错误
  • 1963年:Campbell 和 Stanley 将统计回归列为对内部效度的一种威胁
  • 1973年:Kahneman 和 Tversky 表明人们的直觉预测是“非回归性的”
  • 1999年:Campbell 和 Kenny 出版《回归伪迹入门》
  • 2005年:Barnett、van der Pols 和 Dobson 在《国际流行病学杂志》上发表了他们的教程

2.2. 主要研究者

研究者 贡献 年份
Francis Galton 发现并命名了向平均值的回归 1877-1886
Horace Secrist 无意中提供了回归谬误最著名的例子 1933
Harold Hotelling 在《美国统计协会杂志》上诊断出 Secrist 的错误 1933
Donald Campbell 与 Julian Stanley 将统计回归列为内部效度的威胁之一 1963
Daniel Kahneman 与 Amos Tversky 表明直觉预测会忽视回归;提供了表扬与惩罚的例子 1973
Adrian Barnett、Jolieke van der Pols 与 Annette Dobson 为医学研究撰写了被广泛引用的教程 2005

2.3. 标志性研究

遗传身高中向平庸的回归(Galton,1886)

Galton 将928名成年子女按中亲身高分组,并列出了中位数。中亲身高比总体平均高3英寸的子女,平均比均值高约2英寸;中亲身高低3英寸的子女,平均比均值低约2英寸。关键在于这个结构:只要是用一个不完美的预测指标来做预测,最佳预测就会比预测指标本身更不极端。

论预测心理学(Kahneman与Tversky,1973)

受试者阅读一些人的描述,然后预测平均绩点之类的结果。这些描述几乎没有诊断价值,但预测却几乎和描述留下的印象一样极端:一段溢美之词就引出对极高绩点的预测。一个弱的预测指标本应得出接近平均值的预测;受试者的表现却好像它是完美的。作者把这称为“非回归性”预测,并将其与代表性启发法联系起来。论文还讨论了飞行训练的案例:教官们看到受表扬的学员下一次飞得更差,受训斥的学员下一次飞得更好,于是得出了错误的因果教训。

《商业平庸的胜利》与Hotelling的书评(Secrist,1933;Hotelling,1933)

Secrist 按基准年份把企业分成十分位组,并在整个20世纪20年代追踪每一组。每个最高十分位组都下滑了,每个最低十分位组都上升了。Hotelling 指出,如果按最后一年排序再往回看,也会出现同样的模式:1930年“最好”的企业在1920年更接近平均水平。没有任何东西在趋同。Secrist 挑出了极端值,然后看着其中的运气成分被冲淡。在随后的论争中,Hotelling 把这种方法比作通过把大象排成行和列来证明乘法表。

2.4. 神经学基础

目前没有专门针对回归谬误的脑成像研究,本节也不应假装有。现有的,是关于这一谬误所依赖的机制的一幅已经确立的图景。

大脑的学习系统根据时间先后来发现原因:做了某件事,看到变化,强化这一联系。中脑的多巴胺神经元放电强度与结果偏离预期的程度成正比(即 Wolfram Schultz 及其同事在20世纪90年代记录的奖赏预测误差),因此令人意外的事件,包括极端表现,会带有过大的教学信号。“反正也会发生”却没有相应的信号,因为反事实基线不是一个事件,不会产生意外。识别回归,意味着要用一个有意识的统计思考去推翻自动形成的联系,而这既慢又容易被跳过。


3. 进化起源

我们的祖先不需要“噪声”这个概念。他们需要快速学会哪些行动之后跟着哪些结果。当大多数变化都有原因、错误信念代价很小时,把每一个“先行动、后变化”的序列都当作因果证据,是一条好规则。

回归只有在一定的测量规模上才会成为问题。它需要一个被反复测量的数量、足以产生影响的随机变异,以及对极端值的筛选。远古人类很少在多次尝试中追踪数字,也从来没有对照组。在小样本中,随机成分非常大,因此几乎每一个观察到的变化都可以归功于某人最后做的那件事,而且没有任何反馈能教给人相反的教训。

这一谬误背后还有社会压力。一位在局势最糟时果断行动、干预之后局势又有所好转的领导者,会获得威望。由于最糟的局势通常确实会好转,在那个时刻进行的干预无论是否有价值,都会被形势所奖赏。同样的机制也奖赏惩罚:在最糟糕的行为之后施加管教,之后的行为会更好,于是崇尚惩罚的文化觉得惩罚得到了印证。


4. 这种偏差如何表现

4.1. 在日常生活中

  • 将感冒的好转归功于某种感冒药,而这种好转本就始于感冒最严重的时候,也恰好是大多数人伸手拿药的时刻
  • 认为在一张很糟的成绩单之后和孩子的一次“谈话”,带来了随后更好的成绩
  • 断定一个护身符或一套赛前仪式扭转了低迷
  • 期望一个曾经考得非常出色的孩子一直这么出色,并把下一次正常的成绩解读为退步

4.2. 在工作场所

  • 绩效考核中奖励上季度的明星员工并训斥落后员工,随后将下季度两者的水平靠拢解读为考核起效的证据
  • 仅针对因考核不合格而被送去参训的员工评估培训项目效果,而这些员工即便不培训表现本来也会有所回升
  • 管理者得出“批评管用、表扬适得其反”的结论,因为被批评的人刚刚表现很差,被表扬的人刚刚表现很好

4.3. 在商业和营销中

  • 针对在销量跌入低谷时推出的广告活动,依据上线次月的销售数据来评估其成效
  • 关于企业“扭转困局”的案例研究,而这些企业之所以被选中,正是因为研究开始时它们处在底部
  • 客户推荐证言来自那些在问题最严重时尝试了该产品的人
  • “进步最大”的门店排行榜,很大程度上只是在给基准期运气最差的门店排序

4.4. 在政治和媒体中

政府几乎按定义就是在极端情况下采取行动的。犯罪潮引来严打,表现最差的学校得到专项项目,所以每项政策无论是否奏效,从一开始就注定看起来很成功。

具体体现包括:

  • 在犯罪率激增期间出台治安整治举措,并将随后的下降归功于该举措
  • 学校问责机制中,得分最低的学校录得最大的“进步”,得分最高的学校则出现“退步”
  • 在近期事故发生率最高的路口安装测速摄像头,该路口随后的事故改善夸大了摄像头的真实作用
  • 民调报道将一次离群的极端民调视为新趋势,并将其向平均水平的回落称为“崩盘”

4.5. 在医疗保健中

医学是这一谬误危害最大的领域,因为患者在症状最严重时就医,而疾病本身又会波动。Barnett、van der Pols 和 Dobson(2005)以血压为例:凭一次偏高的读数招募受试者,那么在任何治疗之前,该群体的平均值在下一次测量时就会下降,因为有些读数偏高部分是出于偶然。Bland 和 Altman 1994年在《英国医学杂志》上也提出了同样的观点。在无对照的研究中,许多被归于安慰剂效应的改善其实是回归加上疾病的自然病程,这也是 Hróbjartsson 和 Gøtzsche 2001年的元分析发现安慰剂组与不治疗组差别如此之小的原因之一。

启示包括:

  • 有发作期的疾病(背痛、偏头痛、湿疹、抑郁症)会让几乎任何在发作期开始的治疗看起来都有效
  • 替代疗法靠这一模式兴旺起来,因为人们是在常规治疗于症状高峰期“失败”之后才去尝试它们的
  • 医生只在极端时刻观察过某种疗法时,可能会从经验中得出它有效的结论
  • 因症状好转而停药的患者,停掉的可能是真正起作用的药物,也可能是一种毫无疗效的药物

4.6. 在金融和投资中

  • 追逐去年表现最好的基金,而这些基金第二年的回报平均而言更接近平均水平
  • 在糟糕的一年之后解雇基金经理,在出色的一年之后聘请基金经理,等于高买低卖
  • 将一家公司创纪录的单季度财报视为迈上了新台阶,而非在充满噪声的分布中抽到了一个偏高的极端值
  • 把恐慌性低点之后的反弹归功于中央银行

5. 真实世界案例研究

案例研究 1:飞行教官

  • 背景: 20世纪60年代,当时还是以色列一名年轻心理学家的 Daniel Kahneman 在给以色列空军飞行教官讲课,讲的是奖励比惩罚更能促进技能学习这一发现。
  • 发生了什么: 一位资深教官提出异议。他说,每当他表扬一名学员动作做得干净利落,下一次往往会更差;每当他因为动作做砸而冲学员大吼,下一次往往会更好。他说,经验表明,表扬有害,惩罚有益。
  • 偏差如何起作用: 这位教官对自己看到的现象判断没错,对原因的判断却错了。一个好到值得表扬的动作,部分是运气,所以下一次很可能更普通;一个糟到要挨吼的动作,部分是坏运气,所以下一次很可能更好。Kahneman 当场做了演示:每位教官背对目标,把两枚硬币往身后的目标抛,第一次抛得最好的人第二次大多变差了,而中间没有任何反馈。
  • 后果: Kahneman 称这是他职业生涯中最令人满意的领悟之一。用他的话说,因为我们在好结果之后奖励、在坏结果之后惩罚,所以我们在统计上会因奖励他人而受罚,因惩罚他人而得到奖赏。
  • 教训: 单凭经验无法区分一项有效的干预和一项恰好在极端时刻施加的干预。只有与什么都不做相比较,才能区分。

案例研究 2:《体育画报》封面魔咒

  • 背景: 自20世纪50年代以来,体育迷们一直相信登上《体育画报》封面会带来厄运。密尔沃基勇士队的 Eddie Mathews 登上了1954年的创刊号;不久后,球队的连胜终结,他也摔断了一只手。
  • 发生了什么: 2002年1月,该杂志调查了自己的“魔咒”。撰稿人 Alexander Wolff 翻阅了每一期封面,发现略多于三分之一的封面人物在登上封面后不久,遭遇了可测量的表现下滑、伤病或其他不幸。那一期的封面上是一只黑猫,因为没有运动员愿意为它摆拍。
  • 偏差如何起作用: 运动员是在巅峰时登上封面的,而巅峰正是下一次测量最可能更低的那个点。再加上创纪录的赛季之后,一个正常的赛季看起来就像低迷,于是三分之一的“中招率”根本不需要魔咒来解释。“麦登魔咒”和“二年级低迷”是换了名字的同一种伪迹。
  • 后果: 球队在巅峰时续约,签下刚打出生涯最佳赛季的球员,然后为回归买单。像 Bill James 这样的分析师把这一规律称为“有机玻璃原理”,并建立了预测系统,把近期极端的赛季向每位球员的既定水平收缩。
  • 教训: 当引起注意的条件本身就是一种极端时,后续结果几乎总是没那么极端。任何对这种下滑的解释,都必须胜过那个完全不需要原因的解释。

历史案例:《商业平庸的胜利》(1933)

Horace Secrist 在大约十年的工作之后出版《商业平庸的胜利》时,是一位受人尊敬的统计学家和教科书作者。他按基准年份的利润率把几十个行业的企业分组,然后用几百页的表格追踪每一组。图表千篇一律:最好的组向行业平均水平下滑,最差的组向上爬升。Secrist 得出结论,认为竞争本身会侵蚀卓越、抬升失败。

Harold Hotelling 一眼就看出,这只是均值回归,别无其他。如果平庸真的在取胜,企业之间利润率的离散程度理应缩小,但并没有。Secrist 在通信栏目中为自己辩护,Hotelling 则用那个比这本书流传得更久的大象比喻作了回应。

这件事至今仍是统计学教学中的标准警示,因为掉进这个谬误的人是一位专业人士,工作认真,数据充足。只要依据极端值进行筛选,不管背后有多少数据,都必然会产生这种伪迹。


6. 这种偏差的代价

6.1. 个人代价

  • 把金钱浪费在药品、保健品和培训课程上,而它们之所以看似“见效”,仅仅是因为在跌入低谷时才被使用
  • 在人际关系中相信批评有效、温情适得其反
  • 孩子在比父母原本意愿更为严苛的管教方式下成长

6.2. 职业代价

  • 凭一个极端的季度就提拔或解雇员工,随后对“明星”感到失望,又对“问题”员工的回升感到意外
  • 把培训预算花在从未与对照组比较过的项目上
  • 自信地宣称“这个管用”,却在规范的评估中站不住脚,从而失去公信力

6.3. 社会代价

  • 将公共财政资金投入到仅因在问题顶峰期出台而看似有效的政策中
  • 学校系统根据逐年的变化进行排名和惩处,而这些变化大多是噪声
  • 靠病情最重时接受治疗的患者证言得以延续的疗法和替代疗法
  • 当那些“明显有效”的项目在随机试验中失败时,人们对评估的信任受到侵蚀

6.4. 统计影响

  • Galton 得出的人类身高回归比例约为三分之二:父母身高偏离均值3英寸的子女,平均而言偏离均值约2英寸
  • 期望的回归幅度与一减去两次测量之间的相关系数成正比;在相关系数为0.5的情况下,第一次测量的极端值在第二次测量时预计会失去与均值之间一半的差距
  • Hróbjartsson 和 Gøtzsche 在2001年的元分析中发现,对大多数结果指标而言,安慰剂组与不治疗组之间差别很小,这意味着在无对照的研究中,许多“安慰剂带来的改善”其实是回归和自然病程

7. 隐藏的益处

对理解回归现象的人来说,这一现象纯粹是收益。它是一件免费的预测工具:当你必须根据噪声很大的上一次读数预测下一次时,把猜测往平均值方向挪,你就能胜过大多数直觉。谬误本身也有一些并非全坏的副作用:

  • 让人们继续尝试: 相信干预有效,即使证据只是回归,也能让患者坚持服药、管理者坚持辅导、父母坚持参与。另一种可能就是习得性无助。

  • 提供无害的安慰: 护身符和逆袭的故事能让身处低谷的人获得掌控感。在代价很低时,低谷中一份虚假的能动感可能比真相更有价值。

  • 往往触及真实效果: 许多在极端情况下采取的干预措施确实管用,例如用抗生素治疗严重感染,或者与陷入困境的青少年严肃谈心。该谬误虽然夸大了实际效果,但行动的大方向往往是正确的。

这些益处只在利害关系不大时才成立。在医疗、政策和金融领域,把噪声当作信号的代价,远远超过感到一切尽在掌握带来的安慰。


8. 自我评估:你有这种偏差吗?

8.1. 警告信号清单

  • 当某件事在你改变做法后立刻好转,你便认定是这种改变促成了好转
  • 你相信某种药、保健品或仪式,是因为曾经有过一次戏剧性的康复
  • 根据你的经验,批评比表扬对人更有效
  • 你期望刚刚打出历史最佳战绩的人持续保持在这一水平
  • 你期望刚刚打出历史最差战绩的人持续处于这一糟糕水平
  • 在判断某项行动是否奏效时,你很少问“在我采取行动之前,情况是不是异常糟糕?”
  • 你会通过对比实施前后的数字来评判一个新项目,而不设对照组
  • 仅仅经历了一个糟糕的时期,你就会更换基金、供应商、医生或策略
  • 你最有可能在情况最为恶劣时尝试新事物,并在事后将其视为功臣
  • 你能说出好几件“扭转了局面”的事,但几乎没有一件与“什么都不做”比较过

评分标准:

  • 选中 0-2 项:易感性较低
  • 选中 3-5 项:易感性中等
  • 选中 6-8 项:易感性较高
  • 选中 9-10 项:易感性极高

8.2. 自我反思问题

  1. 回想一下你最近一次因为“对我管用”而推荐的疗法或技巧。你开始用它的时候,情况有多糟?
  2. 在你的工作中,谁会被单独拿出来表扬或纠正,又是在什么时候?这个时机是否与某个极端结果有关?
  3. 上一次你通过前后数据对比来评估一项改变时,如果完全不做出任何改变,“改变后”的数据本来会是什么样子?
  4. 你能想起某次自己结束的低谷吗?你当时忍不住想把它的结束归功于什么?
  5. 当你管理或教导的人有了一次突破性的表现,你会不会把接下来那次更普通的表现当作需要解决的问题?

8.3. 快速诊断场景

场景: 你团队的客户满意度得分通常在7.5分左右(满分10分),上个月降到了6.1分。你组织了一场两小时的服务标准工作坊。本月得分是7.4分。

你将如何应对?

  • A) 将工作坊推广至每个团队;它将得分提升了一分以上 → 易感性较高
  • B) 认为这很可能是成功的,但留意下个月的数据 → 易感性中等
  • C) 注意到6.1分是一个异常低的读数,所以无论如何,回到7.4分都是最可能的结果;在得出任何结论之前,先在一半团队中测试这个工作坊 → 易感性较低

9. 识别他人身上的这种偏差

9.1. 行为指标

  • 在极端时刻行动最果断,并把随后的好转当作对自己的印证
  • 保留一份“管用”的事情清单,却从未与“什么都不做”比较过哪怕一次
  • 将每一份“进步最大”的排行榜都解读为一系列成功干预的功劳
  • 对一次糟糕的结果做出重大调整,对一次出色的结果做出重大承诺
  • 根据“我亲眼看到的”而偏好惩罚胜过表扬

9.2. 对话危险信号

处于这种偏差影响下的人常说的话:

  • “我在状态最差的时候试了它,不到一周就好了。”
  • “每次我一表扬他,他就开始懈怠;每次我狠狠收拾他一顿,他就规规矩矩。”
  • “当初数字惨不忍睹,我们请来了顾问,现在你看看。”
  • “严打之后犯罪率下降了20%,你还需要什么证据?”

他们常提出的论证类型:

  • 没有对照组、也不提当初是什么促使采取行动的前后对比
  • 来自在问题最严重时寻求帮助的人的证言

他们回避的问题:

  • “如果我们什么都不做,事情本来会怎样发展?”
  • “最初促使我们采取行动的那个结果,究竟有多么反常?”

9.3. 情境触发因素

  • 任何因为某个数字异常高或异常低而做出的决定
  • 依据极端分数招募参与者的项目(补习班、高危患者名单、“问题”员工)
  • 会波动的状况,例如疼痛、情绪、过敏和皮肤问题
  • 危机,它们在顶点时到来,随后会得到缓解

10. 认知去偏策略

10.1. 即时技巧

  • “为什么是现在?”提问法: 在把任何变化归功于某项行动之前,先问为什么要在那个时候采取行动。如果答案是“因为当时情况异常糟糕(或异常好)”,就假定随后的变动有一部分是回归。
  • 收缩预测: 根据单个极端结果做预测时,从长期平均水平出发,只朝这个结果的方向移动一部分。过去与未来之间的联系越弱,移动得就越少。
  • 反向排序: 照 Hotelling 对 Secrist 所做的那样做。挑出期末的极端值,然后往回看。如果它们看起来也是从中间来的,那么你看到的就是回归。

10.2. 长期策略

  • 理解机制,而不是口号: 亲手用数字推演一个例子(Galton 的三分之二,或者相关系数为0.5时的一个极端读数),直到“回归不需要原因”这个想法让你觉得显而易见。
  • 记录极端情况预测日志: 每当出现引人注目的极端结果时,写下你对下一次结果的预测。按季度进行复盘,大多数人会发现自己的预测过于朝向最近那个极端结果倾斜。
  • 把筛选与评估分开: 如果必须依据某次测量进行筛选,就用另一项测量来评估,或者在筛选效应过去之后的较晚测量来评估。

10.3. 环境设计

  • 默认设立对照组: 凡是能先在半数符合条件的单元中试点的项目,都应采取这种方式。未经干预的另一半才是唯一诚实的基线。
  • 多次基线测量: 在依据极端值纳入任何人之前,要求进行两到三次干预前读数。取平均值可以去除筛选中的大部分偶然成分。
  • 为排名标出置信区间: 任何排行榜或“进步最大”榜单都应显示正常波动的范围,这样区间内的变动就不会被解读为变化。

10.4. 何时寻求外部意见

  • 当某项方案或疗法是因为某个数字极端才被采用的,而你正准备扩大推广时
  • 当你根据自己对他人下一次表现的经验,得出关于人的教训(表扬、管教、激励)时
  • 当前后对比是唯一的证据,而利害关系又很大时
  • 当你注意到自己尝试的每样东西似乎都奏效时

向谁求助:受过实验设计或流行病学训练的人,他们会先问筛选和对照,再问效应大小。你可以这样提出请求:“告诉我,在完全没有真实效应的情况下,这个结果可能是怎么出现的。”


11. 实践练习

练习 1:抛硬币的教官

  • 目标: 亲身体验均值回归,在完全不可能存在因果解释的情境下观察该现象
  • 所需时间: 20分钟
  • 所需材料: 两枚硬币、一个目标(地板上的纸杯)、计分表,至少四人参与
  • 难度级别: 初级
  • 操作步骤:
    1. 每个人背对目标站立,从肩膀上方朝身后的目标盲投两枚硬币。根据硬币落点距离目标的远近进行评分。
    2. 记录每个人在第一轮中的得分。
    3. 在不给予任何反馈或指导的情况下,进行第二轮投掷并再次记录得分。
    4. 按照第一轮得分对所有人进行排序,对比前一半人与后一半人在第二轮中的得分。在两轮之间什么都没做的情况下,第一轮表现最好的人大部分都变差了,而表现最差的人大部分都变好了。
  • 反思问题:
    • 如果教练在两轮之间表扬了前一半人、训斥了后一半人,这位教练会得出什么结论?
    • 在你自己的生活中,哪些反馈也是以这种形式出现的?
  • 练习频率: 练习一次;日后当你需要向团队解释这一概念时,可作为现场演示重复进行

练习 2:收缩预测法

  • 目标: 练习根据极端结果做出回归性预测
  • 所需时间: 每次15分钟
  • 所需材料: 笔记本,以及任何重复测量的数据源(体育比分、销售数据、步数统计等)
  • 难度级别: 中级
  • 操作步骤:
    1. 找出一个近期异常高或异常低的读数。
    2. 写下你对下一次读数的直觉预测值。
    3. 根据此前十次或更多次的读数计算其长期平均值。
    4. 粗略估算某次读数对下一次读数的预测力有多强(抛硬币式的结果接近于零,稳定的特质接近于一)。将你的预测值从均值向该极端读数方向移动约相应比例的幅度。
    5. 记录下这两个预测值。当下一次读数揭晓时,观察哪一个预测更加接近真实情况。
  • 反思问题:
    • 你的直觉预测值与收缩预测值之间相差多远?
    • 在十轮试验中,哪种预测获胜的次数更多?
  • 练习频率: 每周一次,持续两个月

练习 3:筛选效应审查

  • 目标: 找出藏在你关于“什么有效”的既有信念中的回归
  • 所需时间: 45分钟
  • 所需材料: 纸和笔
  • 难度级别: 中级
  • 操作步骤:
    1. 列出十件你因为亲眼见过它们奏效而相信有效的事:药物、管理技巧、育儿策略、投资规则。
    2. 针对每一项,写下当初是什么促使你去尝试它。那时的情况是异常糟糕,还是异常好?
    3. 针对每一项,写下在相似条件下,你是否曾经在没有该干预的情况下观察到过相同的结果。
    4. 标出所有第2步为“极端”、第3步为“否”的项目。这些就是回归可以完全解释的信念。
    5. 挑选其中一项,设计一个你能做到的最便宜的公平检验:设一段对比期,或者去找一项规范的试验。
  • 反思问题:
    • 在你的十项信念中,有几项经受住了这次审查?
    • 哪一项信念是你最不情愿打上标记的?
  • 练习频率: 每年两次

每日练习

“此前是否属于极端?”检查

每天一次,每当你听到或自己提出某种因素导致了改善或下滑的主张时,问问自己最初的起点是否异常偏高或偏低。

  • 建议时长:每当遇到前后对比的主张时花1分钟思考
  • 最佳时间:每当你看新闻、复盘结果或听到“管用了”的时候
  • 进度追踪:记录审查过的主张总数,以及其中有多少项最初始于极端状态

每周挑战

预测向均值回落

每周挑选一个刚刚取得突出结果的人、团队、股票或统计数据,为它的下一次结果写下一个更接近其平均水平的预测。下一周核对结果。

  • 4周后的预期成效:对“低迷”和“复苏”不再那么意外;对该收缩多少有了实际的感觉
  • 日记反思提示:
    • 哪些回落我预测对了,哪些极端值原来是水平的真实变化?
    • 新闻对每次回落给出了什么解释,而它真的需要解释吗?

12. 针对特定受众

致领导者和管理者

  • 绩效管理: 根据多个周期的平均值来奖励和纠正。单个季度排在最前或最后大多是噪声,对它做出反应只会让你学到“纠正管用、表扬无效”。
  • 个人实践: 每当你的干预伴随着局面好转时,在开口做出任何其他评论之前,先在心里对自己说一句“即便什么都不做,其中一部分好转本来也会自然发生”。

致家长和教育工作者

  • 适龄解释: “状态特别糟糕的一天过后,接下来通常自然会迎来较好的一天。所以如果你在倒霉那天改变了某种做法,而第二天情况好转了,你不能断定是那个改变带来了好转。多试几次才能弄明白。”
  • 管教方式: 在最恶劣的行为出现之后施加惩罚,其后总是会伴随着行为好转,这就是严苛管教让人感觉十分有效的原因。请以数周和数月为跨度来评估你的管教方式,而不是看接下来的这一个小时。
  • 补习辅导计划: 仅凭一次糟糕的分数就被选拔参加额外辅导的孩子,在下一次考试中无论如何成绩都会有所回升。请在更晚的后续评估中衡量辅导项目的效果,或者与未接受辅导的同类学生进行对比。

致医疗保健专业人员

  • 临床经验: 对于会波动的病情,你见到的大多数患者都处在最糟的时候,所以那时给予的任何治疗看起来都有效。相信试验,而不是对那些好转了的患者的记忆。
  • 筛查与入组: 凭单次异常读数入组,必然会在下一次测量时看到改善。在诊断或纳入试验之前,应进行多次基线测量。
  • 与患者沟通: 当患者把好转归功于某种保健品或替代疗法时,问问他们是什么时候开始用的。用“最糟糕的一天”这个例子温和地解释回归,比直接否定那种疗法更容易被接受。

致金融专业人士

  • 基金挑选: 去年排名前十分之一的基金,第二年平均而言会更接近中间水平。顶住想追逐它们的客户,也要抵制你自己配置中的同样冲动。
  • 客户叙事: 客户会把复苏归功于在底部聘请的顾问,把低迷归咎于在顶部聘请的顾问。在事情发生之前,先把回归的道理讲清楚。

13. 与其他偏差的相互作用

放大这种偏差的偏差

偏差 如何产生相互作用
代表性启发法 预测与证据最相符的结果,而不是最可能的结果,这正是 Kahneman 和 Tversky 所描述的非回归性预测
样本量忽视 把一次极端读数看得和长期平均值一样可靠,会让向均值的漂移看起来像是真实的变化
虚假相关 在干预与随后的改善之间看到联系,而这种改善无论如何都会到来
确认偏误 每一次由回归带来的“成功”都被记作这项技术的证据;干预之后毫无变化的情况则被遗忘

抵消这种偏差的偏差

偏差 如何起到缓解作用
保守偏差(信念修正) 对新数据反应不足,会让预测保持在长期平均值附近,而这大致正是回归性预测应在的位置
锚定效应 锚定在历史平均值上的预测者会把极端读数向平均值收缩,收缩的幅度往往大致合适
现状偏见 经历一个糟糕时期后不愿改变路线,可以避免对噪声采取行动,再把功劳归于这一行动

常见的偏差链

极端结果 → 代表性启发法 → 干预 → 均值回归 → 虚假相关 → 确认偏误

一个突出的结果出现,代表性启发法把它解读为水平的真实变化,于是引发行动。下一次读数发生回归,这本来就注定会发生。改善与行动被配在一起,这种配对被记住,没有发生的事则被遗忘,一个对该行动的信念就此诞生,之后的极端情况又不断强化它。

阻断偏差链: 代价最低的地方是第一个环节。如果在采取任何行动之前,就认识到极端结果部分是偶然,那么随后的改善就不会带来需要解释的意外。如果做不到这一点,在行动时设立对照组,可以在第三个环节打断这条链。


14. 文化视角

关于回归谬误的直接跨文化研究很少。这一统计现象在各地都一样,而误读它的机制(根据先后顺序进行因果学习)在不同人群之间也没有已知的大的差异。不同的是各个文化对巅峰之后的回落讲述的故事,而这些故事看起来像是对回归的民间编码,给本不需要原因的现象安上了原因。

许多社会都告诫人们不要太大声地夸奖孩子、收成或成功。地中海、中东和南亚的“邪眼”传统认为赞美会招来不幸,而民间的证据很容易看到:赞美在顶峰时到来,顶峰之后跟着下滑。古希腊思想把傲慢与报应联系在一起,中国“树大招风”的俗语也是同样的道理。在英语世界,这种模式表现为“乌鸦嘴”式的晦气说法和对“招惹命运”的恐惧。

对惩罚与表扬的态度也会与这一谬误相互作用。在严格管教是常态的地方,Kahneman 描述的那种反馈每天都在印证这一常态。在以表扬为主的育儿方式是常态的地方,同样的回归反方向运行,践行者可能私下觉得这种方法“不管用”,却说不出为什么。

文化类型 具体表现
具有“邪眼”或“别招惹命运”传统的文化 受到赞美的高峰之后的下滑被归咎于嫉妒或超自然原因;人们回避赞美本身
具有强烈“骄兵必败”叙事的文化 成功之后的滑坡被解读为针对傲慢的道德惩戒,而非统计学上的必然回归
崇尚严苛管教的育儿与管理文化 每天都在强化“惩罚见效”的信念,因为惩罚总是在表现最恶劣之后施加
崇尚鼓励赞美的育儿与管理文化 总是隐隐感到鼓励之后往往伴随着松懈,因为表扬总是在表现最优异之后给予
指标驱动的机构文化(排行榜、年度排名) “进步最大”和“退步最大”的榜单被去年的离群值所主导

15. 误区与误解

误区 事实
“均值回归意味着随着时间推移,一切都在变得平均” 回归描述的是被选出的极端值在下一次测量时会怎样。它对整个总体的离散程度什么也没说,总体的离散可以保持不变,也可以扩大。Secrist 的错误正是这种混淆。
“回归是一种把数值拉回中心的力量” 不存在什么力量。任何极端读数中都有一部分是偶然,而偶然不会重复。同样的算术在时间的两个方向上都会产生回归,这是任何力量都做不到的。
“如果第二次读数更接近平均值,说明第一次是测量误差” 测量误差是回归的来源之一,而不是唯一来源。只要被测量的东西含有偶然成分,比如击球手的月度打击率,即使测量准确,数值也会回归。
“懂得回归就意味着什么都不能用因果来解释” 回归是一个零假设,而不是万能答案。有些好转确有原因,有些下滑也确实是水平的真实变化。问题在于,这个解释能否胜过“无需原因”的基线。
“回归谬误只会骗到外行” Secrist 是一位握有十年数据的统计学教授。Kahneman 说,即使对学过这个概念的人来说,它也很难掌握。Campbell 和 Kenny 之所以写那本书,正是因为受过训练的评估者一再犯这个错误。

16. 专家见解

“因为我们倾向于在他人的优异表现之后给予奖励,在恶劣表现之后给予惩罚,而且因为均值回归的存在,所以人类处境的一个固有特征是:我们在统计学意义上因奖励他人而遭受惩罚,因惩罚他人而获得奖赏。” — Daniel Kahneman,《思考,快与慢》(2011),第17章

“我们的大脑严重偏向因果解释,无法很好地应对‘纯粹的统计事实’。” — Daniel Kahneman,《思考,快与慢》(2011)

子女相对于总体均值的平均离差,仅为其父母离差的一小部分(约三分之二);无论你从哪个方向观察,上一代的极端在下一代中都会趋于温和。 — Francis Galton(1886),意译《遗传身高中向平庸的回归》的核心发现

仅凭单次极端测量值将人群纳入研究,必然会导致其下一次测量值在平均意义上趋于缓和,无论是否对他们采取了任何干预;最可靠的防护手段是设立随机对照组以及进行多次基线测量。 — Adrian Barnett、Jolieke van der Pols与Annette Dobson(2005),意译其发表于《国际流行病学杂志》的教程的结论


17. 关键要点

  1. 现象本身不是偏差: 均值回归是关于任何含有偶然成分的数量的统计事实。偏差是回归谬误:为一次本不需要原因的向平均值回归编造一个原因。

  2. 我们恰恰在极端时刻行动: 我们在症状高峰时治疗,在最糟糕的行为之后管教,在最差的季度之后重组。每一个这样的时刻都已经为让随后的任何做法显得有效做好了准备。

  3. 表扬和惩罚都被混淆了: Kahneman 的飞行教官学到吼人管用,是因为他们只在表现糟糕之后才吼。同样的逻辑也让表扬看起来有害。两个结论都不成立。

  4. 数据量大也挡不住: Secrist 拥有数百家企业十年的数字,却仍然把回归读成了商业法则。依据极端值筛选必然产生伪迹。

  5. 收缩你的预测值: 依据极端读数做出的最佳预测值,介于该读数与长期平均值之间,且两者之间的相关性越弱,预测值就应该越靠近平均值。

  6. 对照组是评估的良方: 对依据极端分数选出的单位做前后对比,无法区分有效的项目和无效的项目。随机化、多次基线或对照组可以做到。

  7. 问一句“为什么是现在?”: 在把任何变化归功于某项行动之前,先问这项行动是不是因为情况异常糟糕或异常好才采取的。如果是,就假定有一部分改善本来就会到来。


18. 进一步资源

学术论文

  • Galton, F. (1886). Regression towards mediocrity in hereditary stature. Journal of the Anthropological Institute of Great Britain and Ireland, 15, 246-263.
  • Kahneman, D., & Tversky, A. (1973). On the psychology of prediction. Psychological Review, 80(4), 237-251.
  • Hotelling, H. (1933). Review of The Triumph of Mediocrity in Business by Horace Secrist. Journal of the American Statistical Association, 28(184), 463-465.
  • Barnett, A. G., van der Pols, J. C., & Dobson, A. J. (2005). Regression to the mean: What it is and how to deal with it. International Journal of Epidemiology, 34(1), 215-220.
  • Bland, J. M., & Altman, D. G. (1994). Statistics notes: Regression towards the mean. BMJ, 308(6942), 1499.
  • Stigler, S. M. (1997). Regression towards the mean, historically considered. Statistical Methods in Medical Research, 6(2), 103-114.
  • Hróbjartsson, A., & Gøtzsche, P. C. (2001). Is the placebo powerless? An analysis of clinical trials comparing placebo with no treatment. New England Journal of Medicine, 344(21), 1594-1602.

书籍

  • Campbell, D. T., & Kenny, D. A. (1999). A Primer on Regression Artifacts. Guilford Press.
  • Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.
  • Stigler, S. M. (1999). Statistics on the Table: The History of Statistical Concepts and Methods. Harvard University Press.

书籍章节

  • Kahneman, D. (2011). Regression to the mean. In Thinking, Fast and Slow (Chapter 17). Farrar, Straus and Giroux.
  • Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research on teaching. In N. L. Gage (Ed.), Handbook of Research on Teaching (pp. 171-246). Rand McNally.

19. 总结卡片

要素 内容
偏差名称 均值回归
定义 出现极端结果之后,单凭偶然,下一次结果通常也会更接近平均值;回归谬误则把这种回归归功于期间所做的任何事情
类别 意义不足
关键标志 仅因某个异常糟糕(或出奇优异)的结果而触发干预,随后将出现的改善归功于该干预(或将随后的下滑归咎于该干预)
主要原因 根据先后顺序进行因果学习:我们在极端时刻行动,看到向平均值的自然回归,然后把两者联系起来
最大风险 大规模推广无效的疗法、政策和管理做法,它们之所以看起来有效,只是因为施加的时机
快速对策 追问“为什么是现在?”。如果行动是因为当时处于极端状态而采取的,就应当假定其中一部分变化本来就会自然发生
长期策略 将预测值向平均值收缩;在评估任何干预措施之前,坚持要求设立对照组并进行多次基线测量
核心要诀 “我们在统计上会因奖励他人而受罚,因惩罚他人而得到奖赏。”(Kahneman)

20. 使用术语表

术语 定义
均值回归 极端测量值之后往往跟着更接近平均值的测量值的倾向,因为极端值中的偶然成分不会重复
回归谬误 在回归本身就足以解释的情况下,把向平均值的回落归因于某个原因(一项干预、一个魔咒、努力程度的改变)
非回归性预测 与所依据的证据一样极端的预测,就好像证据是一个完美的预测指标
相关系数 衡量两个数量共同变动紧密程度的指标,取值范围为-1到1;期望的回归幅度与一减去这个值成正比
依据极端值筛选 因为上一次测量值异常高或异常低而选出对象加以关注;这种设置必然导致回归
对照组 一组不接受干预的可比对象,提供一条基线,借此可以把回归与真实效应区分开
多次基线测量 在干预前进行几次读数并取平均值,这能去除筛选中的大部分偶然成分
自然病程 疾病在不治疗的情况下的发展过程,包括其自发的好转和波动
收缩 把预测从观察到的极端值向长期平均值移动,移动的幅度取决于观察值的噪声有多大

21. 讨论问题

适用于读书会、课堂研讨或个人自我反思:

  1. Kahneman 笔下的飞行教官经验丰富、观察细致且为人诚实,却依然得出了错误的结论。在你自己的生活中,有哪些经历也具有相同的结构,即反馈往往只在出现极端表现之后才到来?

  2. Horace Secrist 用严谨的数据工作了十年,自信地发表了一条商业法则。什么样的机构习惯本可以更早发现他的错误?

  3. 许多文化都告诫人们不要过分张扬地赞美成功。“邪眼”传统是否是一种关于均值回归的民间理论?当一种统计规律被编码为迷信时,我们失去了什么,又收获了什么?

  4. 在缺乏对照的环境中,许多被归因于安慰剂效应的现象其实只是均值回归和自然病程。这应当如何改变患者和医生在讨论那些“对我管用”的治疗方案时的话语方式?

  5. 回归既可能被忽视,也可能被滥用:并非所有好转都是回到平均水平。对于某项具体的政策或疗法,你会如何判断“无需原因”的解释已经被排除?