自动化偏差 (Automation Bias)

一览

1. 速览摘要

自动化偏差是指我们倾向于相信计算机生成的建议，而不是自己的判断或其他信息来源——哪怕计算机明显出错。当机器告诉我们某件事时，我们往往不加核实就将其视为真理，实际上把批判性思维交给了算法。这种思维捷径的进化目的是节省认知能量，但一旦应用于并不完美的自动化系统，就会变得危险，在航空、医疗、司法程序以及日常决策中酿成错误。

2. 背后的科学

2.1. 发现与历史

尽管“自动化自满”的轶事性证据在航空界流传了数十年，但对自动化偏差的正式科学研究始于 20 世纪 90 年代末。1999 年，Linda Skitka、Kathleen Mosier 和 Mark Burdick 发表了题为《Does automation bias decision-making?》（自动化会使决策产生偏差吗？）的里程碑式研究，将这一现象界定为一种独立于单纯疲劳或能力不足的认知偏差。该论文发表于 International Journal of Human-Computer Studies，改变了研究者看待人机交互的方式。

这一概念源于人们日益意识到：自动化系统尽管可靠，却引入了新型的人为错误。早期的航空事故表明，飞行员正对自动驾驶系统产生危险的依赖，但直到严谨的实验研究出现，科学家才得以量化并刻画这种依赖。

自 1999 年以来，人们对这一偏差的理解不断加深。研究者将自动化偏差与相关但不同的“自动化自满”概念区分开来。研究领域已从航空扩展到医疗、自动驾驶汽车、司法系统，以及最近的人工智能和大语言模型（LLM）。生成式 AI 的兴起带来了该偏差的新表现形式，包括“幻觉接受”——即倾向于相信听起来合理但实为编造的 AI 输出。

研究中的关键里程碑包括：

• 1999 年： Skitka、Mosier 与 Burdick 的奠基性实验研究
• 2004 年： Lee 与 See 的信任校准框架
• 2010 年： Parasuraman 与 Manzey 的“注意整合”综述，区分了自满与偏差
• 2017 年： Lyell 与 Coiera 的“核实复杂度”模型
• 2023–2025 年： 关于 LLM 诱发的自动化偏差与幻觉接受的研究爆发式增长

2.2. 主要研究者

2.3. 里程碑式研究

《Does Automation Bias Decision-Making?》（Skitka、Mosier 与 Burdick，1999）

研究者设计了一项低保真飞行模拟任务，以实证检验人类操作者在自动化决策支持系统辅助下如何监控系统状态。被试的任务是监控仪表并“驾驶”模拟器。实验设计引入了一个可靠但并不完美的自动化监控辅助工具，从而使研究者能够观察当信任与错误相冲突时人们的行为。

主要发现：

• 与手动操作者相比，使用自动化辅助的被试进行警觉性信息搜寻的可能性显著更低
• 自动化并非仅仅补充了人的注意力——它实际上取代了注意力
• 当自动化辅助建议了错误的行动时，相当比例的操作者仍照做，即便原始数据明确显示该建议有误
• 该研究识别出两类错误：疏忽错误（因自动化未发出警报而漏掉事件）与执行错误（照做错误的自动化建议）

作者们得出结论：自动化偏差是一种“警觉性信息搜寻与加工的启发式替代品”，是一条“过早终止情境评估的认知捷径”。

记忆扭曲研究（Mosier，后续研究）

在随后涉及飞行员的研究中，67% 屈从于自动化偏差的人事后表现出对该事件的“虚假记忆”。他们回忆说在原始数据中看到了支持自动化错误决定的线索——而这些线索从未真实存在过。这表明自动化偏差可以追溯性地改变知觉：大脑在接受了自动化的结论之后，会虚构证据来支持它。

信任校准研究（Lee 与 See，2004）

该研究将对自动化的信任定义为“在充满不确定性与脆弱性的情境中，认为某一主体将帮助个体实现其目标的态度”。研究识别出信任的三大基础：表现（历史可靠性）、过程（对算法的理解）与目的（设计者的意图），并证明仅依赖表现而缺乏对过程的理解，会在边缘情况下导致灾难性的偏差。

核实复杂度系统综述（Lyell 与 Coiera，2017）

该研究证明，只要任务足够复杂，即使在单任务环境中自动化偏差也十分猖獗。研究提出了核实复杂度概念：自动化偏差出现的可能性与核实自动化输出所需的认知努力成正比。该模型对理解现代“黑箱”AI 系统至关重要。

2.4. 神经学基础

自动化偏差的神经学基础与大脑根本的节能机制有关：

认知负荷与前额叶皮层： 大脑是一个节能器官。负责决策与核实等执行功能的前额叶皮层需要大量代谢资源。当自动化提供了一个看似合理的答案时，大脑的默认模式就是接受它，而不启动高耗能的核实过程。

“认知吝啬鬼”机制： 该原则最初由 Fiske 与 Taylor（1984）提出，认为人类在进化上被驱使去最小化认知努力。只要环境允许，大脑就会默认采用启发式加工（思维捷径）。自动化正是一种“超级启发式”，从而利用了这一点。

注意网络与警觉性衰退： Parasuraman 运用脑成像开展的神经工效学研究揭示了大脑何时从监控任务中脱离。在被动监控可靠的自动化系统期间，注意网络（尤其是背侧注意网络）的激活水平随时间下降，即“警觉性衰退”。

记忆虚构： 67% 的飞行员在自动化诱发的错误之后表现出虚假记忆，这一发现提示记忆巩固过程也参与其中。当大脑接受了某个自动化结论后，海马体记忆系统可能在巩固过程中构造出支持性的“证据”，把这一错误决定整合进一段连贯的叙事之中。

多巴胺奖赏通路： 信任自动化并且判断正确会激活奖赏通路。这种正向强化随时间推移不断巩固“接受自动化”的启发式，使其愈发难以被推翻。

3. 进化起源

自动化偏差代表了一种在前技术环境中为提升生存机会而演化出的认知机制的适应不良应用。

匮乏世界中的能量节省： 我们的祖先生活在热量极为宝贵的环境中。大脑消耗约占身体能量的 20%。进化偏好那些能产出“足够好”的决策、同时为身体生存活动保存能量的认知捷径。把认知工作委托给可靠的来源是具有适应性的。

社会顺从与专业权威： 人类在社会群体中演化，服从专家（长者、熟练的猎人、疗愈者）能带来生存优势。我们发展出识别可靠信息来源并顺从它们的启发式。自动化系统，尤其是 99% 的时间都可靠的系统，会触发同样的顺从机制。

信任工具即生存： 信任自己的工具在进化上至关重要。一个不断怀疑自己的长矛能否射准的猎人将会陷入瘫痪。进化选择了对可靠工具的信心。现代自动化劫持了这一根深蒂固的工具信任机制。

是缺陷还是特性？ 自动化偏差本质上是一种被误用的特性。这种认知效率策略在反馈即时、后果成比例的自然环境中运作良好，但在错误罕见却毁灭性、反馈延迟、后果不对称的高风险技术环境中会灾难性地失灵。

环境错配： 这一偏差曾经具有适应性的环境，与现代技术情境截然不同。在使用石器时有益的启发式，一旦应用于控制核反应堆、飞机或医疗诊断的系统就变得危险。我们的认知架构尚未演化到能应对“可靠性—危险性悖论”：机器越可靠，人为错误就越危险。

4. 这一偏差如何显现

4.1. 在日常生活中

• GPS 导航： 尽管视觉证据与指令相矛盾，驾驶员仍照着 GPS 的指示开进湖里、驶上封闭道路或走上不适宜的路线。导航系统的权威压过了直接的感官观察。

• 拼写检查与语法工具： 写作者不加核实就接受错误的自动更正或语法建议，把错误带进最终文档。绿色的对勾成了批准的印章。

• 智能家居设备： 接受智能恒温器的能耗建议，而不考虑个人舒适度或家庭的具体情况。

• 在线推荐： 不加批判地接受算法驱动的购物、娱乐或社交推荐，从不质疑为何呈现的是这些特定选项。

• 依赖计算器： 接受计算器的输出而不做合理性检验，哪怕是简单计算，稍加估算就能发现明显错误。

4.2. 在职场中

• 过度信任电子表格： 接受 Excel 中公式的输出而不核实底层计算，导致错误在财务模型与报告中层层传递。

• 自动排程： 遵从 AI 生成的日程安排，而这些安排未考虑团队动态、通勤时间或个人工作节奏等人为因素。

• 人力资源筛选软件： 招聘经理完全听凭自动化简历筛选，从而错过被标为不匹配的合格候选人，或接受了算法青睐的不合格者。

• 绩效分析： 过度依赖无法捕捉员工贡献之质性方面的自动化绩效指标。

• 邮件过滤： 因垃圾邮件过滤器错误归类而漏掉重要通讯，且从不定期检查被过滤的邮件。

• 自动化报告： 分发系统生成的报告而不审查异常或错误，仅因“系统就是这么说的”便假定其准确。

4.3. 在商业与营销中

• 算法交易： 金融机构依赖交易算法而缺乏人工监督，导致闪崩与连锁失灵。

• 动态定价： 企业实施自动化定价，在紧急事件或供应中断期间疏远客户，损害品牌声誉。

• 营销自动化： 因人口统计或行为触发条件被错误触发而发送不合时宜的自动化信息。

• 客服聊天机器人： 企业假定聊天机器人的交互令人满意，却未监测那些困在无用循环中的沮丧客户。

• 库存管理： 零售商信任未考虑本地差异、季节变化或即将到来的活动的自动补货系统。

• 欺诈检测： 银行既会漏掉真实欺诈（疏忽错误），又会标记正当交易（随后未经复核便被接受的误报）。

4.4. 在政治与媒体中

• 社交媒体算法： 公民的世界观被他们从不质疑也不理解的内容推荐算法所塑造。

• 事实核查工具： 记者依赖自动化事实核查而不加验证，可能传播错误或漏掉细微的主张。

• 民调汇总： 政治评论员将算法化的民调汇总器视为权威，无视模型的局限与假设。

• 内容审核： 把自动化内容审核决定当作正确的，压制正当言论或让有害内容长期存在。

• 选举技术： 选民与官员在缺乏充分核实机制的情况下信任电子投票与计票系统。

• 预测性警务： 执法部门根据可能反映历史偏见而非实际风险的算法预测来部署资源。

4.5. 在医疗中

• 临床决策支持系统（CDSS）： 2025 年一项随机临床试验发现，“错误的大语言模型建议会通过诱发自动化偏差显著削弱医生的诊断表现”。即使是专家医生也会听从产生幻觉诊断的机器。

• 电子健康档案： 系统警告过多造成的警报疲劳，导致临床医生忽略所有警报，包括关键警报。反之，也会不经临床核实就接受 EHR 系统的建议。

• 医学影像 AI： 放射科医生在没有独立核实的情况下接受或否定 AI 标记的发现，可能漏诊癌症或过度诊断良性病变。

• 药物相互作用检查器： 药师在缺乏针对个别患者情况的临床判断下，随意否定或接受自动化的药物相互作用警告。

• 生命体征监护仪： 护士和医生忽视与“正常”自动化生命体征读数相矛盾的临床观察。

• 诊断算法： 即便患者的临床表现提示这是需要人类直觉判断的非典型病例，仍然沿着算法化的诊断路径走。

4.6. 在金融与投资中

• 智能投顾： 投资者遵从自动化的组合建议，而不考虑个人处境、风险承受度的变化或算法未能捕捉的人生事件。

• 信用评分： 放贷方仅凭自动化信用评分接受或拒绝申请，不审查个人具体情况或信用报告中的错误。

• 风险评估模型： 金融机构信任在 2008 年金融危机期间灾难性失效的风险价值（VaR）等自动化风险模型。

• 算法交易决策： 个人投资者照抄算法交易信号，却不了解其背后的策略或市场状况。

• 自动化理财规划： 接受软件给出的退休预测与储蓄建议，而不质疑其关于通胀、收益率或寿命的假设。

• 欺诈警报： 要么因频繁误报而忽视真正的欺诈警报，要么不加调查就把所有被标记的交易都当成欺诈。

5. 现实世界案例研究

案例研究 1：爱国者导弹误伤事件（2003）

• 背景： 在伊拉克自由行动期间，美国陆军的爱国者导弹系统以从手动到全自动的多种模式运行。对伊拉克弹道导弹的恐惧所造成的高威胁环境，导致系统配置偏向于交战。

• 发生了什么： 发生了两起臭名昭著的友军误伤事件：击落一架英国皇家空军的旋风 GR4 战机和一架美国海军的 F/A-18 大黄蜂战机。两机机组全部遇难。在这两起事件中，爱国者的雷达算法都把友机误判为来袭的反辐射导弹（ARM）。

• 偏差如何起作用： 系统把它的误判当作事实呈现给人类操作者。虽然操作者有几秒钟时间用其他参数（空速、高度、敌我识别）核实目标，但他们未能有效地这样做。国防科学委员会的一份报告发现，用户“尽管有大量相反证据，仍甘愿接受系统错误”，偏信机器的判断而非战场现实。

• 后果： 四名军人丧生。报告指出，这一偏差不仅是个人层面的，更是制度层面的——操作者被训练去信任系统；围绕该技术的“绝对可靠文化”意味着“人类否决权”在很大程度上只是理论上的。

• 经验教训： 自动化偏差可以通过培训、文化与系统设计而嵌入组织之中。“瑞士奶酪”模型显示，多层潜在的人为干预何以同时失效：因为每一层都假定自动化是正确的。

案例研究 2：英国邮政 Horizon 丑闻（1999–2015）

• 背景： 由富士通开发的 Horizon IT 系统被推广用于管理英国邮政的账务。几乎在同一时间，各地邮政分局长开始报告账目中出现无法解释的短缺。

• 发生了什么： 英国邮政管理层与法院依据“计算机是可靠的”这一法律推定行事，而这正是一种被法典化的自动化偏差。当邮政分局长声称系统出错时，他们反被指控盗窃。数百名诚实公民的证词被系统性地忽视，而 Horizon 的日志被采信。

• 偏差如何起作用： 计算机的输出被当作神圣不可侵犯的真理，不容人类质疑。“来自非自动化来源的相互矛盾的信息”——人类证词——被当作自利的谎言或能力不足而不予理会。管理者与法官犯下了持续多年的执行型自动化偏差。

• 后果： 700 多人被错误定罪、破产并入狱。婚姻破裂，事业尽毁，多名邮政分局长自杀身亡。后来证实该系统漏洞百出。这是英国历史上最大规模的司法不公。

• 经验教训： 自动化偏差不只是转瞬之间的反应——它可以是一种持续的组织性妄想。假定计算机可靠的法律与制度框架，会造成个人极难挑战的系统性偏差。

案例研究 3：法航 447 航班（2009）

• 背景： 在大西洋上空巡航时，一架空客 A330 的皮托管（空速传感器）被冰晶堵塞，飞行计算机因此失去有效的空速数据。自动驾驶断开，把控制权交给了被多年高度自动化飞行所“驯化”的飞行员。

• 发生了什么： 习惯了防止失速的“飞行包线保护”的飞行员，突然被抛入不存在这些保护的“备用法则”模式。被相互冲突的警报（失速警告响了 75 次）搞得晕头转向，操纵飞机的飞行员向后拉杆，而这一动作在无保护的飞行模式下会诱发失速。

• 偏差如何起作用： 机组无法相信自动化的情境已经根本改变。他们忽视了原始的空气动力学现实（飞机正在坠落），因为他们的心理模型仍系于正常的自动化运行。正如 FAA 分析所指出的，机组“脱离了回路”，无法理解“自动化究竟在干什么”。他们实际上是在等待自动化来拯救自己，这种启发式依赖一直持续到撞击时刻。

• 后果： 机上 228 人全部遇难。这起空难至今仍是自动化偏差导致“自动化惊讶”以及无法退回手动认知的权威案例。

• 经验教训： 过度依赖自动化会使手动技能退化到飞行员在自动化失效时无法挽回局面的程度。当人类被系统性地排除在认知回路之外时，“人类作为后备”的假设便站不住脚。

历史范例：Stanislav Petrov（1983）

要完整理解自动化偏差，就必须考察那些罕见的、成功打破它的案例。1983 年 9 月 26 日，苏联的核预警系统（Oko）报告称美国发射了五枚洲际弹道导弹。

值班军官 Stanislav Petrov 中校判断该警报为假。他的推理既基于情境又充满人性：“当人们发动战争时，他们不会只用五枚导弹开战。”他还不信任这项新的卫星技术。Petrov 拒绝将预警上报至指挥链，避免了一次可能的核报复打击。

Petrov 的成功源于他的怀疑精神与领域专长——他知道政治与战略背景（人类情报）与传感器数据（自动化情报）相矛盾。他行使了爱国者操作者未能行使的“人类否决权”。这一案例表明，打破自动化偏差既需要提出异议的勇气，也需要辨识自动化输出何时不合情理的领域知识。

6. 这一偏差的代价

6.1. 个人代价

• 批判性思维的侵蚀： 经常屈从于自动化系统，会削弱核实与独立分析的“认知肌肉”。久而久之，个体在没有自动化引导时的能力会下降。

• 专业能力的流失： 严重依赖自动化工具的专业人士可能出现技能退化。很少手动驾驶的飞行员、总是依靠 AI 辅助的放射科医生、从不手工计算的会计，都会丧失使他们成为专家的能力。

• 决策瘫痪： 当自动化系统失效或不可用时，个体可能感到无力做出决策，在关键时刻陷入瘫痪。

• 虚假的自信： 信任自动化输出会制造出并不合理的确定感，导致对自动化出错的情形准备不足。

• 人际关系紧张： 在个人生活中，过度依赖自动化推荐（约会应用、社交媒体建议）可能取代真实的人类判断与连接。

6.2. 职业代价

• 职业责任风险： 遵从自动化建议而铸成错误的专业人士，可能面临纪律处分、渎职诉讼或刑事指控——正如 Mata v. Avianca 案中，律师因引用 AI 幻觉出来的判例而遭到制裁。

• 声誉受损： 以自动化引发的失败而闻名的组织（如英国邮政）会遭受长期的声誉损害，影响招聘、合作与公众信任。

• 技能萎缩： 当自动化处理了常规案例，整个专业群体可能出现集体性技能退化，使从业者在面对复杂或异常情形时毫无准备。

• 创新停滞： 对“系统就是这么运作的”过度信任，会阻碍专业人士质疑流程或提出改进。

• 糟糕的结果： 医疗误诊、错误定罪、财务损失与运营失败，都可直接追溯到自动化偏差。

6.3. 社会代价

• 系统性风险累积： 当整个行业都听凭自动化系统时，错误将由相互独立变为高度相关。单一的算法缺陷就能同时蔓延至整个行业。

• 民主的侵蚀： 塑造政治话语、内容可见度与信息获取的算法系统，若被不加质疑地接受，会削弱知情的民主参与。

• 司法系统的败坏： 推定计算机可靠的法律体系（如 Horizon 丑闻）会造成个人几乎无法挑战的结构性不公。

• 安全性下降： 支撑自动驾驶汽车、自动化空中交通管制及其他关键系统的“人类作为后备”这一安全假设存在根本缺陷。人类无法在长时间的被动监控中维持警觉。

• 经济动荡： 闪崩、算法连锁反应以及自动化系统同时犯下相关联的错误，都可能引发经济不稳定。

6.4. 统计影响

• 航空： 研究表明，使用自动化辅助的飞行员漏掉的系统异常显著多于手动监控者。法航 447 的机组忽视了 75 次失速警告。

• 医疗： 研究证明，错误的 AI 建议会显著降低医生的诊断准确率。警报疲劳导致临床医生忽略 49%–96% 的自动化警告。

• 记忆扭曲： 67% 屈从于自动化偏差的飞行员事后表现出对事件的虚假记忆，使事故调查与经验总结更加复杂。

• 法律： Horizon 丑闻造成 700 多起错误定罪，是英国历史上最大规模的司法不公。

• 军事： 伊拉克的友军误伤事件表明，人们在有大量相反证据的情况下仍愿意接受系统错误。

7. 隐藏的益处

自动化偏差并非纯粹是负面的，其底层的认知机制曾发挥过重要作用：

• 认知效率： 把认知任务委托给可靠外部来源的能力，能释放心智资源以应对其他挑战。当自动化是正确的（多数时候确实如此），接受其输出确实是高效的。

• 一致性： 自动化系统会统一地应用相同标准。听从它们可以减少人为的变异性以及决策中的某些类型的偏差。

• 速度： 在时间紧迫的情形中，能够迅速接受自动化建议而不做冗长核实，可能挽救生命——前提是自动化是正确的。

• 专业能力的延伸： 自动化让非专家也能受益于被编码的专业知识。使用临床决策支持的年轻医生，可以获取专家花费数十年才积累的知识。

• 减轻焦虑： 在不确定的情境中，拥有一份自动化建议可以降低决策焦虑与认知负荷，即便决策质量并未改变，也能改善身心状态。

• 规模： 许多现代系统若没有人类接受自动化输出便根本无法运转。让人工审阅每一封邮件是否为垃圾邮件、每一笔金融交易是否为欺诈、每一条社媒帖子是否违规，是不可能的。

权衡是明确的：只有在（1）自动化出错、（2）风险很高、且（3）人类本可以发现该错误时，自动化偏差才会成为问题。彻底消除自动化偏差既不可能也不可取——那将要求一种不可能的警觉，反而抵消了自动化的好处。目标是经过校准的信任，而非零信任。

8. 自我评估：你有这种偏差吗？

8.1. 警示信号清单

• 我常常接受 GPS 的路线指引，而不检查它对我的目的地是否合理
• 我信任拼写检查和语法工具，不去复核它们的建议
• 当计算器给出答案时，我很少估算一下它是否看起来合理
• 我接受搜索引擎首页的结果，却不考虑它们为何被排在那里
• 我曾照做了后来证明是错误的自动化建议，因为我没有去核实
• 当软件给出错误提示时，我假定软件对问题所在的判断是正确的
• 当我惯用的自动化工具不可用时，我很难完成任务
• 即使我的判断与自动化建议不同，推翻它也让我感到不安
• 我曾用“但系统就是让这么做的”来为糟糕的结果开脱
• 我信任 AI 聊天机器人的输出，而不核查其说法

评分：

• 勾选 0-2 项：易感性低
• 勾选 3-5 项：易感性中等
• 勾选 6-8 项：易感性高
• 勾选 9-10 项：易感性非常高

8.2. 自我反思问题

1. 想一想你最近一次基于自动化建议做出的决定。在行动之前，你核实过该建议的任何方面吗？为什么核实或为什么不核实？

2. 你能回想起某次自动化明明出错、你却照做了的经历吗？是什么阻碍了你相信自己的判断？

3. 使用 ChatGPT 之类的 AI 工具时，你如何核实所提供信息的准确性？你曾发现过错误吗？

4. 如果你主要的自动化工具（GPS、拼写检查、搜索引擎、计算器）一周都不可用，你的工作流程会有什么变化？

5. 同事、朋友或家人是否曾指出，你在本可以自己做的决定上过度依赖技术？

8.3. 快速诊断情境

情境： 你正在用一个 AI 助手起草一份重要报告。AI 提供了一个完美支持你论点的统计数据：“研究表明，实施该方法的组织中有 78% 见到结果改善了 40%。”这个数字听起来合情合理，也很契合你的叙事。而你时间紧迫。

你会怎么做？

• A） 直接写进报告——它听起来很权威，而且这个 AI 以前一直很可靠 → 易感性高
• B） 写进报告，但加上“有研究提示”之类的模糊措辞，且不作核实 → 易感性中等
• C） 在引用之前搜索原始出处以核实该数据，并接受可能需要调整交稿期限 → 易感性低

9. 在他人身上识别这一偏差

9.1. 行为指标

言语中可观察的迹象：

• 频繁以“系统说”或“算法推荐”作为理由
• 被要求推翻自动化建议时表达出不适
• 对属于自己专业范围内的决定也习惯性地说“我先看看电脑怎么说”

决策中的模式：

• 一贯遵从自动化建议而不加质疑
• 自动化工具不可用时难以做出决定
• 归咎于系统错误，而不检视自己的核实流程

肢体语言线索：

• 即便在面对面讨论中也转向屏幕寻求确认
• 被要求违背自动化建议行事时身体紧绷
• 自动化系统确认了他们的决定时神情放松

对话中反复出现的主题：

• 对技术准确性表达高度自信
• 把对自动化错误的担忧淡化为罕见的边缘情况
• 把人类判断斥为“有偏见”，而算法是“客观的”

9.2. 对话中的危险信号

处于这一偏差中的人常说的话：

• “电脑不会出错”
• “我只是照系统建议的做”
• “数据显示……”（却不核实数据）
• “我为什么要质疑 AI？它可是在数百万个样本上训练出来的”
• “它肯定是对的——你看这个输出多有把握”

他们提出的论证类型：

• 以系统过去的可靠性作为其当前准确性的证明
• 把相互矛盾的信息斥为“异常值”或“用户操作失误”
• 把自动化输出当作客观事实，而非概率性估计

他们回避提出的问题：

• “这个系统有哪些局限？”
• “在什么情况下这个建议可能是错的？”
• “如果没有这个自动化工具，我会怎么决定？”

9.3. 情境触发因素

激活这一偏差的情形：

• 使人无暇核实的时间压力
• 多任务并行造成的高认知负荷
• 疲劳或决策疲劳
• 核实需要专门知识时
• 自动化过去一直可靠时

环境因素：

• 推崇自动化与效率的职场文化
• 强调遵守程序而非运用判断的培训方案
• 缺少能显示自动化何时出错的反馈回路
• 设计上不透明、不披露置信水平的系统

增加脆弱性的情绪状态：

• 压力与焦虑（寻求确定性）
• 不堪重负（寻求认知解脱）
• 冒名顶替综合征（信任“专家”系统胜过自己）
• 安逸与自满（一切一直很顺利）

放大偏差的社会情境：

• 群体场合中，质疑自动化似乎会拖慢进度
• 层级结构中，自动化代表着管理层的决定
• 专业情境中，自动化被视为“最佳实践”

使情况恶化的时间压力：

• 不容核实的截止期限
• 实时决策（交易、医疗急救、航空）
• 逐一复核不切实际的大批量处理

10. 认知去偏策略

10.1. 即时技巧

接受自动化建议前的快速心理检查：

• “这个输出经得起直觉检验吗？”停下来想一想该建议是否合乎常理。
• “错了的代价是什么？”风险越高，越值得核实。
• “这是该系统擅长的事情吗？”自动化有其领域局限。

当下可问自己的问题：

• “如果没有这个自动化，我会怎么决定？”
• “有哪些证据与这个建议相矛盾？”
• “系统的置信水平是多少，它有没有表达不确定性？”
• “我上一次核实自动化建议是什么时候？”

打破偏差的模式中断：

• 在接受之前，大声说出一条自动化可能出错的理由
• 在继续之前查证一个替代来源
• 在收到建议与采取行动之间设置一段简短的“冷静期”
• 从屏幕前转过身去，再思考这个决定

简单的经验法则：

• 5 秒法则：在接受之前，至少花 5 秒钟考虑其他可能
• “100 倍后果”法则：如果出错的代价是核实成本的 100 倍，就去核实
• “向怀疑者解释”法则：你能向一个不信任自动化的人为这个决定辩护吗？

10.2. 长期策略

需要长期养成的习惯：

• 定期在没有自动化辅助的情况下练习任务，以保持技能
• 记录你发现的自动化错误（这会让其易错性变得醒目）
• 通过抽样检查，定期审计自动化建议
• 把核实内建进标准工作流程，而不是把它当作可选项

需要的心态转变：

• 把自动化视为“概率估计器”，而非“真理引擎”
• 把恰当的怀疑视为专业精神，而非不信任
• 认识到人的角色正是处理自动化失效的情形
• 接受核实是有价值的，而非白费功夫

需要落实的制度与流程：

• 制定在自动化操作前要求独立核实的检查清单
• 建立“红队”机制，让某人的职责就是找出自动化的错误
• 设计工作流，使自动化建议在人类初步评估之后才呈现
• 建立反馈回路，在自动化出错时告知用户

需要练习和强化的技能：

• 领域专业知识（以便识别不合情理的输出）
• 心算估计与合理性检验
• 溯源核实与研究能力
• 元认知，即对自身认知过程的觉察

10.3. 环境设计

如何构建环境以减少这一偏差：

• 配置自动化去表达不确定性（概率区间、置信区间）
• 设计在使用前要求确认已知悉局限的界面
• 在自动化建议与行动之间建立物理或时间上的间隔
• 建立表彰“发现自动化错误”的组织规范

有帮助的物理改变：

• 保留非自动化替代方案（纸质地图、计算器）
• 在工作区域展示关于自动化局限的提醒
• 让核实所需的资源随手可及

抵消偏差的社会结构：

• 为重要的自动化决定建立同行评审
• 营造敢于质疑自动化的心理安全感
• 认可并奖励人类发现自动化错误的案例
• 把自动化失败的故事作为学习机会加以分享

能起防护作用的信息系统：

• 显示概率而非二元警报的似然警报显示（LAD）
• 记录人类推翻自动化的行为以供日后分析的系统
• 告知用户其接受自动化时命中/失误率的反馈系统
• 展示自动化准确率的仪表盘

10.4. 何时寻求外部意见

应当咨询他人的决策类型：

• 高风险决策（财务、医疗、法律、安全相关）
• 超出你专业领域的决策
• 自动化与你的直觉相冲突但你并不确定时
• 你从未核实过其自动化的重复性决策

该向谁求助：

• 了解该自动化局限的领域专家
• 曾经历过自动化失效的同事
• 会对该建议提出挑战的怀疑论者
• 与该自动化决定无利害关系的独立方

如何提出反馈请求：

• “系统建议 X。你能帮我做个压力测试吗？”
• “在我接受这个自动化输出之前，我应该核实什么？”
• “这是自动化给出的结论——它和你的独立评估一致吗？”

表明你需要外部视角的迹象：

• 你已在很长一段时间里不加核实地接受自动化建议
• 当前决策的风险高于平常
• 你对某个建议感到不安，却说不清缘由
• 该自动化被应用于一个全新的情境

11. 实践练习

练习 1：核实挑战

• 目标： 养成核实自动化输出的习惯
• 所需时间： 每天 10 分钟，持续 2 周
• 所需材料： 你日常的自动化工具（GPS、搜索引擎、拼写检查、计算器）
• 难度级别： 初级
• 步骤：
  1. 每天找出你收到的 3 条自动化建议
  2. 对每一条，花 2 分钟用独立来源核实其输出
  3. 记录自动化是正确、部分正确还是错误
  4. 记下核实花了多长时间，与你修正一个错误可能要花的时间做对比
  5. 一周结束时，计算你的自动化工具的实际准确率
• 反思问题：
  • 自动化出错或部分出错的频率有多高？
  • 哪类建议最可靠？哪类最不可靠？
  • 你付出的核实成本与错误的潜在代价相比如何？
• 频率： 每天一次，持续 2 周，此后每周抽查

练习 2：手动一周

• 目标： 重新连接你独立判断的能力
• 所需时间： 一周
• 所需材料： 你惯用自动化工具的替代方案（纸质地图、手工计算、校对能力）
• 难度级别： 中级
• 步骤：
  1. 选择一个你严重依赖的自动化工具
  2. 承诺一周内不使用它（或仅将其作为备份）
  3. 用你自己的判断与技能手动完成这些任务
  4. 每天记录体验——哪些更难，哪些更容易
  5. 一周结束时，反思你保留了哪些能力、又失去了哪些
• 反思问题：
  • 哪些任务你完全有能力在没有自动化的情况下完成？
  • 在哪些地方你真切地怀念自动化的帮助？
  • 你对自身判断的信心发生了怎样的变化？
• 频率： 每季度一次，轮换不同的工具

练习 3：预先承诺法

• 目标： 通过先形成独立判断来减少执行错误
• 所需时间： 每个决定 5 分钟
• 所需材料： 纸张或笔记应用
• 难度级别： 高级
• 步骤：
  1. 在咨询自动化工具之前，写下你的初步判断
  2. 记下你的信心水平（低/中/高）
  3. 记录你的判断依据是哪些信息
  4. 此后才去咨询自动化
  5. 将你的判断与自动化输出对比——记录一致与分歧之处
• 反思问题：
  • 你的独立判断与自动化一致的频率有多高？
  • 当你们不一致时，谁更常是对的？
  • 先做出承诺如何改变了你与自动化输出之间的关系？
• 频率： 用于所有重要决策

每日练习

“5 秒暂停”

在接受任何自动化建议之前，暂停 5 秒并问：“有没有任何理由说明这可能是错的？”这短暂的延迟打断了自动接受的反应，为批判性评估创造了空间。

• 建议时长：每次自动化输入暂停 5 秒
• 一天中的最佳时段：全天持续
• 如何追踪进展：记录暂停的次数；标注那些因暂停而促使你质疑或核实的情形

每周挑战

怀疑者审计

每周挑选一个你严重依赖自动化的生活领域（GPS、邮件过滤器、搜索排名、AI 辅助）。对当周 5-10 个自动化决定进行系统审计。

• 4 周后的预期成果：对自动化在哪些方面可靠、哪些方面易错形成校准过的理解；核实习惯改善；盲目信任减少
• 反思日志提示：
  • “这次审计挑战了我关于自动化准确性的哪个假设？”
  • “如果要我押钱赌这个建议是对的，我会押多少？”
  • “我可以在日常流程中加入哪个核实步骤，来捕捉我发现的这些错误？”

12. 面向特定人群

面向领导者与管理者

这一偏差如何影响领导效能：

• 不加批判地接受自动化分析的领导者，可能错过关键的一线现实
• 自动化的绩效指标可能对团队健康状况制造虚假信心
• 基于算法预测的战略决策，可能未能考虑前所未有的情况

适用于组织情境的具体策略：

• 通过公开质疑自动化建议，示范恰当的怀疑态度
• 为员工挑战自动化营造心理安全感
• 建立明确的问责机制，不因“是系统推荐的”而被稀释
• 投资于强调判断力而不仅是工具熟练度的培训

基于团队的干预：

• 设立专门用于质疑自动化的“魔鬼代言人”角色
• 在接受高风险的自动化建议前，要求多方独立评估
• 在团队会议上分享自动化失败的故事，作为学习机会
• 表彰团队成员发现自动化错误的实例

应当落实的决策流程：

• 事前验尸：“如果这条自动化建议导致了灾难，那是哪里出了问题？”
• 红队演练：指派专人为反对该自动化建议而辩论
• 校准会议：把过去的自动化预测与实际结果作对比

面向家长与教育者

如何向孩子讲解这一偏差：

• 解释计算机是有用的工具，但并不总是对的
• 使用符合年龄的例子（拼写检查的错误、GPS 的失误）
• 把健康的怀疑精神诠释为聪明，而非不信任

符合年龄的解释：

• 幼儿（5-8 岁）：“电脑在有些事情上很聪明，但也会犯傻错误。一定要检查哦！”
• 大一些的孩子（9-12 岁）：“应用和网站用程序来帮我们，但那些程序并不是什么都知道。我们也要自己动脑筋。”
• 青少年：“AI 和算法很强大，但有局限。聪明意味着知道什么时候可以信任它们、什么时候需要核实。”

面向年轻心智的预防策略：

• 在使用计算器的同时鼓励练习心算与笔算
• 让孩子先自己尝试任务，再使用自动化助手
• 讨论新闻与日常生活中技术出错的例子
• 作为家长示范核实行为

课堂或家庭活动：

• 用计算器输出、GPS 路线或 AI 生成内容玩“找错误”游戏
• 需要核实自动化搜索结果的研究项目
• 对 AI 生成的美术、写作或推荐进行批判性评估

面向医疗专业人员

这一偏差的临床影响：

• 过度依赖临床决策支持可能导致误诊
• 警报疲劳会造成危险的依赖不足
• AI 诊断工具在非典型临床表现上可能表现不佳

与患者沟通的策略：

• 说明何时使用了自动化工具辅助诊断（透明能建立恰当的信任）
• 强调临床判断在解读自动化结果中的作用
• 讨论患者可能使用的健康应用与 AI 症状自查工具的局限

诊断方面的考量：

• 在咨询决策支持之前先形成鉴别诊断
• 把自动化当作众多数据点之一，而非确定的答案
• 当自动化输出与临床表现不符时，要格外保持怀疑

对治疗规划的影响：

• 自动化剂量计算器需要核实体重与肾功能
• 治疗方案建议可能未考虑个体差异
• 患者特异性因素可以推翻算法建议

伦理考量：

• 责任不能委托给自动化
• 知情同意可能要求披露诊断中 AI 的使用
• 无论自动化如何，专业判断始终居于首位

面向金融专业人士

投资领域的具体应用：

• 算法交易建议仍需人工做合理性检验
• 回测表现并不保证未来结果
• 模型在前所未有的市场条件下可能灾难性失效

与客户沟通的策略：

• 说明自动化在投资组合管理中的作用
• 就算法能做什么、不能做什么设定合理预期
• 讨论风险建模与预测中的局限

风险管理的意涵：

• 自动化风险指标（VaR 等）有已知的失效模式
• 相关性在危机期间可能变化，从而打破模型假设
• 尾部风险情形下人类判断不可或缺

监管方面的考量：

• 遵从算法建议并不等于履行了受托义务
• 文档记录应体现出人工对自动化建议的复核
• 合规系统需要人工监督，而非完全自动化

13. 与其他偏差的相互作用

放大这一偏差的其他偏差

抵消这一偏差的其他偏差

常见的偏差链

自动化—确认—记忆链： 自动化偏差 → 确认偏差 → 记忆扭曲 → 被强化的自动化偏差

当某人接受了一条自动化建议（自动化偏差）之后，他开始选择性地注意那些能印证它的信息（确认偏差）。随着时间推移，记忆会重构事件以支持该自动化决定，甚至虚构出证据（记忆扭曲）。这些虚假证据随后又让过去的自动化决定显得比实际更可靠，从而强化未来的自动化偏差。

打断这一连锁： 关键的干预点在第一次接受之前。在看到自动化结果之前先对某个独立判断作出承诺，可以打破最初的锚点。要求明确记录相互矛盾的证据，可以防止选择性注意。定期审计、把自动化预测与实际结果作对比，则可以纠正记忆扭曲。

14. 文化视角

跨文化的自动化偏差研究既揭示出普遍特征，也显示出显著差异：

普遍性方面：

• 底层的认知机制（能量节省、启发式加工）在所有被研究的文化中都存在
• “认知吝啬鬼”效应无论文化背景如何都在起作用
• 高可靠性普遍导致信任增加与核实减少

文化差异：

各地区的研究侧重：

• 日本（Ishiguro）： 侧重于对机器人的社会信任与拟人化效应；技术普及度高，且在文化上关注人机之间的和谐互动
• 韩国（KAIST）： 关注可解释人工智能作为一种文化价值；对透明度的期待可能减少对自动化的盲目信任
• 中国（清华大学）： 研究侧重于对话式 AI 的安全性，以及防止会强化用户偏见的谄媚型 AI 回应
• 德国（柏林工业大学、达姆施塔特工业大学）： 工程视角侧重于警报设计与服务机器人交互；文化上的精确性可能影响核实规范
• 美国： 侧重于个体层面的认知心理学以及航空/国防领域的应用

跨文化意涵：

• 使用共享自动化系统的国际团队，其默认信任水平可能各不相同
• 跨国组织在设计自动化界面时应考虑文化差异
• 全球性 AI 系统对不同市场可能需要不同的信任校准方式

15. 迷思与误解

16. 专家洞见

“自动化偏差是一种‘警觉性信息搜寻与加工的启发式替代品’，是一条‘过早终止情境评估的认知捷径’。” — Linda Skitka、Kathleen Mosier 与 Mark Burdick，1999

“信任是一种态度，即在充满不确定性与脆弱性的情境中，认为某一主体将帮助个体实现其目标。” — John D. Lee 与 Katrina A. See，2004

“尽管有大量相反证据，用户仍甘愿接受系统错误，偏信机器的判断而非战场的现实。” — 国防科学委员会关于爱国者导弹误伤事件的报告，2005

“机组‘脱离了回路’，无法理解自动化究竟在干什么。” — FAA 对 447 航班的人为因素分析，援引自报告

“错误的大语言模型建议会通过诱发自动化偏差显著削弱医生的诊断表现。” — 2025 年关于 AI 辅助诊断的随机临床试验

“当人们发动战争时，他们不会只用五枚导弹开战。” — Stanislav Petrov 中校，解释他推翻苏联核预警系统的决定，1983

17. 关键要点

1. 自动化偏差普遍存在且根深蒂固。 它源于演化而来的认知效率机制，这些机制在技术出现之前对人类大有裨益，但一旦应用于并不完美的自动化系统，就会造成危险的脆弱性。

2. 两类错误界定了这一偏差： 疏忽错误（因自动化未发出警报而漏掉问题）与执行错误（主动照做错误的自动化建议）。执行错误更令人担忧，因为它代表着主动交出判断权。

3. 可靠性制造危险。 悖论在于：自动化越可靠，一旦自动化失效，人为错误就越危险。对于高可靠性系统而言，“人类作为后备”的假设在数学上是站不住脚的。

4. 后果写在历史之中。 从坠毁的飞机到冤狱，自动化偏差已经夺去生命与自由，并造成数十亿美元的损失。这些并非理论上的风险。

5. 仅靠培训是不够的。 系统设计比个人意志力更重要。似然显示、认知强制功能与社会技术工作流设计，比让人们“再努力一点”更有效。

6. 信任必须校准，而非最大化。 目标不是不信任自动化，而是让信任与实际能力相匹配。不仅要理解系统在做什么，还要理解它如何运作、在哪里会失效，这一点至关重要。

7. AI 时代放大了风险。 大语言模型通过自然语言进行交流，触发了根深蒂固的社会信任机制。“幻觉接受”，即相信听起来合理的编造内容，是自动化偏差一种全新而强力的表现形式，社会才刚刚开始与之较量。

18. 延伸资源

学术论文

• Skitka, L. J., Mosier, K. L., & Burdick, M. (1999). Does automation bias decision-making? International Journal of Human-Computer Studies, 51(5), 991–1006.
• Parasuraman, R., & Manzey, D. H. (2010). Complacency and bias in human use of automation: An attentional integration. Human Factors, 52(3), 381–410.
• Lee, J. D., & See, K. A. (2004). Trust in automation: Designing for appropriate reliance. Human Factors, 46(1), 50–80.
• Lyell, D., & Coiera, E. (2017). Automation bias and verification complexity: A systematic review. Journal of the American Medical Informatics Association, 24(2), 423–431.
• Goddard, K., Roudsari, A., & Wyatt, J. C. (2012). Automation bias: A systematic review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association, 19(1), 121–127.

书籍

• Parasuraman, R., & Mouloua, M. (Eds.). (1996). Automation and Human Performance: Theory and Applications. Lawrence Erlbaum Associates.
• Wickens, C. D., & Hollands, J. G. (2000). Engineering Psychology and Human Performance (3rd ed.). Prentice Hall.
• Kahneman, D. (2011). Thinking, Fast and Slow（《思考，快与慢》）. Farrar, Straus and Giroux.
• Reason, J. (1990). Human Error. Cambridge University Press.
• Lee, J. D., Wickens, C. D., Liu, Y., & Boyle, L. N. (2017). Designing for People: An Introduction to Human Factors Engineering (3rd ed.). CreateSpace.

书籍章节

• Mosier, K. L., & Skitka, L. J. (1996). Human decision makers and automated decision aids: Made for each other? In R. Parasuraman & M. Mouloua (Eds.), Automation and Human Performance (pp. 201–220). Lawrence Erlbaum Associates.

19. 概要卡片

20. 术语表

21. 讨论问题

供读书会、课堂或自我反思使用：

1. 报告认为“机器越可靠，人类操作者出错的潜在危险就越大”。这一悖论可以解决吗，还是人机协同固有的局限？

2. Stanislav Petrov 成功抵抗了自动化偏差，并可能因此阻止了一场核战争。是哪些个人品质、训练或情境使他做到了别人（比如爱国者系统的操作者）做不到的事？

3. 英国邮政 Horizon 丑闻表明，自动化偏差在制度层面持续了 15 年以上。要防止未来出现类似的制度性自动化偏差，需要哪些系统性变革？

4. 随着 AI 语言模型日益精密，它们通过人类用以传达真理的同一套语义渠道进行交流。这是否使 AI 引发的自动化偏差在本质上不同于以往的形式？现有的缓解策略是否足够？

5. 当人类遵从错误的自动化建议时，是否应当承担法律责任？我们该如何在人类操作者、组织与自动化供应商之间平衡问责？