自动化偏见

一览

1. 速览摘要

自动化偏见是指：即使计算机明显出错，我们也倾向于相信它生成的建议，胜过自己的判断或其他信息来源。当机器告诉我们某件事时，我们往往不加核实就把它当成事实，实际上把批判性思考交给了算法。这种思维捷径在进化中形成，原本用来节省认知能量，但用于并不完美的自动化系统时就会带来危险。由此造成的错误出现在航空、医疗、司法程序和日常决策中。

用大白话说

自动化偏见就是机器的答案明明错了，你却更相信它，不相信自己看到的、想到的。屏幕上显示出来，你就觉得是真的，不再检查。

比如，你用计算器做数学作业，按得太快，按错了键。本来应该很小的结果，变成了很大的数。可你还是照抄，因为计算器就是这么说的。或者，你和家人出门，地图软件让你们拐进一条路，你明明看见路口写着“道路封闭”，心里却还是想跟着软件走。拼写检查也会这样：它把你的词换成了错误的词，你没有重读消息，就发了出去。

试着养成一个简单习惯：接受机器的答案之前，先自己快速估一下，再问“这个答案说得通吗？”如果屏幕上的结果和你想的不一样，就再查一遍。机器很多时候是对的，但并非每次都对。发现它的错误，是你要做的事。

2. 背后的科学

2.1. 发现与历史

尽管“自动化自满”的轶事性证据在航空界流传了数十年，但对自动化偏见的正式科学研究始于 20 世纪 90 年代末。1999 年，Linda Skitka、Kathleen Mosier 和 Mark Burdick 发表了题为《自动化会使决策产生偏见吗？》的里程碑式研究，将这一现象界定为一种独立于单纯疲劳或能力不足的认知偏差。该论文发表于 International Journal of Human-Computer Studies，改变了研究者研究人机交互的方式。

这一概念源于人们日益意识到：自动化系统尽管可靠，却引入了新型的人为错误。早期的航空事故提示，飞行员正对自动驾驶系统产生危险的依赖，但直到严谨的实验研究出现，科学家才得以量化并刻画这种依赖。

自 1999 年以来，人们对这一偏差的理解不断加深。研究者逐渐厘清了自动化偏见与自动化自满的关系。Parasuraman 与 Manzey（2010）提出，两者具有共同的注意机制基础，应当放在同一框架内研究。研究领域已从航空扩展到医疗、自动驾驶汽车、司法系统，以及最近的人工智能和大语言模型（LLMs）。生成式 AI 的兴起带来了该偏差的新表现形式，包括“幻觉接受”，即倾向于相信听起来合理、实则编造的 AI 输出。

研究中的关键里程碑包括：

• 1999 年： Skitka、Mosier 与 Burdick 的奠基性实验研究
• 2004 年： Lee 与 See 的信任校准框架
• 2010 年： Parasuraman 与 Manzey 的“注意整合”综述，在同一框架内讨论自满与偏见的关系
• 2017 年： Lyell 与 Coiera 的“核实复杂度”模型
• 2023–2025 年： 关于 AI 诱发的自动化偏见与幻觉接受的研究爆发式增长，包括 Dratsch 等人发表于 Radiology 的乳腺 X 线摄影研究（2023）

2.2. 主要研究者

2.3. 里程碑式研究

《自动化会使决策产生偏见吗？》（Skitka、Mosier 与 Burdick，1999）

研究者设计了一项低保真飞行模拟任务，以实证检验人类操作者在自动化决策支持系统辅助下如何监控系统状态。被试的任务是监控仪表并“驾驶”模拟器。实验设计引入了一个可靠但并不完美的自动化监控辅助工具，从而使研究者能够观察人们信任的系统出错时，会如何应对。

主要发现：

• 与手动操作者相比，使用自动化辅助的被试进行警觉性信息搜寻的可能性显著更低
• 自动化实际上取代了人的注意力，而不只是起到补充作用
• 当自动化辅助建议了错误的行动时，相当比例的操作者仍照做，即便原始数据明确显示该建议有误
• 该研究识别出两类错误：疏忽错误（因自动化未发出警报而漏掉事件）与执行错误（照做错误的自动化建议）

作者们得出结论：自动化偏见是一种“警觉性信息搜寻与加工的启发式替代品”，是一条“过早终止情境评估的认知捷径”。

记忆扭曲的研究发现（Mosier、Skitka、Heers 与 Burdick，1998）

在一项针对玻璃座舱飞行员的模拟器研究中，飞行员事后解释自己如何做出决定时，常常“记得”一些预期会出现、实际却未出现的线索。他们回忆说，自己在原始数据中看到了支持自动化错误决定的线索，但这些线索从未出现过。这提示，自动化偏见可能反过来改变知觉。大脑接受自动化的结论后，会虚构证据来支持它。

信任校准研究（Lee 与 See，2004）

该研究将对自动化的信任定义为“在充满不确定性与脆弱性的情境中，认为某一主体将帮助个体实现其目标的态度”。研究识别出信任的三大基础：表现（历史可靠性）、过程（对算法的理解）与目的（设计者的意图），并证明仅依赖表现而缺乏对过程的理解，会在边缘情况下导致灾难性的偏差。

核实复杂度系统综述（Lyell 与 Coiera，2017）

该研究证明，只要任务足够复杂，即使在单任务环境中，自动化偏见也很普遍。研究提出了核实复杂度概念：自动化偏见出现的可能性与核实自动化输出所需的认知投入成正比。该模型对理解现代“黑箱”AI 系统至关重要。

乳腺 X 线摄影中的自动化偏见（Dratsch 等人，2023）

在一项前瞻性实验中，27 名放射科医生判读了 50 张乳腺 X 线片，同时参考一个据称由 AI 提供的 BI-RADS 分级建议系统。该系统在 40 个测试病例中给错了 12 个分级。建议有误时，各种经验水平的医生正确判读的片子数量都大幅减少，经验不足的医生最常采纳错误建议。

2.4. 神经学基础

自动化偏见的神经机制与大脑基本的节能机制有关：

认知负荷与前额叶皮层： 大脑是一个节能器官。负责决策与核实等执行功能的前额叶皮层需要大量代谢资源。当自动化提供了一个看似合理的答案时，大脑的默认模式就是接受它，而不启动高耗能的核实过程。

“认知吝啬鬼”机制： 该原则最初由 Fiske 与 Taylor（1984）提出，认为进化促使人类尽量减少认知投入。只要环境允许，大脑就会默认采用启发式加工（思维捷径）。自动化充当“超级启发式”，利用了这一倾向。

注意网络与警觉性衰退： Parasuraman 运用脑成像开展的神经工效学研究揭示了大脑何时从监控任务中脱离。在被动监控可靠的自动化系统期间，注意网络（尤其是背侧注意网络）的激活水平随时间下降，即“警觉性衰退”。

记忆虚构： 飞行员在自动化诱发的错误之后，报告了对支持性线索的虚假记忆。这一发现提示，记忆巩固过程也参与其中。当大脑接受了某个自动化结论后，海马体记忆系统可能在巩固过程中构造出支持性的“证据”，把这一错误决定整合进一段连贯的叙事之中。

多巴胺奖赏通路： 信任自动化并且判断正确会激活奖赏通路。这种正向强化会逐渐巩固“接受自动化”的思维捷径，让人越来越难以不照做。

3. 进化起源

一些认知机制在技术出现之前演化形成，原本有助于生存；自动化偏见就是这些机制被用在不适合的情境中的结果。

匮乏世界中的能量节省： 我们的祖先生活在热量极为宝贵的环境中。大脑消耗的能量约占全身的 20%。进化有利于这样的认知捷径，做出“足够好”的决定，同时节省能量，用于维持生存的身体活动。把认知工作交给可靠的信息来源，有助于适应环境。

社会顺从与专业权威： 人类在社会群体中演化，服从专家（长者、熟练的猎人、医者）能带来生存优势。我们发展出识别可靠信息来源并顺从它们的启发式。自动化系统，尤其是 99% 的时间都可靠的系统，会触发同样的顺从机制。

信任工具与生存： 信任自己的工具在进化上必不可少。一个不断怀疑自己的长矛能否射准的猎人会迟疑不决，无法行动。进化选择了对可靠工具的信心。现代自动化劫持了这一根深蒂固的工具信任机制。

是缺陷还是特性？ 自动化偏见本质上是一种被误用的特性。这种认知效率策略在反馈即时、后果成比例的自然环境中运作良好，但在错误虽少见但破坏性大、反馈延迟、后果不对称的高风险技术环境中，却会造成灾难性的失误。

环境错配： 这一偏差曾经具有适应性的环境，与现代技术情境截然不同。在使用石器时有益的启发式，一旦应用于控制核反应堆、飞机或医疗诊断的系统就变得危险。我们的认知架构尚未演化到能应对“可靠性与危险性悖论”。机器越可靠，人为错误就越危险。

4. 这一偏差如何显现

4.1. 在日常生活中

• GPS 导航： 尽管视觉证据与指令相矛盾，驾驶员仍照着 GPS 的指示开进湖里、驶上封闭道路或走上不适宜的路线。导航系统的权威压过了亲眼所见。

• 拼写检查与语法工具： 写作者不加核实就接受错误的自动更正或语法建议，把错误带进最终文档。绿色对勾成了正确无误的保证。

• 智能家居设备： 接受智能恒温器的能耗建议，而不考虑个人舒适度或家庭的具体情况。

• 在线推荐： 不加审视地接受算法给出的购物、娱乐或社交推荐，也不问为什么推荐的是这些选项。

• 依赖计算器： 接受计算器的输出而不做合理性检验，哪怕是简单计算，稍加估算就能发现明显错误。

4.2. 在职场中

• 过度信任电子表格： 接受 Excel 中公式的输出而不核实底层计算，导致错误在财务模型与报告中层层传递。

• 自动排程： 遵从 AI 生成的日程安排，而这些安排未考虑团队关系、出行时间或个人工作节奏等人的因素。

• 人力资源筛选软件： 招聘经理完全听凭自动化简历筛选，错过被标为不匹配的合格候选人，或接受了算法青睐的不合格者。

• 绩效分析： 过度依赖自动化绩效指标，而这些指标无法反映员工贡献中难以量化的部分。

• 邮件过滤： 因垃圾邮件过滤器错误归类而漏掉重要通讯，也不定期检查被过滤的邮件。

• 自动化报告： 分发系统生成的报告而不审查异常或错误，仅因“系统就是这么说的”便假定其准确。

4.3. 在商业与营销中

• 算法交易： 金融机构依赖交易算法而缺乏人工监督，导致闪崩与连锁失灵。

• 动态定价： 企业实施自动化定价，在紧急事件或供应中断期间引起客户反感，损害品牌声誉。

• 营销自动化： 基于人口统计特征或行为的自动发送规则被错误触发，发出不合时宜的信息。

• 客服聊天机器人： 企业假定聊天机器人的服务令人满意，却没有留意那些被无效的反复问答困住、感到沮丧的客户。

• 库存管理： 零售商信任未考虑本地差异、季节变化或即将到来的活动的自动补货系统。

• 欺诈检测： 银行既会漏掉真实欺诈（疏忽错误），又会标记正当交易（随后未经复核便被接受的误报）。

4.4. 在政治与媒体中

• 社交媒体算法： 公民的世界观受到内容推荐算法的塑造，却不质疑也不了解这些算法。

• 事实核查工具： 记者依赖自动化事实核查而不加验证，可能传播错误或漏掉不易察觉的说法。

• 民调汇总： 政治评论员将算法化的民调汇总器视为权威，无视模型的局限与假设。

• 内容审核： 把自动化内容审核决定当作正确的，压制正当言论或让有害内容长期存在。

• 选举技术： 选民与官员在缺乏充分核实机制的情况下信任电子投票与计票系统。

• 预测性警务： 执法部门根据可能反映历史偏见而非实际风险的算法预测来部署资源。

4.5. 在医疗中

• 临床决策支持系统（CDSS）： 2025 年一项随机临床试验发现，“错误的大语言模型建议会通过诱发自动化偏见显著削弱医生的诊断表现”。即使是专家医生也会听从编造诊断的机器。

• 电子健康档案： 系统警告过多造成的警报疲劳，导致临床医生忽略所有警报，包括关键警报。另一种相反的错误是不经临床核实就接受 EHR 系统的建议。

• 医学影像 AI： 放射科医生在没有独立核实的情况下接受或否定 AI 标记的发现，可能漏诊癌症或过度诊断良性病变。

• 药物相互作用检查器： 药师在缺乏针对个别患者情况的临床判断下，否定或接受自动化的药物相互作用警告。

• 生命体征监护仪： 护士和医生忽视与“正常”自动化生命体征读数相矛盾的临床观察。

• 诊断算法： 即便患者的临床表现提示这是需要人类直觉判断的非典型病例，仍然沿着算法化的诊断路径走。

4.6. 在金融与投资中

• 智能投顾： 投资者遵从自动化的组合建议，而不考虑个人处境、风险承受度的变化或算法未能捕捉的人生事件。

• 信用评分： 放贷方仅凭自动化信用评分接受或拒绝申请，不审查个人具体情况或信用报告中的错误。

• 风险评估模型： 金融机构信任在 2008 年金融危机期间灾难性失效的风险价值等自动化风险模型。

• 算法交易决策： 个人投资者照抄算法交易信号，却不了解其背后的策略或市场状况。

• 自动化理财规划： 接受软件给出的退休预测与储蓄建议，而不质疑其关于通胀、收益率或寿命的假设。

• 欺诈警报： 要么因频繁误报而忽视真正的欺诈警报，要么不加调查就把所有被标记的交易都当成欺诈。

5. 现实案例研究

案例研究 1：爱国者导弹误伤事件（2003）

• 背景： 在伊拉克自由行动期间，美国陆军的爱国者导弹系统以从手动到全自动的多种模式运行。在因担忧伊拉克弹道导弹而形成的高威胁环境下，系统被设定为偏向交战。

• 发生了什么： 发生了两起臭名昭著的友军误伤事件，英国皇家空军的一架“狂风”GR4 战机和美国海军的一架 F/A-18“大黄蜂”战机被击落。两机机组全部遇难。在这两起事件中，爱国者的雷达算法都把友机误判为来袭的反辐射导弹。

• 偏差如何起作用： 系统把它的误判当作事实呈现给人类操作者。虽然操作者有几秒钟时间用其他参数（空速、高度、敌我识别）核实目标，但他们未能有效地这样做。美国国防科学委员会的一份报告发现，用户“尽管有大量相反证据，仍甘愿接受系统错误”，偏信机器的判断而非战场现实。

• 后果： 四名军人丧生。报告指出，这一偏差既存在于个人，也存在于制度中。操作者接受的训练要求他们信任系统；围绕这项技术形成的“绝对可靠文化”，意味着“人类否决权”在很大程度上只停留在理论上。

• 经验教训： 自动化偏见可以通过培训、文化与系统设计而嵌入组织之中。“瑞士奶酪”模型显示，原本可能发挥作用的多层人工干预为何同时失效，每一层都假定自动化是正确的。

案例研究 2：英国邮局 Horizon 丑闻（1999–2015）

• 背景： 由富士通开发的 Horizon IT 系统被推广用于管理英国邮局的账务。几乎在同一时间，各地邮政分局长开始报告账目中出现无法解释的短缺。

• 发生了什么： 邮局管理层与英国法院依据“计算机是可靠的”这一法律推定行事，而这正是一种被法典化的自动化偏见。当邮政分局长声称系统出错时，他们反被指控盗窃。数百名诚实公民的证词被系统性地忽视，而 Horizon 的日志被采信。

• 偏差如何起作用： 计算机的输出被当作神圣不可侵犯的真理，不容人类质疑。“来自非自动化来源的相互矛盾的信息”，在这里就是人类证词，被当作谋取私利的谎言或能力不足的表现而不予理会。管理者与法官犯下了持续多年的执行型自动化偏见。

• 后果： 700 多人被错误定罪、破产并入狱。婚姻破裂，事业尽毁，多名邮政分局长自杀身亡。后来证实该系统漏洞百出。这是英国历史上最大规模的司法不公。

• 经验教训： 自动化偏见可以成为一种长期存在于组织中的妄想，并不限于瞬间反应。假定计算机可靠的法律与制度框架，会造成极难挑战的系统性偏差。

案例研究 3：法国航空 447 航班（2009）

• 背景： 在大西洋上空巡航时，一架空客 A330 的皮托管（空速传感器）被冰晶堵塞，飞行计算机因此失去有效的空速数据。自动驾驶断开，把控制权交给了多年来已习惯高度自动化飞行的飞行员。

• 发生了什么： 习惯了防止失速的“飞行包线保护”的飞行员，突然进入了没有这些保护的“备用法则”模式。相互冲突的警报让飞行员感到困惑（失速警告响了 75 次），操纵飞机的飞行员向后拉杆。在无保护的飞行模式下，这一动作会诱发失速。

• 偏差如何起作用： 机组无法相信自动化系统所处的运行情境已经根本改变。他们忽视了实际的空气动力学状况（飞机正在坠落），因为他们的心理模型仍停留在自动化正常运行的状态。正如 FAA 分析所指出的，机组“脱离了控制环节”，无法理解“自动化究竟在干什么”。他们实际上是在等待自动化来拯救自己，这种启发式依赖一直持续到撞击时刻。

• 后果： 机上 228 人全部遇难。这起空难至今仍是自动化偏见导致“自动化惊讶”以及无法重新依靠人工判断的权威案例。

• 经验教训： 过度依赖自动化会使手动技能退化到飞行员在自动化失效时无法挽回局面的程度。当人类被系统性地排除在认知回路之外时，“人类作为后备”的假设便站不住脚。

历史范例：斯坦尼斯拉夫·彼得罗夫（1983）

要完整理解自动化偏见，就必须考察那些罕见的、成功打破它的案例。1983年9月26日，苏联的核预警系统（Oko）报告称有五枚洲际弹道导弹从美国发射。

值班军官斯坦尼斯拉夫·彼得罗夫中校判断该警报为假。他的推理基于具体背景，体现了人的判断：“当人们发动战争时，他们不会只用五枚导弹开战。”他还不信任这项新的卫星技术。彼得罗夫拒绝将预警上报至指挥链，避免了一次可能的核报复打击。

彼得罗夫的成功源于他的怀疑精神与专业知识。他知道政治与战略背景（人类情报）与传感器数据（自动化情报）相矛盾，并行使了爱国者导弹操作者未能行使的“人类否决权”。这一案例表明，打破自动化偏见既需要提出异议的勇气，也需要辨识自动化输出何时不合情理的领域知识。

6. 这一偏差的代价

6.1. 个人代价

• 批判性思维的侵蚀： 经常屈从于自动化系统，会削弱核实与独立分析的“认知肌肉”。久而久之，个体在没有自动化引导时的能力会下降。

• 专业能力的流失： 高度依赖自动化工具的专业人士可能出现技能退化。很少手动驾驶的飞行员、总是依靠 AI 辅助的放射科医生、从不手工计算的会计，都会丧失使他们成为专家的能力。

• 决策瘫痪： 当自动化系统失效或不可用时，个体可能感到无力做出决策，在关键时刻陷入瘫痪。

• 虚假的自信： 信任自动化输出会制造出并不合理的确定感，导致对自动化出错的情形准备不足。

• 人际关系紧张： 在个人生活中，过度依赖自动化推荐（约会应用、社交媒体建议）可能取代真实的人类判断与人际联系。

6.2. 职业代价

• 职业责任风险： 遵从自动化建议而铸成错误的专业人士，可能面临纪律处分、执业过失诉讼或刑事指控。例如，Mata v. Avianca 案中的律师就因引用 AI 编造的判例而受到制裁。

• 声誉受损： 因自动化引发的失误而广为人知的组织（如英国邮局）会遭受长期的声誉损害，影响招聘、合作与公众信任。

• 技能萎缩： 当自动化处理了常规案例，整个专业群体可能出现集体性技能退化，使从业者在面对复杂或异常情形时毫无准备。

• 创新停滞： 对“系统就是这么运作的”过度信任，会阻碍专业人士质疑流程或提出改进。

• 糟糕的结果： 医疗误诊、错误定罪、财务损失与运营失败，都可直接追溯到自动化偏见。

6.3. 社会代价

• 系统性风险累积： 当整个行业都听凭自动化系统时，错误会彼此关联，不再相互独立。单一的算法缺陷就能同时蔓延至整个行业。

• 民主的侵蚀： 塑造政治话语、内容可见度与信息获取的算法系统，若被不加质疑地接受，会妨碍人们在充分知情的基础上参与民主活动。

• 司法系统的败坏： 推定计算机可靠的法律体系（如 Horizon 丑闻）会造成个人几乎无法挑战的结构性不公。

• 安全性下降： 支撑自动驾驶汽车、自动化空中交通管制及其他关键系统的“人类作为后备”这一安全假设存在根本缺陷。人类无法在长时间的被动监控中维持警觉。

• 经济动荡： 闪崩、算法连锁反应以及自动化系统同时犯下相关联的错误，都可能引发经济不稳定。

6.4. 统计影响

• 航空： 研究表明，使用自动化辅助的飞行员漏掉的系统异常显著多于手动监控者。法航 447 航班的机组忽视了 75 次失速警告。

• 医疗： 研究证明，错误的 AI 建议会显著降低医生的诊断准确率。警报疲劳导致临床医生忽略 49%–96% 的自动化警告。

• 记忆扭曲： 使用自动化辅助时犯错的飞行员，事后往往会回忆起从未出现过的线索，使事故调查与经验总结更加复杂。

• 法律： Horizon 丑闻造成 700 多起错误定罪，是英国历史上最大规模的司法不公。

• 军事： 伊拉克的友军误伤事件表明，人们在有大量相反证据的情况下仍愿意接受系统错误。

7. 隐藏的益处

自动化偏见也有有益的一面。它背后的认知机制曾发挥重要作用：

• 认知效率： 把认知任务交给可靠的外部来源，能腾出心力应对其他挑战。当自动化是正确的（多数时候确实如此），接受其输出确实能提高效率。

• 一致性： 自动化系统会统一地应用相同标准。听从它们可以减少人与人之间的差异，以及决策中的某些偏差。

• 速度： 在时间紧迫的情形中，能够迅速接受自动化建议而不做冗长核实，可能挽救生命，前提是自动化是正确的。

• 专业能力的延伸： 自动化让非专家也能用上写入系统的专业知识。使用临床决策支持的初级临床医生，可以获取专家花费数十年才积累的知识。

• 减轻焦虑： 在不确定的情境中，有自动化系统提供建议可以降低决策焦虑与认知负荷，即便决策质量并未改变，也能改善身心状态。

• 规模： 许多现代系统若没有人类接受自动化输出便根本无法运转。让人工审阅每一封邮件是否为垃圾邮件、每一笔金融交易是否为欺诈、每一条社媒帖子是否违规，是不可能的。

其中的利弊很清楚：只有在（1）自动化出错、（2）后果重大、且（3）人类本可以发现该错误时，自动化偏见才会成为问题。彻底消除自动化偏见既不可能，也不可取，因为这需要人类保持根本无法达到的警觉程度，会抵消自动化的好处。目标是让信任程度恰当，而非完全不信任。

8. 自我评估：你有这种偏差吗？

8.1. 警示信号清单

• 我常常接受 GPS 的路线指引，而不检查它对我的目的地是否合理
• 我信任拼写检查和语法工具，不去复核它们的建议
• 当计算器给出答案时，我很少估算一下它是否看起来合理
• 我接受搜索引擎首页的结果，却不考虑它们为何被排在那里
• 我曾照做了后来证明是错误的自动化建议，因为我没有去核实
• 当软件给出错误提示时，我假定软件对问题所在的判断是正确的
• 当我惯用的自动化工具不可用时，我很难完成任务
• 即使我的判断与自动化建议不同，推翻它也让我感到不安
• 我曾用“但系统就是让这么做的”来为糟糕的结果开脱
• 我信任 AI 聊天机器人的输出，而不核查其说法

评分：

• 勾选 0-2 项：易感性低
• 勾选 3-5 项：易感性中等
• 勾选 6-8 项：易感性高
• 勾选 9-10 项：易感性非常高

8.2. 自我反思问题

1. 想一想你最近一次基于自动化建议做出的决定。在行动之前，你核实过该建议的任何方面吗？为什么核实或为什么不核实？

2. 你能回想起某次自动化明明出错、你却照做了的经历吗？是什么阻碍了你相信自己的判断？

3. 使用 ChatGPT 之类的 AI 工具时，你如何核实所提供信息的准确性？你曾发现过错误吗？

4. 如果你主要的自动化工具（GPS、拼写检查、搜索引擎、计算器）一周都不可用，你的工作流程会有什么变化？

5. 同事、朋友或家人是否曾指出，你在本可以自己做的决定上过度依赖技术？

8.3. 快速诊断情境

情境： 你正在用一个 AI 助手起草一份重要报告。AI 提供了一个完美支持你论点的统计数据，“研究表明，实施该方法的组织中，有 78% 取得了成效提升，提升幅度为 40%。”这个数字听起来合情合理，也正好符合你想表达的观点。此时你时间紧迫。

你会怎么做？

• A） 直接写进报告，因为它听起来很权威，而且这个 AI 以前一直很可靠 → 易感性高
• B） 写进报告，但加上“有研究提示”之类的模糊措辞，且不作核实 → 易感性中等
• C） 在引用之前搜索原始出处以核实该数据，并接受可能需要调整交稿期限 → 易感性低

9. 在他人身上识别这一偏差

9.1. 行为指标

言语中可观察的迹象：

• 频繁以“系统说”或“算法推荐”作为理由
• 被要求推翻自动化建议时表达出不适
• 对属于自己专业范围内的决定也习惯性地说“我先看看电脑怎么说”

决策中的模式：

• 一贯遵从自动化建议而不加质疑
• 自动化工具不可用时难以做出决定
• 归咎于系统错误，而不检视自己的核实流程

肢体语言线索：

• 即便在面对面讨论中也转向屏幕寻求确认
• 被要求违背自动化建议行事时身体紧绷
• 自动化系统确认了他们的决定时神情放松

对话中反复出现的主题：

• 对技术准确性表达高度自信
• 把对自动化错误的担忧淡化为罕见的边缘情况
• 把人类判断斥为“有偏见”，而算法是“客观的”

9.2. 对话中的危险信号

处于这一偏差中的人常说的话：

• “电脑不会出错”
• “我只是照系统建议的做”
• “数据显示……”（却不核实数据）
• “我为什么要质疑 AI？它可是在数百万个样本上训练出来的”
• “它肯定是对的。你看这个输出多有把握”

他们提出的论证类型：

• 以系统过去的可靠性作为其当前准确性的证明
• 把相互矛盾的信息当作“异常现象”或“用户操作失误”而不予理会
• 把自动化输出当作客观事实，而非概率性估计

他们回避提出的问题：

• “这个系统有哪些局限？”
• “在什么情况下这个建议可能出错？”
• “如果没有这个自动化工具，我会怎么决定？”

9.3. 情境触发因素

激活这一偏差的情形：

• 使人无暇核实的时间压力
• 多任务并行造成的高认知负荷
• 疲劳或决策疲劳
• 核实需要专门知识时
• 自动化过去一直可靠时

环境因素：

• 推崇自动化与效率的职场文化
• 强调遵守程序而非运用判断的培训方案
• 缺少能显示自动化何时出错的反馈回路
• 设计上不透明、不披露置信水平的系统

增加脆弱性的情绪状态：

• 压力与焦虑（寻求确定性）
• 不堪重负（寻求认知解脱）
• 冒名顶替综合征（信任“专家”系统胜过自己）
• 安逸与自满（一切一直很顺利）

放大偏差的社会情境：

• 群体场合中，质疑自动化似乎会拖慢进度
• 层级结构中，自动化代表着管理层的决定
• 专业情境中，自动化被视为“最佳实践”

使情况恶化的时间压力：

• 不容核实的截止期限
• 实时决策（交易、医疗急救、航空）
• 逐一复核不切实际的大批量处理

10. 认知去偏策略

10.1. 即时技巧

接受自动化建议前的快速心理检查：

• “这个输出经得起直觉检验吗？”停下来想一想该建议是否合乎常理。
• “错了的代价是什么？”后果越重大，就越需要核实。
• “这是该系统擅长的事情吗？”自动化有其领域局限。

当下可问自己的问题：

• “如果没有这个自动化，我会怎么决定？”
• “有哪些证据与这个建议相矛盾？”
• “系统的置信水平是多少，它有没有表达不确定性？”
• “我上一次核实自动化建议是什么时候？”

打断惯常反应、摆脱偏差的方法：

• 在接受之前，大声说出一条自动化可能出错的理由
• 在继续之前查证一个替代来源
• 在收到建议与采取行动之间设置一段简短的“冷静期”
• 从屏幕前转过身去，再思考这个决定

简单的经验法则：

• 5 秒法则：在接受之前，至少花 5 秒钟考虑其他可能
• “100 倍后果”法则：如果出错的代价是核实成本的 100 倍，就去核实
• “向怀疑者解释”法则：你能向一个不信任自动化的人为这个决定辩护吗？

10.2. 长期策略

需要长期养成的习惯：

• 定期在没有自动化辅助的情况下练习任务，以保持技能
• 记录你发现的自动化错误（让自己更清楚地记住它会出错）
• 通过抽样检查，定期审计自动化建议
• 把核实作为标准工作流程的必做步骤

需要的心态转变：

• 把自动化视为“概率估计器”，而非“真理引擎”
• 把恰当的怀疑视为专业精神，而非不信任
• 认识到人的角色正是处理自动化失效的情形
• 接受核实是有价值的，而非白费功夫

需要落实的制度与流程：

• 制定在自动化操作前要求独立核实的检查清单
• 建立“红队”机制，让某人的职责就是找出自动化的错误
• 安排工作流程，让人先做初步评估，再看到自动化建议
• 建立反馈回路，在自动化出错时告知用户

需要练习和强化的技能：

• 领域专业知识（以便识别不合情理的输出）
• 心算估计与合理性检验
• 溯源核实与研究能力
• 元认知（对自身认知过程的觉察）

10.3. 环境设计

如何构建环境以减少这一偏差：

• 让自动化系统呈现不确定性（概率区间、置信区间）
• 设计在使用前要求确认已知悉局限的界面
• 在自动化建议与行动之间建立物理或时间上的间隔
• 建立表彰“发现自动化错误”的组织规范

有帮助的环境调整：

• 保留非自动化替代方案（纸质地图、计算器）
• 在工作区域展示关于自动化局限的提醒
• 让核实所需的资源随手可及

抵消偏差的社会结构：

• 为重要的自动化决定建立同行评审
• 营造敢于质疑自动化的心理安全感
• 认可并奖励人类发现自动化错误的案例
• 把自动化失败的故事作为学习机会加以分享

能起防护作用的信息系统：

• 呈现概率而非二元警报的似然警报显示（LADs）
• 记录人类推翻自动化的行为以供日后分析的系统
• 告知用户其接受自动化时命中/失误率的反馈系统
• 展示自动化准确率的仪表盘

10.4. 何时寻求外部意见

应当咨询他人的决策类型：

• 后果重大的决策（财务、医疗、法律、安全相关）
• 超出你专业领域的决策
• 自动化与你的直觉相冲突但你并不确定时
• 反复做同类决策，却从未核实过系统建议

该向谁求助：

• 了解该自动化局限的领域专家
• 曾经历过自动化失效的同事
• 会对该建议提出挑战的怀疑论者
• 与该自动化决定无利害关系的独立方

如何提出反馈请求：

• “系统建议 X。你能帮我做个压力测试吗？”
• “在我接受这个自动化输出之前，我应该核实什么？”
• “这是自动化给出的结论。它和你的独立评估一致吗？”

表明你需要外部视角的迹象：

• 你已在很长一段时间里不加核实地接受自动化建议
• 当前决策的后果比平常更重大
• 你对某个建议感到不安，却说不清缘由
• 该自动化被应用于一个全新的情境

11. 实践练习

练习 1：核实挑战

• 目标： 养成核实自动化输出的习惯
• 所需时间： 每天 10 分钟，持续 2 周
• 所需材料： 你日常的自动化工具（GPS、搜索引擎、拼写检查、计算器）
• 难度级别： 初级
• 步骤：
  1. 每天找出你收到的 3 条自动化建议
  2. 对每一条，花 2 分钟用独立来源核实其输出
  3. 记录自动化是正确、部分正确还是错误
  4. 记下核实花了多长时间，与你修正一个错误可能要花的时间做对比
  5. 一周结束时，计算你的自动化工具的实际准确率
• 反思问题：
  • 自动化出错或部分出错的频率有多高？
  • 哪类建议最可靠？哪类最不可靠？
  • 你付出的核实成本与错误的潜在代价相比如何？
• 频率： 每天一次，持续 2 周，此后每周抽查

练习 2：手动一周

• 目标： 重新找回独立判断的能力
• 所需时间： 一周
• 所需材料： 你惯用自动化工具的替代方案（纸质地图、手工计算、校对能力）
• 难度级别： 中级
• 步骤：
  1. 选择一个你高度依赖的自动化工具
  2. 承诺一周内不使用它（或仅将其作为备用工具）
  3. 用你自己的判断与技能手动完成这些任务
  4. 每天记录体验：哪些更难，哪些更容易
  5. 一周结束时，反思你保留了哪些能力、又失去了哪些
• 反思问题：
  • 哪些任务你完全有能力在没有自动化的情况下完成？
  • 在哪些方面你确实感到需要自动化的帮助？
  • 你对自身判断的信心发生了怎样的变化？
• 频率： 每季度一次，轮换不同的工具

练习 3：预先承诺法

• 目标： 通过先形成独立判断来减少执行错误
• 所需时间： 每个决定 5 分钟
• 所需材料： 纸张或笔记应用
• 难度级别： 高级
• 步骤：
  1. 在咨询自动化工具之前，写下你的初步判断
  2. 记下你的信心水平（低/中/高）
  3. 记录你的判断依据是哪些信息
  4. 此后才去咨询自动化
  5. 将你的判断与自动化输出对比，记录一致与分歧之处
• 反思问题：
  • 你的独立判断有多大比例与自动化建议一致？
  • 当两者不一致时，谁更常是对的？
  • 先确定自己的判断后，你对待自动化输出的方式有什么变化？
• 频率： 用于所有重要决策

每日练习

“5 秒暂停”

在接受任何自动化建议之前，暂停 5 秒并问：“有没有任何理由说明这可能是错的？”这短暂的延迟打断了自动接受的反应，为批判性评估创造了空间。

• 建议时长：每次自动化输入暂停 5 秒
• 一天中的最佳时段：全天持续
• 如何追踪进展：记录暂停的次数；标注那些因暂停而促使你质疑或核实的情形

每周挑战

怀疑者审计

每周挑选一个你高度依赖自动化的生活领域（GPS、邮件过滤器、搜索排名、AI 辅助）。对当周 5-10 个自动化决定进行系统审计。

• 4 周后的预期成果：更准确地认识自动化在哪些方面可靠、在哪些方面会出错；核实习惯改善；盲目信任减少
• 反思日志提示：
  • “这次审计挑战了我关于自动化准确性的哪个假设？”
  • “如果要我押钱赌这个建议是对的，我会押多少？”
  • “我可以在日常流程中加入哪个核实步骤，来捕捉我发现的这些错误？”

12. 面向特定人群

面向领导者与管理者

这一偏差如何影响领导工作的成效：

• 不加审视地接受自动化分析的领导者，可能错过关键的一线实际情况
• 自动化绩效指标可能让领导者对团队的状态产生虚假信心
• 基于算法预测的战略决策，可能未能考虑前所未有的情况

适用于组织情境的具体策略：

• 通过公开质疑自动化建议，示范恰当的怀疑态度
• 为员工挑战自动化营造心理安全感
• 建立明确的问责机制，避免“是系统推荐的”分散了责任
• 投入资源开展培训，同时重视判断力与工具熟练度

基于团队的干预：

• 设立专门用于质疑自动化的“魔鬼代言人”角色
• 在接受涉及重大后果的自动化建议前，要求多方独立评估
• 在团队会议上分享自动化失败的故事，作为学习机会
• 表彰团队成员发现自动化错误的实例

应当落实的决策流程：

• 事前验尸：“如果这条自动化建议导致了灾难，那是哪里出了问题？”
• 红队演练：指派专人为反对该自动化建议而辩论
• 校准会议：把过去的自动化预测与实际结果作对比

面向家长与教育者

如何向孩子讲解这一偏差：

• 解释计算机是有用的工具，但并不总是对的
• 使用符合年龄的例子（拼写检查的错误、GPS 的失误）
• 向孩子说明，适当的怀疑是聪明的表现，不代表不信任

符合年龄的解释：

• 年幼的孩子（5-8 岁）：“电脑在有些事情上很聪明，但也会犯低级错误。一定要检查哦！”
• 大一些的孩子（9-12 岁）：“应用和网站用程序来帮我们，但那些程序并不是什么都知道。我们也要自己动脑筋。”
• 青少年：“AI 和算法很强大，但有局限。聪明意味着知道什么时候可以信任它们、什么时候需要核实。”

帮助孩子预防这一偏差的策略：

• 在使用计算器的同时鼓励练习心算与笔算
• 让孩子先自己尝试任务，再使用自动化助手
• 讨论新闻与日常生活中技术出错的例子
• 作为家长示范核实行为

课堂或家庭活动：

• 用计算器输出、GPS 路线或 AI 生成内容玩“找错误”游戏
• 需要核实自动化搜索结果的研究项目
• 对 AI 生成的美术、写作或推荐进行批判性评估

面向医疗专业人员

这一偏差的临床影响：

• 过度依赖临床决策支持可能导致误诊
• 警报疲劳会造成危险的依赖不足
• 面对非典型临床表现时，AI 诊断工具的表现可能不佳

与患者沟通的策略：

• 说明何时使用了自动化工具辅助诊断（信息透明有助于建立恰当的信任）
• 强调临床判断在解读自动化结果中的作用
• 讨论患者可能使用的健康应用与 AI 症状自查工具的局限

诊断方面的考量：

• 在咨询决策支持之前先形成鉴别诊断
• 把自动化当作众多数据点之一，而非确定的答案
• 当自动化输出与临床表现不符时，要格外保持怀疑

对治疗规划的影响：

• 自动化剂量计算器需要核实体重与肾功能
• 治疗方案建议可能未考虑个体差异
• 患者的具体情况可能成为不采纳算法建议的理由

伦理考量：

• 责任不能委托给自动化
• 知情同意可能要求披露诊断中 AI 的使用
• 无论自动化如何，专业判断始终居于首位

面向金融专业人士

投资领域的具体应用：

• 算法交易建议仍需人工做合理性检验
• 回测表现并不保证未来结果
• 模型在前所未有的市场条件下可能灾难性失效

与客户沟通的策略：

• 说明自动化在投资组合管理中的作用
• 就算法能做什么、不能做什么设定合理预期
• 讨论风险建模与预测中的局限

对风险管理的影响：

• 自动化风险指标（VaR 等）有已知的失效模式
• 相关性在危机期间可能变化，从而打破模型假设
• 尾部风险情形下人类判断不可或缺

监管方面的考量：

• 遵从算法建议并不等于履行了受托义务
• 文档记录应体现出人工对自动化建议的复核
• 合规系统需要人工监督，而非完全自动化

13. 与其他偏差的相互作用

放大这一偏差的其他偏差

抵消这一偏差的其他偏差

常见的偏差链

自动化、确认与记忆的连锁反应： 自动化偏见 → 确认偏误 → 记忆扭曲 → 被强化的自动化偏见

当某人接受了一条自动化建议（自动化偏见）之后，他开始选择性地注意那些能印证它的信息（确认偏误）。随着时间推移，记忆会重构事件以支持该自动化决定，甚至虚构出证据（记忆扭曲）。这些虚假证据随后又让过去的自动化决定显得比实际更可靠，从而强化未来的自动化偏见。

打断这一连锁： 干预的关键时点，是人第一次接受自动化建议之前。在看到自动化结果之前，先独立形成并确定自己的判断，可以打破最初的锚定。要求明确记录相互矛盾的证据，可以防止选择性注意。定期审计、把自动化预测与实际结果作对比，则可以纠正记忆扭曲。

14. 文化视角

跨文化的自动化偏见研究既揭示出普遍特征，也显示出明显差异：

普遍性方面：

• 底层的认知机制（能量节省、启发式加工）在所有被研究的文化中都存在
• “认知吝啬鬼”效应无论文化背景如何都在起作用
• 高可靠性普遍导致信任增加与核实减少

文化差异：

各地区的研究侧重：

• 日本： 侧重于对机器人的社会信任与拟人化效应；技术普及度高，且在文化上关注人机之间的和谐互动
• 韩国（韩国科学技术院）： 关注可解释人工智能作为一种文化价值；对透明度的期待可能减少对自动化的盲目信任
• 中国（清华大学）： 研究侧重于对话式 AI 的安全性，以及防止会强化用户偏见的谄媚型 AI 回应
• 德国（柏林工业大学、达姆施塔特工业大学）： 从工程角度侧重研究警报设计与服务机器人交互；文化上的精确性可能影响核实规范
• 美国： 侧重于个体层面的认知心理学以及航空/国防领域的应用

跨文化启示：

• 使用共享自动化系统的国际团队，其默认信任水平可能各不相同
• 跨国组织在设计自动化界面时应考虑文化差异
• 全球性 AI 系统对不同市场可能需要不同的信任校准方式

15. 迷思与误解

16. 专家洞见

Linda Skitka、Kathleen Mosier 和 Mark Burdick 把自动化偏见描述为：用自动化辅助工具的输出作为启发式捷径，取代警觉的信息搜寻与加工，从而同时导致遗漏错误和执行错误。 — 概述自 Skitka, Mosier & Burdick，“Does Automation Bias Decision-Making?” International Journal of Human-Computer Studies 51(5)（1999），pp. 991-1006 https://doi.org/10.1006/ijhc.1999.0252

“信任是一种态度，即在充满不确定性与脆弱性的情境中，认为某一主体将帮助个体实现其目标。” — John D. Lee & Katrina A. See，“Trust in Automation: Designing for Appropriate Reliance”，Human Factors 46(1)（2004），pp. 50-80 https://doi.org/10.1518/hfes.46.1.50_30392

美国国防科学委员会（Defense Science Board）关于爱国者导弹误伤友军事件的特别工作组发现，作战过程在很大程度上是自动进行的，操作员所受的训练也是信任系统软件。 — 概述自 Defense Science Board Task Force，Patriot System Performance: Report Summary（2005年1月）

法国事故调查人员得出结论：法航447航班的飞行员没有理解当时的状况，也没有意识到飞机已经失速。 — 概述自 BEA，Final Report on the accident on 1st June 2009 to the Airbus A330-203, Air France flight AF 447（2012年7月）

2025年一项针对44名接受过AI培训的医生的随机试验发现，故意有误的 ChatGPT-4o 建议使诊断准确率从约85%降至约73%，作者将此归因于自动化偏见。 — 概述自“Automation Bias in Large Language Model Assisted Diagnostic Reasoning Among AI-Trained Physicians”，medRxiv 预印本（2025）https://doi.org/10.1101/2025.08.23.25334280

“当人们发动战争时，他们不会只用五枚导弹开战。” — 斯坦尼斯拉夫·彼得罗夫，引自 David Hoffman，“I Had a Funny Feeling in My Gut”，The Washington Post（1999年2月10日），他在解释自己在1983年苏联预警系统误报事件中的决定

17. 关键要点

1. 自动化偏见普遍存在且根深蒂固。 它源于演化而来的认知效率机制，这些机制在技术出现之前对人类大有裨益，但一旦应用于并不完美的自动化系统，就会让人暴露出危险的弱点。

2. 两类错误界定了这一偏差： 疏忽错误（因自动化未发出警报而漏掉问题）与执行错误（主动照做错误的自动化建议）。执行错误更令人担忧，因为它代表着主动交出判断权。

3. 可靠性制造危险。 悖论在于：自动化越可靠，一旦自动化失效，人为错误就越危险。对于高可靠性系统而言，“人类作为后备”的假设在数学上是站不住脚的。

4. 后果写在历史之中。 从坠毁的飞机到冤狱，自动化偏见已经夺去生命与自由，并造成数十亿美元的损失。这些并非理论上的风险。

5. 仅靠培训是不够的。 系统设计比个人意志力更重要。似然显示、认知强制功能与统筹人员、技术与组织因素的工作流程设计，比让人们“再努力一点”更有效。

6. 信任必须校准，而非最大化。 目标是让信任与系统的实际能力相匹配，而非不信任自动化。除了知道系统做什么，你还需要了解它如何运作、在哪里会失效。

7. AI 时代放大了风险。 大语言模型通过自然语言进行交流，触发了根深蒂固的社会信任机制。“幻觉接受”（相信听起来合理的编造内容）是自动化偏见一种新的、有力的表现形式，社会才刚刚开始应对它。

18. 延伸资源

学术论文

• Skitka, L. J., Mosier, K. L., & Burdick, M. (1999). Does automation bias decision-making? International Journal of Human-Computer Studies, 51(5), 991–1006. https://doi.org/10.1006/ijhc.1999.0252
• Parasuraman, R., & Manzey, D. H. (2010). Complacency and bias in human use of automation: An attentional integration. Human Factors, 52(3), 381–410. https://doi.org/10.1177/0018720810376055
• Lee, J. D., & See, K. A. (2004). Trust in automation: Designing for appropriate reliance. Human Factors, 46(1), 50–80. https://doi.org/10.1518/hfes.46.1.50.30392
• Lyell, D., & Coiera, E. (2017). Automation bias and verification complexity: A systematic review. Journal of the American Medical Informatics Association, 24(2), 423–431. https://doi.org/10.1093/jamia/ocw105
• Goddard, K., Roudsari, A., & Wyatt, J. C. (2012). Automation bias: A systematic review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association, 19(1), 121–127. https://doi.org/10.1136/amiajnl-2011-000089
• Mosier, K. L., Skitka, L. J., Heers, S., & Burdick, M. (1998). Automation bias: Decision making and performance in high-tech cockpits. International Journal of Aviation Psychology, 8(1), 47–63. https://doi.org/10.1207/s15327108ijap0801_3
• Dratsch, T., Chen, X., Rezazade Mehrizi, M., Kloeckner, R., Mähringer-Kunz, A., Püsken, M., Baeßler, B., Sauer, S., Maintz, D., & Pinto dos Santos, D. (2023). Automation bias in mammography: The impact of artificial intelligence BI-RADS suggestions on reader performance. Radiology, 307(4), e222176. https://doi.org/10.1148/radiol.222176

书籍

• Parasuraman, R., & Mouloua, M. (Eds.). (1996). Automation and Human Performance: Theory and Applications. Lawrence Erlbaum Associates.
• Wickens, C. D., & Hollands, J. G. (2000). Engineering Psychology and Human Performance (3rd ed.). Prentice Hall.
• Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.
• Reason, J. (1990). Human Error. Cambridge University Press. https://doi.org/10.1017/cbo9781139062367
• Lee, J. D., Wickens, C. D., Liu, Y., & Boyle, L. N. (2017). Designing for People: An Introduction to Human Factors Engineering (3rd ed.). CreateSpace.

书籍章节

• Mosier, K. L., & Skitka, L. J. (1996). Human decision makers and automated decision aids: Made for each other? In R. Parasuraman & M. Mouloua (Eds.), Automation and Human Performance (pp. 201–220). Lawrence Erlbaum Associates.

19. 概要卡片

20. 术语表

21. 讨论问题

供读书会、课堂或自我反思使用：

1. 报告认为“机器越可靠，人类操作者出错的潜在危险就越大”。这一悖论可以解决吗，还是人机协同固有的局限？

2. 斯坦尼斯拉夫·彼得罗夫成功抵抗了自动化偏见，并可能因此阻止了一场核战争。是哪些个人品质、训练或情境使他做到了别人（比如爱国者导弹系统的操作者）做不到的事？

3. 英国邮局 Horizon 丑闻表明，自动化偏见在制度层面持续了 15 年以上。要防止未来出现类似的制度性自动化偏见，需要哪些系统性变革？

4. 随着 AI 语言模型日益先进，它们通过人类用以传达真理的同一套语义渠道进行交流。这是否使 AI 引发的自动化偏见在本质上不同于以往的形式？现有的缓解策略是否足够？

5. 当人类遵从错误的自动化建议时，是否应当承担法律责任？我们该如何在人类操作者、组织与自动化供应商之间平衡问责？

最后更新：7 十一月 2026