Неприятие алгоритмов (Algorithm Aversion)

Краткий обзор

1. Краткое содержание

Неприятие алгоритмов проявляется, когда прогностическая модель один раз промахивается и мы перестаем ею пользоваться, хотя человек, к которому мы переходим, промахивается чаще. Беркли Дитворст, Джозеф Симмонс и Кейд Масси дали этому явлению название в 2015 году: участники их экспериментов отказывались от статистической модели, которая прогнозировала лучше них, только потому, что видели, как она ошибается. Четыре года спустя Дженнифер Логг, Джулия Минсон и Дон Мур показали обратное: если люди не видели сбоев алгоритма, а задача касалась фактов, а не вкуса, они следовали совету алгоритма охотнее, чем совету человека. Заметные ошибки, субъективные задачи и собственная экспертность толкают к неприятию; объективные задачи и чистая история толкают к одобрению. С 1950-х годов статистические правила не уступали экспертным суждениям или превосходили их в большинстве прямых сравнений, поэтому неприятие обходится нам потерей точности, а одобрение потерей критичности.

Простыми словами

Неприятие алгоритмов означает, что ты перестаешь слушать компьютер, как только он в первый раз ошибся, хотя он все равно оказывается прав чаще, чем человек. Обратная сторона: слишком сильно доверять компьютеру, если ни разу не видел, чтобы он ошибался. Обе крайности растут из одной привычки: к машинам мы строже, чем к людям.

Представь, что навигатор в телефоне повел тебя по дороге, которая оказалась перекрыта. Ты опоздал, злишься и решаешь, что приложение никуда не годится. На следующий день ты спрашиваешь дорогу у друга. Друг дважды заводит тебя не туда, но это кажется нормальным: люди ведь ошибаются. Приложение ошиблось один раз, и ты списал его навсегда.

Вот как это поймать. Когда что-то тебя подвело, задай простой вопрос: «Кто был прав чаще за последние десять раз?» Посчитай честно. Если приложение угадало восемь раз из десяти, а друг пять, приложение по-прежнему лучший выбор. А если ты ни разу не видел, чтобы приложение ошибалось, к нему тоже стоит присмотреться, потому что ничто не бывает право всегда.

2. Научные основы

2.1. История и открытие

История начинается задолго до того, как слово «алгоритм» появилось в психологических статьях. В 1954 году клинический психолог Пол Мил выпустил небольшую и неудобную книгу «Клинический или статистический прогноз» (Clinical versus Statistical Prediction). Он собрал около двадцати доступных тогда исследований, в которых подготовленные клиницисты соревновались с простыми статистическими формулами, и почти в каждом сравнении формула не уступала клиницисту или превосходила его. Практика почти не изменилась: клиницисты находили причины не доверять таблицам, и это сопротивление стало первой масштабной демонстрацией искажения, за десятилетия до того, как у него появилось название.

Данные продолжали накапливаться. В 2000 году Уильям Гроув с коллегами опубликовал метаанализ 136 исследований, сравнивавших клинический и механический прогноз. Механический прогноз оказался в среднем примерно на 10 процентов точнее, однозначно выиграл примерно в половине сравнений, сыграл вничью в большинстве остальных и явно проиграл лишь в считаных случаях.

Лабораторная демонстрация появилась в 2015 году. Дитворст, Симмонс и Масси, работавшие тогда в Пенсильванском университете, провели эксперименты по прогнозированию с денежным вознаграждением и ввели термин «неприятие алгоритмов» (algorithm aversion). Участники, которые могли выбирать между собственными прогнозами и прогнозами статистической модели, гораздо реже выбирали модель после того, как видели ее ошибки, хотя видели и то, что она их обыгрывает.

Затем область сама себя усложнила, как и положено здоровой науке. В статье Логг, Минсон и Мура 2019 года об «одобрении алгоритмов» неспециалисты сильнее смещали свои оценки к совету, помеченному как алгоритмический, чем к совету, помеченному как человеческий, хотя у экспертов эффект ослабевал. Систематические обзоры Юссупов, Бенбасата и Хайнцля (2020), Бёртона, Штайн и Йенсена (2020) и Махмуда с коллегами (2022) пришли к одному выводу: неприятие реально, но зависит от условий. В рабочей статье 2024 года Логг и Шлунд утверждали, что большая часть «неприятия» в литературе получена из гипотетических вопросов о предпочтениях, а перед реальными решениями люди пользуются советами алгоритма больше, чем советами человека. Метаанализ 2025 года, представленный на Гавайской международной конференции по системным наукам (HICSS), объединил 32 исследования вмешательств и обнаружил небольшое среднее снижение неприятия; сильнее всего помогали изменения в том, как люди взаимодействуют с алгоритмом. Как минимум одна предварительно зарегистрированная попытка воспроизвести базовый эффект не удалась.

Ключевые вехи:

• 1954: книга Мила «Клинический или статистический прогноз» показывает, что формулы не уступают клиницистам или превосходят их, а клиницисты не спешат ими пользоваться
• 2000: метаанализ 136 исследований Гроува с коллегами: механический прогноз в среднем примерно на 10 процентов точнее
• 2015: Дитворст, Симмонс и Масси вводят термин «неприятие алгоритмов»
• 2018: та же группа показывает, что возможность хотя бы немного скорректировать вывод модели возвращает ее в работу
• 2019: Логг, Минсон и Мур публикуют работу об «одобрении алгоритмов»; Кастело, Бос и Леманн показывают, что доверие определяется субъективностью задачи; Лонгони, Бонецци и Моруэдж описывают пренебрежение уникальностью
• 2024-2025: примиряющая статья Логг и Шлунда и метаанализ 32 исследований вмешательств на HICSS представляют неприятие и одобрение как два положения одного регулятора доверия

2.2. Ключевые исследователи

2.3. Знаковые исследования

«Неприятие алгоритмов: люди ошибочно избегают алгоритмов, увидев их ошибки» (Дитворст, Симмонс и Масси, 2015)

Участники прогнозировали либо успеваемость абитуриентов программы MBA по данным приемной кампании, либо число авиапассажиров из каждого штата США. Им была доступна статистическая модель, построенная на тех же данных, и часть участников наблюдала за ее работой, прежде чем выбрать, чьи прогнозы определят их бонус. Модель превзошла людей во всех условиях. И все же участники, которые наблюдали за работой модели и, значит, видели ее ошибки, ставили на нее существенно реже тех, кто ничего не видел.

«Преодоление неприятия алгоритмов» (Дитворст, Симмонс и Масси, 2018)

Та же группа выясняла, что вернет людей к модели. Участники могли взять прогноз модели, но скорректировать его: в одних условиях свободно, в других лишь на несколько пунктов. Возможность корректировки, даже в узких пределах, резко увеличила долю выбравших модель, и в итоге их прогнозы оказались точнее, чем у тех, кто прогнозировал сам. Людям нужно право голоса, а не полный контроль.

«Одобрение алгоритмов: люди предпочитают алгоритмическое суждение человеческому» (Логг, Минсон и Мур, 2019)

В шести экспериментах участники оценивали, например, вес незнакомца по фотографии или место песни в чарте, а затем получали совет, помеченный как исходящий от алгоритма или от человека. Неспециалисты сильнее приближались к совету алгоритма. Эффект ослабевал, когда участники выбирали между алгоритмом и собственным суждением, и менялся на противоположный у опытных профессионалов.

2.4. Нейробиологические основы

Нейробиология именно неприятия алгоритмов изучена слабо. Известные исследования в этой литературе поведенческие; пока никто не сканировал мозг участников в момент, когда они видят ошибку прогностической модели. Есть лишь набор установленных данных о том, как мозг относится к партнерам-людям и партнерам-нелюдям.

Нейровизуализационные работы с экономическими играми показывают, что области, связанные с ментализацией, особенно медиальная префронтальная кора, реагируют сильнее, когда человек считает, что взаимодействует с другим человеком, а не с компьютером, работающим по фиксированному правилу; Маккейб с коллегами сообщили об этом в 2001 году, и последующие исследования воспроизвели эту картину. Мы строим ментальную модель намерений советчика-человека, а машину записываем в механизмы. Ошибившийся механизм выглядит неисправным; ошибившийся человек выглядит просто человеком. Любые заявления о специальном «контуре неприятия алгоритмов» следует считать спекуляцией.

3. Эволюционные истоки

Наши предки никогда не встречали алгоритмов, но встречали две вещи, важные для этой темы: орудия и советчиков. Правила мозга для каждой из них настраивались под разные задачи.

Совет другого человека приходил вместе с лицом, историей и репутацией. Чтобы оценить его, нужно было смоделировать знания и интересы советчика, и этот механизм прощает случайные ошибки, потому что надежного союзника, который иногда ошибается, все равно стоит держать рядом. Орудие оценивали по тому, работает ли оно. Силок, который не сработал, чинили или выбрасывали; орудия не учатся и не извиняются, так что не было причин давать им кредит доверия. Когда современный человек видит промах статистической модели, срабатывает правило для орудий: выбросить.

Вторая давняя закономерность связана с тягой к объяснимому. Советчика-человека можно спросить «почему?», и он расскажет историю. Формула, которая выдает «73 процента», никакой истории не предлагает. Йоманс, Шах, Муллайнатан и Клейнберг в 2019 году показали, что люди предпочитали рекомендации шуток от человека столь же хорошим рекомендациям от алгоритма и что объяснение закрывало значительную часть этого разрыва. Привычки не сломаны; просто они применяются к объекту нового типа, который по устройству орудие, а по функции советчик.

4. Как проявляется это искажение

4.1. В повседневной жизни

• Удалить навигатор после одного неудачного маршрута и потом месяцами ездить более длинной дорогой по памяти и привычке
• Назвать прогноз погоды «вечно неверным» после испорченного дождем пикника и забыть десятки дней, когда он оказался прав
• В первый же раз выдержать время готовки из кулинарного приложения до секунды и ни разу не заглянуть в духовку

4.2. На рабочем месте

• Отдел продаж перестает слушать модель скоринга лидов после того, как она поставила низкую оценку одному явно хорошему клиенту, и возвращается к расстановке приоритетов по чутью, которая дает худшую конверсию
• Опытные специалисты, как в выборке Логг из сферы национальной безопасности, обесценивают совет, который их младшие коллеги приняли бы

4.3. В бизнесе и маркетинге

Работа Кастело объясняет закономерность, которую маркетологи видят постоянно: клиенты принимают алгоритм в «объективных» аспектах продукта и сопротивляются ему в «субъективных». Банк может рекламировать, что ваш кредитный лимит устанавливает модель; приложение для знакомств со слоганом «нашу пару вам подобрала модель» рискует прозвучать холодно. Компании отвечают тем, что прячут алгоритм («авторский» плейлист), очеловечивают его, давая ему имя, или добавляют символический этап с участием человека.

4.4. В политике и медиа

Публичные алгоритмы вызывают публичное неприятие. Когда государство использует модель, чтобы распределять места в школах или корректировать экзаменационные оценки, каждая заметная ошибка становится новостью, а ошибки человеческого процесса, который модель заменила, никто никогда не считал. Британская история с оценками 2020 года (пример 2) стала хрестоматийным случаем. Но та же публика, которая отказывается от модели оценивания, доверяет ленте рекомендаций, которую никогда не проверяла.

4.5. В здравоохранении

Клиницисты сопротивляются статистическому прогнозу со времен Мила, и метаанализ Гроува показал, что это сопротивление пережило десятилетия противоположных данных. Лонгони с коллегами показали, что его разделяют и пациенты: при одинаковой точности они предпочитают диагноз от человека, потому что считают свой случай необычным. Предпочтение меняется на противоположное, когда врач «проверяет» вывод ИИ, даже формально. На другом конце качелей находится склонность к автоматизации, о которой на сайте есть отдельная статья.

4.6. В финансах и инвестициях

Инвестор, который два удачных года следовал стратегии ребалансировки по правилам, часто бросает ее после одного квартала, в котором правило продало слишком рано. Вывод Дитворста и Бхарти 2020 года о том, что люди сильнее всего отвергают алгоритмы в областях с изначально высокой неопределенностью, здесь проявляется острее всего.

5. Примеры из реального мира

Пример 1. Zillow Offers и цена слепого доверия к модели

• Контекст: Американская компания Zillow, сервис объявлений о недвижимости, в 2018 году запустила Zillow Offers: ее модели оценки жилья делали мгновенные предложения о покупке домов за наличные, а затем дома перепродавались.
• Что произошло: В течение 2021 года предложения модели опережали цены перепродажи, пока пандемийный рынок жилья менялся. К осени у компании было около 7000 домов. В ноябре 2021 года Zillow объявила о закрытии направления, сообщила об убытке подразделения около 420 миллионов долларов только за третий квартал и заявила, что сократит примерно четверть сотрудников.
• Механизм искажения: Это полюс одобрения в корпоративном масштабе. Модель прежде не давала заметных сбоев, а сама идентичность компании строилась на доверии к ее оценкам, поэтому человеческих проверок было мало. Когда сбой стал заметен, ответом стал полный отказ, а не перекалибровка.
• Последствия: Сотни миллионов долларов убытков, сокращение 25 процентов сотрудников и закрытие флагманского направления.
• Извлеченные уроки: Если модель ни разу не ошиблась у вас на глазах, это не значит, что она не может ошибиться. Постоянный мониторинг с заранее заданными порогами срабатывания превращает заметную ошибку в повод для проверки, а не для отрицания или паники.

Пример 2. Алгоритм выставления экзаменационных оценок в Англии в 2020 году

• Контекст: Когда из-за пандемии в Англии в 2020 году отменили экзамены A-level, регулятор Ofqual построил модель стандартизации, чтобы скорректировать прогнозные оценки учителей и не допустить инфляции оценок. Результаты опубликовали 13 августа 2020 года.
• Что произошло: Модель понизила почти 36 процентов оценок A-level на одну ступень относительно прогноза учителя и около 3 процентов на две ступени. Поскольку она опиралась на прошлые результаты каждой школы, сильнее всего пострадали сильные ученики из исторически слабых школ. Протесты начались в течение нескольких часов. 17 августа, через четыре дня после публикации результатов, правительство и Ofqual дали задний ход и выставили оценки по прогнозам учителей без корректировки.
• Механизм искажения: Отчасти реакция была суждением о справедливости, причем разумным: ошибки пришлись на определенные группы. Но эпизод показывает и механизм неприятия в чистом виде. Ошибки алгоритма были заметными и личными; ошибки человеческой альтернативы (прогнозы учителей, давно известные своим оптимизмом) были невидимыми и размытыми. Страна полностью отказалась от заметного источника ошибок, вместо того чтобы его исправить.
• Последствия: Оценки резко выросли по сравнению с прошлыми годами, университеты в спешке искали места для студентов, а глава Ofqual в конце того же месяца ушел в отставку.
• Извлеченные уроки: Заметные ошибки не означают, что ошибок больше. Модель, которую сравнивают с человеческим суждением, заслуживает честного учета и человеческих ошибок, а ее сбои до запуска нужно проверить на тех группах, которым она скорее всего навредит.

Исторический пример. Скауты «Окленда» и электронная таблица (2002)

В начале 2000-х бейсбольный клуб «Окленд Атлетикс», у которого был один из самых маленьких фондов зарплат в лиге, начал с помощью статистического анализа искать игроков, недооцененных скаутами. Генеральный менеджер Билли Бин и его помощник Пол Деподеста опирались на такие показатели, как процент выхода на базу, который предсказывал набранные очки лучше, чем суждения, на которые скауты полагались целое столетие.

Реакция скаутов повторила историю Мила на бейсбольном поле. Каждого понравившегося модели игрока, который провалился, они приводили как доказательство того, что «бейсбол не сведешь к таблице», и никакого сопоставимого счета собственных промахов не вели. В 2002 году «Окленд» выиграл 103 матча, включая рекордную серию из двадцати побед подряд, при бюджете втрое меньшем, чем у «Нью-Йорк Янкиз», а книга Майкла Льюиса Moneyball 2003 года сделала эту историю знаменитой. Когда подход заметно сработал, его переняли почти все команды, а некоторые качнулись в другую крайность и стали доверять моделям там, где данных было мало.

6. Цена искажения

6.1. Личные потери

• Худшие решения там, где есть хороший инструмент: более долгие поездки, менее удачное распределение денег, пропущенные сигналы о здоровье
• Зеркальная цена: непроверенная опора на рекомендацию, кредитный рейтинг или диагностическое приложение, которые никто не проверял, пока они не дадут сбой там, где это важно

6.2. Профессиональные издержки

• Недополученная точность прогнозов: в экспериментах Дитворста участники, отказавшиеся от модели, получили меньшие бонусы, чем те, кто ее сохранил
• Дорогие решения «вернуться к ручному режиму» после единственной заметной ошибки, которые тихо возвращают менее точный процесс
• Обратный провал в автоматизированных процессах: за результат никто не отвечает, потому что «система сама справляется», и дрейф кварталами остается незамеченным

6.3. Общественные последствия

• Государственные службы отказываются от модели, которую можно было исправить, и возвращаются к менее справедливому или менее точному человеческому процессу
• Недоиспользование проверенных инструментов оценки риска в медицине, уголовном правосудии и защите детей, где данные в пользу статистических методов накоплены десятилетия назад
• Публичная дискуссия, в которой ошибки алгоритмов считают, а ошибки людей нет

6.4. Статистические данные

• Метаанализ 136 исследований Гроува с коллегами (2000) показал, что механический прогноз в среднем примерно на 10 процентов точнее клинического суждения, а клиницисты явно лучше лишь в считаных сравнениях
• В экспериментах Дитворста, Симмонса и Масси 2015 года наблюдение за работой модели (и ее ошибками) существенно снижало долю участников, выбиравших ее, хотя она превосходила их во всех условиях
• Возможность корректировать прогноз модели в узком диапазоне (Дитворст и др., 2018) заметно повысила использование модели и улучшила точность по сравнению с прогнозированием без опоры на модель
• Метаанализ 2025 года, охвативший 32 исследования вмешательств (89 размеров эффекта), обнаружил небольшое среднее снижение неприятия, причем вмешательства, менявшие среду взаимодействия, оказались примерно вдвое эффективнее среднего

7. Скрытые преимущества

Неприятие алгоритмов не просто ошибка с хорошим пресс-агентом. Некоторые его стороны стоит сохранить.

Модель, ошибившаяся один раз, могла ошибиться потому, что изменился мир, а сама модель об этом не скажет. Прогнозист, остро реагирующий на заметный промах, иногда улавливает смену режима, к которой слепа модель, проверенная на исторических данных. Модели Zillow не знали, что рынок жилья развернулся; скептически настроенный человек мог это заметить.

Требование оставить человека в контуре принятия решений, которое высказывали пациенты Лонгони, — это еще и требование подотчетности. Врача можно спросить, почему. Модель в большинстве внедрений ответить не может, а за решением, которое влияет на чью-то жизнь, должен стоять кто-то, кто может за него ответить.

И наконец, полюс неприятия на этих качелях служит единственным тормозом для полюса одобрения. Проблема не в том, что мы придирчиво проверяем алгоритмы. Проблема в том, что делаем это не в тот момент: после одной ошибки, а не до внедрения и на протяжении всего использования.

8. Самодиагностика: подвержены ли вы этому искажению?

8.1. Чек-лист тревожных сигналов

• Вы перестали пользоваться инструментом после одной плохой рекомендации, не проверив его общую статистику
• Когда ошибается модель, вы говорите «я так и знал», а когда ошибается человек, «бывает»
• Вы полностью доверяете системе, пока не увидите ее сбой, а потом полностью перестаете ей доверять
• Вы сильно меняли вывод модели по наитию и не записывали, что из этого вышло
• Вы считаете, что ваша ситуация слишком необычна, чтобы к ней был применим какой-либо статистический инструмент
• Вы принимаете советы алгоритма в «числовых» вопросах, но отвергаете их в вопросах «про людей»
• Вы ни разу не спрашивали, как часто ошибается инструмент, на который полагаетесь каждый день
• Вас задевает, когда ответ алгоритма лучше вашего
• Вы предпочитаете понятное вам объяснение результату с лучшей статистикой
• Вы говорили «это не сведешь к формуле» о решении, где формулы обыгрывали экспертов

Интерпретация результатов:

• 0-2 пункта: низкая подверженность
• 3-5 пунктов: умеренная подверженность
• 6-8 пунктов: высокая подверженность
• 9-10 пунктов: очень высокая подверженность

8.2. Вопросы для саморефлексии

1. Назовите инструмент или модель, от которых вы отказались. Знаете ли вы их реальную долю попаданий в сравнении с тем, что пришло им на смену?
2. Назовите инструмент, на который вы полагаетесь без вопросов. Когда вы в последний раз проверяли, не допустил ли он ошибки, которую вы не заметили?
3. Какие решения в вашей работе «объективные», а какие «субъективные»? Проверяли ли вы когда-нибудь эту классификацию?
4. Когда вы переопределяете вывод системы, записываете ли вы это и возвращаетесь ли к записи позже?
5. Если бы коллега и модель промахнулись в одном и том же прогнозе на одну и ту же величину, отнеслись бы вы к ним одинаково?

8.3. Экспресс-сценарий для проверки

Сценарий: Модель прогнозирования спроса в вашей команде обыгрывала ручные прогнозы плановиков в одиннадцати из последних двенадцати месяцев. В этом месяце она сильно завысила спрос на одну продуктовую линейку. Руководитель спрашивает, что делать.

Как вы ответите?

• A) Порекомендовать отказаться от модели и вернуться к прогнозам плановиков, раз ей явно нельзя доверять → Высокая подверженность
• B) Оставить модель, но разрешить плановикам свободно переопределять ее, когда они не согласны → Умеренная подверженность
• C) Оставить модель, выяснить, что изменилось в этой продуктовой линейке, и разрешить плановикам ограниченные корректировки с записью каждой из них → Низкая подверженность

9. Как распознать это искажение у других

9.1. Поведенческие маркеры

• Считает единственную ошибку модели доказательством ее бесполезности, не сравнивая с частотой ошибок людей
• Считает длинную серию успехов модели доказательством того, что ее не нужно проверять
• Вносит крупные ручные правки в выводы системы, никак их не документируя
• Настаивает, что его случай, клиент или пациент «другой» в том, чего не уловит ни один инструмент
• Признанный эксперт в своей области и обесценивает инструмент сильнее, чем новички

9.2. Речевые индикаторы

Фразы, которые произносят люди под влиянием этого искажения:

• «Видите? Модель ошиблась. Я же говорил».
• «Это в цифрах не выразишь».
• «Система ни разу не ошибалась, зачем ее проверять?»
• «Она не знает моей ситуации».
• «Дайте я просто поправлю, я этим двадцать лет занимаюсь».

Типичные аргументы:

• Один запоминающийся сбой алгоритма против смутного ощущения, что люди «обычно не ошибаются»
• Ссылки на особость этого случая вместо данных о похожих случаях

Вопросы, которых избегают:

• «Как часто модель оказывается права по сравнению с нами?»
• «Когда мы в последний раз это проверяли?»

9.3. Ситуационные триггеры

• Заметная ошибка алгоритма, которую легко ему приписать, особенно публичная
• Задачи, которые кажутся субъективными, личными или моральными
• Гипотетический вопрос «кому бы вы доверились?» вместо реального решения с реальными ставками
• Экспертность в области, которая повышает уверенность в собственном суждении
• Отсутствие заметных сбоев в сочетании с давлением сроков, что включает полюс одобрения

10. Стратегии преодоления когнитивного искажения

10.1. Экстренные техники

• Счет в две колонки: когда инструмент ошибся, выпишите в одну колонку его последние десять результатов, а в другую результаты человеческой альтернативы. Сравните, прежде чем что-то решать.
• Тест на ту же ошибку: спросите себя: «Если бы ровно такую ошибку совершил коллега, уволил бы я его?» Если нет, не увольняйте и модель.
• Ограниченная корректировка: вместо того чтобы целиком принять или отвергнуть вывод модели, скорректируйте его в заранее заданных пределах и запишите изменение. Участникам эксперимента Дитворста 2018 года хватало нескольких процентных пунктов.
• Переверните вопрос: если вы ни разу не видели, как система дает сбой, спросите себя, как выглядел бы ее сбой и заметили бы вы его.

10.2. Долгосрочные стратегии

• Ведите журнал переопределений: записывайте каждое ручное переопределение модели и пересматривайте записи раз в квартал. Большинство тех, кто так делает, обнаруживают, что их правки больше вредили, чем помогали, и это перенастраивает доверие быстрее любой лекции.
• Узнайте базовые показатели: один раз прочитайте метаанализ Гроува или главу Канемана об интуиции и формулах. Это меняет то, как ощущается единичная ошибка.
• Проверяйте безупречных: назначьте регулярные проверки систем, которые ни разу заметно не ошибались. Именно они скорее всего незаметно дрейфуют.

10.3. Организация среды

• Встройте ограниченную корректировку: дайте пользователям небольшой, протоколируемый диапазон корректировок вместо переключателя «принять или отклонить». Исследование 2018 года показало, что это одновременно повышает и использование, и точность.
• Показывайте сравнительную частоту ошибок: выводите долю попаданий модели рядом с базовым уровнем людей на одном экране, чтобы единичный промах был виден на фоне своего знаменателя.
• Ставьте сигнальные растяжки, а не аварийные выключатели: заранее договоритесь, что заметная ошибка запускает расследование с назначенным ответственным и сроком и что вывести модель из работы может только задокументированный вывод.

10.4. Когда обращаться за внешней помощью

• Когда вы собираетесь отказаться от модели после заметной ошибки, не сравнив частоту ошибок
• Когда вы собираетесь внедрить модель в публичной сфере или там, где высоки ставки, и не проверили ее сбои на тех группах, которых они скорее всего затронут
• Когда система работает уже год, а никто не может сказать, как часто она ошибается

К кому обращаться: к тому, кто может провести сравнение, а не к тому, кто разделяет ваше раздражение.

11. Практические упражнения

Упражнение 1. Честный суд

• Цель: заменить вердикт по одной ошибке сравнением на основе данных
• Необходимое время: 45 минут
• Материалы: записи прошлых выводов инструмента и прошлых суждений человеческой альтернативы; электронная таблица
• Уровень сложности: начальный
• Инструкции:
  1. Выберите инструмент, от которого вы отказались или которому не доверяете
  2. Соберите его последние 20 выводов и то, что произошло на самом деле
  3. Соберите последние 20 суждений человеческой альтернативы по сопоставимым случаям
  4. Оцените оба источника по одной и той же метрике
  5. Напишите одно предложение о том, каким источником вам стоит пользоваться дальше и почему
• Вопросы для рефлексии:
  • Совпало ли сравнение с вашим ощущением до начала упражнения?
  • Какая единственная ошибка сильнее всего определяла ваше мнение об инструменте?
  • Что нужно, чтобы вы доверились победителю, кем бы он ни оказался?
• Частота выполнения: один раз для каждого инструмента, от которого хочется отказаться

Упражнение 2. Журнал ограниченных переопределений

• Цель: выяснить, помогают ваши ручные корректировки или вредят
• Необходимое время: 2 минуты на решение, 30 минут на ежемесячный разбор
• Материалы: блокнот или общая таблица
• Уровень сложности: средний
• Инструкции:
  1. В течение месяца при каждой корректировке вывода модели записывайте в одну строку значение модели, свое значение и причину
  2. Заранее задайте максимальный размер корректировки (например, 10 процентов)
  3. В конце месяца добавьте фактические исходы и посчитайте ошибку одной модели и ошибку после вашей корректировки
  4. Пометьте каждое переопределение как «помогло», «навредило» или «без разницы»
  5. Решите, сузить или расширить диапазон в следующем месяце
• Вопросы для рефлексии:
  • Какая доля ваших переопределений помогла?
  • Помогали те, у которых была конкретная причина, или те, что делались по ощущению?
  • Изменило ли знание о будущей оценке то, как часто вы вмешивались?
• Частота выполнения: ежемесячно, не менее трех месяцев

Упражнение 3. Проверка безупречных

• Цель: придирчиво проверить систему, которой вы доверяете по умолчанию
• Необходимое время: 60 минут
• Материалы: доступ к одной системе, на которую вы полагаетесь без проверки
• Уровень сложности: средний
• Инструкции:
  1. Запишите, какой, по-вашему, у системы процент ошибок. Будьте конкретны.
  2. Запишите, как выглядела бы ошибка и увидели бы вы ее
  3. Возьмите 20 недавних выводов и сверьте каждый с фактическими данными или своим лучшим суждением
  4. Сравните измеренный процент ошибок со своим предположением из шага 1
  5. Набросайте план мониторинга в один абзац: что проверять, как часто, кто отвечает
• Вопросы для рефлексии:
  • Ваше представление о проценте ошибок было завышенным, заниженным или его не было вовсе?
  • Какие ошибки остались бы невидимыми без этого упражнения?
  • Какую самую дешевую сигнальную растяжку вы могли бы поставить?
• Частота выполнения: раз в квартал, по очереди для разных систем

Ежедневная практика

Вопрос о знаменателе

Раз в день, когда какой-нибудь инструмент или система вас подводит, спросите вслух: «Из скольких?» Ответьте числом, прежде чем реагировать.

• Рекомендуемая продолжительность: 30 секунд
• Оптимальное время: когда инструмент ошибается
• Как отслеживать прогресс: ставьте галочку каждый раз, когда задали вопрос до того, как пожаловались

Еженедельный вызов

Смените мерило

Каждую неделю выбирайте одно суждение, которое обычно делаете по ощущению (на какое письмо ответить первым, сколько займет задача, каким маршрутом ехать), и вместо этого следуйте простому правилу или инструменту. В конце недели оцените оба варианта.

• Ожидаемый результат через 4 недели: личная статистика того, где правила вас обыгрывают, а где нет
• Вопросы для записи в дневник:
  • Какое правило неожиданно победило?
  • Где ваше суждение обыграло правило и что оно знало такого, чего не знало правило?

12. Для конкретных аудиторий

Для руководителей и менеджеров

• Задайте правило вывода из работы заранее: еще до внедрения решите, какие данные оправдают отказ от модели. Единичная заметная ошибка должна запускать разбор, но никогда не решение.
• Сделайте частоту ошибок видимой: публикуйте точность модели рядом с базовым уровнем людей. Люди не могут соотнести один промах со знаменателем, которого никогда не видели.
• Дайте ограниченный контроль: сотрудники, которые могут в определенных пределах корректировать вывод модели, пользуются ею чаще и работают лучше, чем те, у кого есть только переключатель «принять или отклонить».

Для родителей и педагогов

• Объяснение по возрасту: «Компьютеры и приложения ошибаются, и люди тоже. Хитрость в том, чтобы считать, как часто каждый оказывается прав, а не помнить только один раз, когда что-то пошло не так».
• Рано учите знаменателю: когда ребенок называет приложение или калькулятор «тупым», спросите, сколько раз за эту неделю он был прав.
• Показывайте обе стороны: покажите, что иногда сверяете карту с дорожным указателем и что не выбрасываете карту после одной перекрытой дороги.

Для медицинских работников

• Знайте данные: уже семьдесят лет статистический прогноз в большинстве сравнений не уступает клиническому суждению или превосходит его. Шкала риска, один раз промахнувшаяся, от этого не дискредитирована.
• Работайте с пренебрежением уникальностью напрямую: пациенты сопротивляются алгоритмической помощи, потому что чувствуют, что их не видят. Объясните, что инструмент делает с их конкретными данными, и оставайтесь заметно вовлеченными в процесс.
• Прикрывайте другой фланг: склонность к автоматизации, когда персонал принимает ошибочное оповещение без проверки, представляет собой тот же регулятор доверия, повернутый в другую сторону. Готовьтесь к обоим.

Для финансовых специалистов

• Ожидайте реакции на просадку: клиенты, охотно принявшие стратегию по правилам, захотят отказаться от нее после первого плохого квартала. Предупредите о периодах отставания до того, как они наступят.
• Показывайте всю историю: представляйте историю стратегии как распределение, а не как последний результат, и сравнивайте ее с тем, что клиент сделал бы сам.
• Не путайте безупречность с безопасностью: модель, которая на памяти клиента ни разу не дала сбой, просто не прошла проверку. Объясните, как она может отказать, раньше, чем это сделает рынок.

13. Взаимодействие с другими искажениями

Искажения, усиливающие этот эффект

Искажения, ослабляющие этот эффект

Типичные цепочки искажений

Неприятие алгоритмов → Искажение результата → Эффект знания задним умом → Синдром «придумано не нами»

Модель совершает заметную ошибку. Команда судит о ней по этому результату, а не по ее работе (искажение результата), вскоре вспоминает, что «всегда знала» о ее ненадежности (эффект знания задним умом), и заменяет ее собственным методом, которому доверяет из-за происхождения, а не из-за данных (синдром «придумано не нами»), и ошибки этого метода уже никто не считает.

Обратная цепочка выглядит так: Склонность к автоматизации → Иллюзия валидности → Неприятие алгоритмов. Системе доверяют без проверки, а когда тихий дрейф наконец приводит к заметному сбою, качели целиком уходят в неприятие.

Разрыв цепочки: точка вмешательства в обоих направлениях одна и та же: постоянное, наглядное сравнение частоты ошибок модели и человеческой альтернативы.

14. Культурный контекст

Большая часть литературы о неприятии алгоритмов основана на американских и западноевропейских выборках, и немногочисленные кросс-культурные сравнения стоит воспринимать как ранние данные, а не установленный факт.

Первая закономерность связана с индивидуализмом. Пренебрежение уникальностью, описанное Лонгони, ощущение, что «мой случай особенный», естественнее возникает в культурах, где подчеркивается индивидуальное «я». Межстрановые работы, обобщенные в обзорах по теме, сообщают о меньшем неприятии в более коллективистских выборках, что согласуется с этой идеей, но пока не получило надежного воспроизведения.

Вторая касается авторитета, который придается технологиям. Там, где государство широко применяет алгоритмы, люди охотнее принимают алгоритмические решения в общественной жизни, хотя доверие к алгоритму трудно отделить от почтения к институту. Там, где недавно случился публичный скандал (британская история с оценками 2020 года, нидерландское дело о пособиях на уход за детьми), неприятие государственных моделей выше и отчасти представляет собой разумную реакцию на опыт.

15. Мифы и заблуждения

16. Взгляд экспертов

«В социальных науках нет другого спора, в котором столь большой массив качественно разнородных исследований так единообразно указывал бы в одну сторону, как в этом». — Пол Мил, 1986, о данных по клиническому и статистическому прогнозу

«Чтобы добиться максимальной точности прогноза, окончательные решения следует оставлять формулам, особенно в средах с низкой валидностью». — Даниэль Канеман, «Думай медленно… решай быстро», 2011

Люди теряют доверие к алгоритму быстрее, чем к человеку, увидев, как оба совершили одну и ту же ошибку, и поэтому выбирают человека, даже когда алгоритм точнее. — Беркли Дитворст, Джозеф Симмонс и Кейд Масси, 2015 (пересказ центрального вывода статьи)

17. Главные выводы

1. Это качели, а не настройка: тот же человек, который отказывается от модели после одной ошибки, будет чрезмерно доверять другой модели, ни разу заметно не ошибавшейся.

2. Спусковой крючок дает заметная ошибка: Дитворст, Симмонс и Масси показали, что наблюдение за ошибкой модели подрывает доверие сильнее, чем наблюдение за такой же ошибкой человека.

3. Базовые показатели на стороне формул: от двадцати исследований Мила в 1954 году до 136 исследований Гроува в 2000 году статистический прогноз не уступал экспертному суждению или превосходил его в большинстве проверенных областей. Один промах эту историю не отменяет.

4. Важны постановка задачи и экспертность: объективные задачи и чистая история вызывают одобрение; субъективные задачи, личные ставки и профессиональная экспертность вызывают неприятие.

5. Немного контроля дает многое: возможность корректировать вывод модели в небольшом, протоколируемом диапазоне вернула модель в работу и повысила точность в экспериментах 2018 года, а в метаанализе 2025 года изменения взаимодействия обошли объяснения.

6. Эффект зависит от условий и отчасти порожден тем, как мы спрашиваем: обзоры перечисляют множество модераторов, Логг и Шлунд утверждают, что гипотетические вопросы раздувают неприятие, а одна предварительно зарегистрированная попытка воспроизведения не удалась.

7. Проверяйте до ошибки, а не после: проверяйте системы, которые ни разу заметно не ошибались, заранее задавайте правила вывода из работы и ведите журнал переопределений. Цель в откалиброванном доверии, в обе стороны.

18. Дополнительные материалы

Научные статьи

• Dietvorst, B. J., Simmons, J. P., & Massey, C. (2015). Algorithm aversion: People erroneously avoid algorithms after seeing them err. Journal of Experimental Psychology: General, 144(1), 114-126.
• Dietvorst, B. J., Simmons, J. P., & Massey, C. (2018). Overcoming algorithm aversion: People will use imperfect algorithms if they can (even slightly) modify them. Management Science, 64(3), 1155-1170.
• Logg, J. M., Minson, J. A., & Moore, D. A. (2019). Algorithm appreciation: People prefer algorithmic to human judgment. Organizational Behavior and Human Decision Processes, 151, 90-103.
• Castelo, N., Bos, M. W., & Lehmann, D. R. (2019). Task-dependent algorithm aversion. Journal of Marketing Research, 56(5), 809-825.
• Longoni, C., Bonezzi, A., & Morewedge, C. K. (2019). Resistance to medical artificial intelligence. Journal of Consumer Research, 46(4), 629-650.
• Burton, J. W., Stein, M.-K., & Jensen, T. B. (2020). A systematic review of algorithm aversion in augmented decision making. Journal of Behavioral Decision Making, 33(2), 220-239.
• Jussupow, E., Benbasat, I., & Heinzl, A. (2020). Why are we averse towards algorithms? A comprehensive literature review on algorithm aversion. Proceedings of the 28th European Conference on Information Systems (ECIS 2020).
• Mahmud, H., Islam, A. K. M. N., Ahmed, S. I., & Smolander, K. (2022). What influences algorithmic decision-making? A systematic literature review on algorithm aversion. Technological Forecasting and Social Change, 175, 121390.
• Grove, W. M., Zald, D. H., Lebow, B. S., Snitz, B. E., & Nelson, C. (2000). Clinical versus mechanical prediction: A meta-analysis. Psychological Assessment, 12(1), 19-30.
• Dietvorst, B. J., & Bharti, S. (2020). People reject algorithms in uncertain decision domains because they have diminishing sensitivity to forecasting error. Psychological Science, 31(10), 1302-1314.

Книги

• Meehl, P. E. (1954). Clinical versus Statistical Prediction: A Theoretical Analysis and a Review of the Evidence. University of Minnesota Press.
• Kahneman, D., Sibony, O., & Sunstein, C. R. (2021). Noise: A Flaw in Human Judgment. Little, Brown Spark.
• Lewis, M. (2003). Moneyball: The Art of Winning an Unfair Game. W. W. Norton.

Главы в книгах

• Kahneman, D. (2011). Intuitions vs. formulas. In Thinking, Fast and Slow (Chapter 21). Farrar, Straus and Giroux.
• Mosier, K. L., & Skitka, L. J. (1996). Human decision makers and automated decision aids: Made for each other? In R. Parasuraman & M. Mouloua (Eds.), Automation and Human Performance: Theory and Applications (pp. 201-220). Lawrence Erlbaum Associates.

19. Краткая карточка

20. Глоссарий терминов

21. Вопросы для обсуждения

Для книжных клубов, учебных занятий или самоанализа:

1. Вспомните инструмент или приложение, которым вы перестали пользоваться после того, как оно вас подвело. Если бы пришлось защищать это решение его реальной долей попаданий в сравнении с альтернативой, смогли бы вы?

2. Почему ошибившийся человек воспринимается как «тот, у кого неудачный день», а ошибившаяся модель кажется «сломанной»? Бывает ли такое различие оправданным?

3. Британская публика отвергла алгоритм выставления экзаменационных оценок, чьи ошибки были видны, в пользу прогнозов учителей, чьи ошибки видны не были. Было ли это неприятием, суждением о справедливости или и тем и другим?

4. Логг и Шлунд утверждают, что вопрос о том, какого советчика люди предпочли бы, порождает неприятие, а наблюдение за тем, что они делают на самом деле, показывает одобрение. Что этот разрыв говорит о том, как проектировать опросы и продукты?

5. Где в вашей жизни или работе действует система, которая ни разу заметно не ошибалась? Как выглядел бы ее сбой и заметили бы вы его?

Последнее обновление: 17 октября 2026