Автоматтандыру бұрмалануы (Automation Bias)

Бір қарағанда

1. Қысқаша шолу

Автоматтандыру бұрмалануы — компьютер өте қате шешім берсе де, өзіміздің пайымдауымыздан немесе басқа ақпарат көздерінен гөрі компьютер жасаған ұсыныстарға көбірек сенуге бейімділігіміз. Құрылғы бізге бірдеңе айтқан кезде, біз оны көбінесе тексерусіз шындық ретінде қабылдаймыз, бұл мәнінде біздің сыни ойлауымызды алгоритмге тапсыруды білдіреді. Бұл когнитивті таңбаша когнитивті энергияны үнемдеу үшін дамыды, бірақ жетілмеген автоматтандырылған жүйелерге қолданылғанда қауіпті болады, бұл авиацияда, денсаулық сақтауда, сот процестерінде және күнделікті шешімдерде қателіктерге әкеледі.

2. Ғылыми негіздемесі

2.1. Ашылуы және тарихы

Авиациялық ортада ондаған жылдар бойы «автоматтандыруға тоқмейілсу» туралы анекдоттық дәлелдер болғанымен, автоматтандыру бұрмалануын ресми ғылыми зерттеу 1990 жылдардың соңында басталды. Линда Скитка (Linda Skitka), Кэтлин Мозьер (Kathleen Mosier) және Марк Бурдик (Mark Burdick) 1999 жылы жүргізген «Автоматтандыру шешім қабылдауды бұрмалай ма?» атты маңызды зерттеуі бұл құбылысты жай ғана шаршау немесе біліксіздікке тәуелсіз жеке когнитивті бұрмалану ретінде көрсетті. Халықаралық адам мен компьютердің өзара әрекеттесуі журналында (International Journal of Human-Computer Studies) жарияланған бұл мақала адам мен компьютердің өзара әрекеттесуін зерттеу бағытын түбегейлі өзгертті.

Бұл тұжырымдама автоматтандырылған жүйелердің сенімділігіне қарамастан, адам қателерінің жаңа түрлерін енгізгені туралы түсініктің өсуінен пайда болды. Ертедегі авиациялық оқиғалар ұшқыштардың автопилот жүйелеріне қауіпті деңгейде тәуелді бола бастағанын көрсетті, бірақ ғалымдар бұл тәуелділікті қатаң эксперименталды зерттеулерден кейін ғана сандық бағалап, сипаттай алды.

1999 жылдан бастап біздің түсінігіміз айтарлықтай дамыды. Зерттеушілер автоматтандыру бұрмалануын байланысты, бірақ одан ерекшеленетін «автоматтандыруға тоқмейілсу» тұжырымдамасынан ажыратты. Бұл сала авиациядан денсаулық сақтау, автономды көліктер, құқықтық жүйелер және ең соңғысы, жасанды интеллект пен үлкен тілдік модельдерге (LLM) дейін кеңейді. Генеративті ЖИ-дің өсуі бұрмаланудың жаңа көріністерін, соның ішінде «галлюцинацияны қабылдауды» – шындыққа жанасатын, бірақ жалған ЖИ нәтижелеріне сену бейімділігін тудырды.

Зерттеудегі негізгі белестер:

• 1999: Скитка, Мозьер және Бурдиктің іргелі эксперименталды зерттеуі
• 2004: Ли және Сидің (Lee and See) сенімділікті калибрлеу негіздері
• 2010: Парасураман және Манзейдің тоқмейілсуді бұрмаланудан ажырататын «Назар аудару интеграциясы» шолуы
• 2017: Лайелл және Коиераның «Тексеру күрделілігі» моделі
• 2023–2025: LLM тудыратын автоматтандыру бұрмалануы мен галлюцинацияларды қабылдауға қатысты зерттеулердің күрт өсуі

2.2. Негізгі зерттеушілер

2.3. Маңызды зерттеулер

«Автоматтандыру шешім қабылдауды бұрмалай ма?» (Скитка, Мозьер және Бурдик, 1999)

Зерттеушілер адам операторлары автоматтандырылған шешімдерді қолдау жүйесінің көмегімен жүйе күйлерін қалай қадағалайтынын эмпирикалық түрде сынау үшін төмен дәлдіктегі ұшуды модельдеу тапсырмасын жасады. Қатысушыларға датчиктерді бақылау және симуляцияны «басқару» тапсырылды. Эксперименталды дизайн сенімді, бірақ жетілмеген автоматтандырылған мониторинг көмекшісін енгізді, бұл зерттеушілерге сенім мен қателіктің қиылысында адам мінез-құлқын бақылауға мүмкіндік берді.

Негізгі нәтижелер:

• Автоматтандырылған көмекшілері бар қатысушылардың қолмен басқаратын операторлармен салыстырғанда ақпаратты мұқият іздеумен айналысу ықтималдығы айтарлықтай төмен болды.
• Автоматтандыру адамның назарын толықтырып қана қойған жоқ, оны тиімді түрде алмастырды.
• Автоматтандырылған көмекші қате әрекетті ұсынған кезде, бастапқы деректер оның қате екенін анық көрсетіп тұрса да, операторлардың едәуір пайызы осы ұсынысты орындады.
• Зерттеу қатенің екі түрін анықтады: әрекетсізді қателері (автоматтандыру дабыл қақпағандықтан оқиғаларды жіберіп алу) және әрекет ету қателері (автоматтандырылған қате ұсыныстарды орындау).

Авторлар автоматтандыру бұрмалануы "ақпаратты мұқият іздеу мен өңдеуді эвристикалық ауыстыру", "жағдайды бағалауды мерзімінен бұрын тоқтататын" когнитивті "таңбаша" ретінде әрекет етеді деген қорытындыға келді.

Жадты бұрмалауды зерттеу (Мозьер, кейінгі зерттеулер)

Ұшқыштарды қамтыған кейінгі зерттеулерде автоматтандыру бұрмалануына берілгендердің 67%-ы кейінірек оқиға туралы "жалған естеліктер" көрсетті. Олар бастапқы деректерде автоматтандырудың қате шешімін растайтын белгілерді көргендерін еске алды — бірақ шын мәнінде ондай белгілер ешқашан болмаған. Бұл автоматтандыру бұрмалануы қабылдауды ретроактивті түрде өзгерте алатынын көрсетеді; автоматтандырудың қорытындысын қабылдаған ми оны қолдау үшін дәлелдерді ойдан шығарады.

Сенімділікті калибрлеуді зерттеу (Ли және Си, 2004)

Автоматтандыруға деген сенімді "агенттің белгісіздік пен осалдықпен сипатталатын жағдайда адамның мақсаттарына жетуіне көмектеседі деген көзқарас" ретінде анықтады. Сенімнің үш негізін анықтады: Өнімділік (тарихи сенімділік), Процесс (алгоритмдерді түсіну) және Мақсат (дизайнердің ниеті). Тек Өнімділікке сүйену, Процессті түсінбей тұрып, төтенше жағдайларда апатты бұрмалануға әкелетінін дәлелдеді.

Тексеру күрделілігінің жүйелі шолуы (Лайелл және Коиера, 2017)

Тапсырма жеткілікті күрделі болған жағдайда, бір тапсырмалы орталарда да автоматтандыру бұрмалануы кеңінен таралғанын көрсетті. Тексеру күрделілігі тұжырымдамасын енгізді: автоматтандыру бұрмалануының ықтималдығы автоматтандырудың нәтижесін тексеруге қажетті когнитивті күшке тікелей пропорционалды. Бұл модель заманауи "қара жәшік" (black box) ЖИ жүйелерін түсіну үшін өте маңызды.

2.4. Нейробиологиялық негізі

Автоматтандыру бұрмалануының нейробиологиялық негіздері мидың іргелі энергия сақтау механизмдерімен байланысты:

Когнитивті жүктеме және префронтальды қыртыс: Ми — энергияны үнемдейтін ағза. Шешім қабылдау және тексеру сияқты атқарушы функцияларға жауап беретін префронтальды қыртыс едәуір метаболикалық ресурстарды қажет етеді. Автоматтандыру шындыққа жанасатын жауап бергенде, мидың әдепкі режимі — көп энергияны қажет ететін тексеру процестерін іске қоспай, оны қабылдау.

"Когнитивті сараң" механизмі: Алғаш рет Фиск пен Тейлор (1984) ұсынған бұл принцип бойынша адамдар когнитивті күш-жігерді барынша азайтуға эволюциялық түрде бейімделген. Қоршаған орта мүмкіндік берген кезде, ми әдепкі бойынша эвристикалық өңдеуге (ақыл-ой таңбашаларына) көшеді. Автоматтандыру мұны "супер-эвристика" ретінде жұмыс істеу арқылы пайдаланады.

Назар аудару желілері және қырағылықтың төмендеуі: Парасураманның мидың нейробейнелеуін қолданатын нейроэргономикалық зерттеулері мидың бақылау тапсырмаларынан қашан ажырайтынын көрсетті. Сенімді автоматтандырылған жүйелерді пассивті бақылау кезінде назар аудару желілері (әсіресе дорсальды назар аудару желісі) уақыт өте келе белсенділіктің төмендеуін көрсетеді — бұл "қырағылықтың төмендеуі".

Жадты ойдан шығару: Автоматтандырудан туындаған қателіктерден кейін ұшқыштардың 67%-ында жалған естеліктер болғаны туралы тұжырым жадты біріктіру процестерінің қатысуын көрсетеді. Ми автоматтандырылған қорытындыны қабылдаған кезде, гиппокампальды жад жүйелері қате шешімді дәйекті әңгімеге біріктіре отырып, консолидация кезінде қолдау "дәлелдерін" құрастыруы мүмкін.

Дофаминергиялық марапаттау жолдары: Автоматтандыруға сену және оның дұрыс болуы марапаттау жолдарын іске қосады. Бұл оң күшейту уақыт өте келе автоматтандыруды қабылдау эвристикасын күшейтеді, бұл оны жоққа шығаруды қиындата түседі.

3. Эволюциялық шығу тегі

Автоматтандыру бұрмалануы — технологияға дейінгі ортада аман қалуды жақсарту үшін дамыған когнитивті механизмдердің бейімделмеген қолданылуын білдіреді.

Тапшы әлемдегі энергияны үнемдеу: Біздің ата-бабаларымыз калориялар өте құнды болған ортада өмір сүрді. Ми дененің энергиясының шамамен 20%-ын тұтынады. Эволюция физикалық өмір сүру әрекеттері үшін энергияны үнемдей отырып, «жеткілікті жақсы» шешімдер қабылдайтын когнитивті таңбашаларды құптады. Когнитивті жұмысты сенімді көздерге тапсыру бейімділікті арттырды.

Әлеуметтік құрмет және сараптама: Адамдар сарапшыларға (ақсақалдарға, білікті аңшыларға, емшілерге) бағыну өмір сүру артықшылықтарын беретін әлеуметтік топтарда дамыды. Біз сенімді ақпарат көздерін анықтау және оларға сүйену эвристикасын дамыттық. Автоматты жүйелер, әсіресе 99% сенімді жұмыс істейтіндер, осы құрмет механизмдерін іске қосады.

Құралға сенім өмір сүру шарты ретінде: Өз құралдарына сену эволюциялық тұрғыдан маңызды болды. Найзасының дәл тиетініне үнемі күмән келтіретін аңшы сал ауруына шалдыққандай әрекетсіз қалар еді. Эволюция сенімді құралдарға деген сенімділікті таңдады. Заманауи автоматтандыру осы терең тамыр жайған құралға деген сенім механизмін басып алады.

Қателік (Bug) пе әлде ерекшелік (Feature) пе? Автоматтандыру бұрмалануы — бұл қате қолданылған ерекшелік. Когнитивті тиімділік стратегиясы кері байланыс дереу және салдары пропорционалды болатын табиғи ортада жақсы жұмыс істейді. Бірақ ол қателіктер сирек, алайда жойқын, кері байланыс кешіктірілген және салдары асимметриялық болатын қауіпті технологиялық орталарда апатты түрде сәтсіздікке ұшырайды.

Қоршаған ортаның сәйкессіздігі: Бұл бұрмалану пайдалы болған орталар қазіргі технологиялық контексттерден айтарлықтай ерекшеленеді. Тас құралдармен жұмыс істегенде пайдалы болған эвристика ядролық реакторларды, ұшақтарды немесе медициналық диагностиканы басқаратын жүйелерге қолданылғанда қауіпті болады. Біздің когнитивті архитектурамыз сенімділік-қауіп парадоксын өңдеуге бейімделмеген: құрылғы неғұрлым сенімді болса, адам қателігі соғұрлым қауіпті болады.

4. Бұл бұрмалану қалай көрінеді

4.1. Күнделікті өмірде

• GPS навигациясы: Бағыттарға қайшы келетін визуалды дәлелдерге қарамастан, жүргізушілер GPS нұсқауларымен көлдерге, жабық жолдарға немесе жарамсыз бағыттармен жүреді. Навигациялық жүйенің беделі тікелей сенсорлық бақылаудан басым түседі.

• Емлені тексеру және грамматика құралдары: Жазушылар қате автотүзетулерді немесе грамматикалық ұсыныстарды тексерусіз қабылдап, соңғы құжаттарға қателер енгізеді. Жасыл құсбелгі мақұлдау белгісіне айналады.

• Ақылды үй құрылғылары: Жеке жайлылықты немесе үйдегі нақты жағдайларды ескерместен, ақылды термостаттың энергия ұсыныстарын қабылдау.

• Желідегі ұсыныстар: Неліктен нақты опциялар ұсынылғанына күмәнданбастан, сатып алулар, ойын-сауық немесе әлеуметтік байланыстар үшін алгоритмге негізделген ұсыныстарды сынсыз қабылдау.

• Калькуляторға тәуелділік: Нәтиженің қисынды екенін тексерместен калькулятор нәтижелерін қабылдау, тіпті қарапайым есептеулерде шамамен есептеудің өзі анық қателерді көрсететін жағдайларда да.

4.2. Жұмыс орнында

• Электрондық кестелерге шамадан тыс сену: Excel бағдарламасындағы формула нәтижелерін негізгі есептеулерді тексермей қабылдау, бұл қаржылық модельдер мен есептерде қателердің таралуына әкеледі.

• Автоматтандырылған жоспарлау: Топтық динамика, жол жүру уақыты немесе жеке жұмыс үлгілері сияқты адами факторларды ескермейтін ЖИ жасаған кестелерді орындау.

• Адам ресурстарына (HR) арналған скринингтік бағдарлама: Жұмысқа қабылдау менеджерлері түйіндемелерді автоматты түрде іріктеуге толығымен сүйеніп, нашар сәйкестік ретінде белгіленген білікті үміткерлерді жіберіп алады немесе алгоритм қолдаған біліксіздерді қабылдайды.

• Өнімділік аналитикасы: Қызметкердің үлесінің сапалық аспектілерін көрсете алмайтын автоматтандырылған өнімділік көрсеткіштеріне тым көп сену.

• Электрондық поштаны сүзу (фильтр): Спам сүзгілері сүзілген хабарларды мерзімді тексерусіз қате санаттағандықтан маңызды хабарламаларды жіберіп алу.

• Автоматтандырылған есептер: Аномалиялар немесе қателерді тексерместен жүйе жасаған есептерді тарату, «жүйе солай деді» дегенге сеніп, дәлдікті болжау.

4.3. Бизнес және маркетингте

• Алгоритмдік сауда: Қаржылық фирмалар адам қадағалауынсыз сауда алгоритмдеріне сүйеніп, флэш-краштарға (жылдам құлдырау) және тізбекті сәтсіздіктерге әкеледі.

• Динамикалық баға белгілеу: Төтенше жағдайлар немесе жеткізілімдегі үзілістер кезінде тұтынушыларды алшақтататын және бренд беделіне нұқсан келтіретін автоматтандырылған бағаны енгізетін компаниялар.

• Маркетингті автоматтандыру: Демографиялық немесе мінез-құлық триггерлері қате іске қосылғандықтан орынсыз автоматтандырылған хабарламалар жіберу.

• Тұтынушыларға қызмет көрсету чат-боттары: Бизнес пайдасыз циклдерге тұрып қалған ренжіген тұтынушыларды бақыламай, чат-ботпен өзара әрекеттесуді қанағаттанарлық деп санайды.

• Тауарлық қорларды басқару: Бөлшек саудагерлер жергілікті ауытқуларды, маусымдық өзгерістерді немесе алдағы оқиғаларды ескермейтін автоматтандырылған қайта тапсырыс беру жүйелеріне сенеді.

• Алаяқтықты анықтау: Банктердің алаяқтықты жіберіп алуы (әрекетсіздік қателері) және заңды транзакцияларды белгілеуі (кейіннен тексерусіз қабылданатын жалған оң нәтижелер).

4.4. Саясат және медиада

• Әлеуметтік желі алгоритмдері: Азаматтардың дүниетанымы олар күмәнданбайтын немесе түсінбейтін мазмұнды ұсыну алгоритмдерімен қалыптасады.

• Фактчекинг құралдары: Журналистер қателерді таратуы немесе нюанстық мәлімдемелерді жіберіп алуы мүмкін автоматтандырылған фактілерді тексеруге тексерусіз сүйенеді.

• Сауалнамаларды біріктіру: Саяси шолушылар модель шектеулері мен болжамдарына қарамастан алгоритмдік сауалнама агрегаторларын беделді ретінде қарастырады.

• Контентті модерациялау: Автоматтандырылған контент модерациясы шешімдерін дұрыс деп қабылдау, заңды сөз бостандығын басу немесе зиянды контенттің сақталуына жол беру.

• Сайлау технологиялары: Сайлаушылар мен шенеуніктер электронды дауыс беру және санау жүйелеріне тиісті тексеру механизмдерінсіз сенеді.

• Болжамдық полиция қызметі: Құқық қорғау органдары ресурстарды нақты қауіптен гөрі тарихи бұрмалануларды көрсететін алгоритмдік болжамдар негізінде орналастырады.

4.5. Денсаулық сақтауда

• Клиникалық шешімдерді қолдау жүйелері (CDSS): 2025 жылғы рандомизацияланған клиникалық сынақ "қате LLM ұсыныстары автоматтандыру бұрмалануын тудыру арқылы дәрігерлердің диагностикалық өнімділігін айтарлықтай төмендететінін" анықтады. Тіпті сарапшы дәрігерлердің өзі диагноздарды галлюцинациялайтын машиналарға бағынды.

• Электрондық денсаулық жазбалары: Жүйелік ескертулердің шамадан тыс болуына байланысты дабылдың шаршауы клиницистердің барлық ескертулерді, соның ішінде маңыздыларын да елемеуіне әкеледі. Керісінше, EHR жүйелерінің ұсыныстарын клиникалық тексерусіз қабылдау.

• Медициналық бейнелеу ЖИ: Радиологтар қатерлі ісік ауруларын жіберіп алуы немесе қатерсіз ауруларды артық диагностикалауы мүмкін екенін тәуелсіз тексерусіз, ЖИ белгілеген нәтижелерді қабылдайды немесе қабылдамайды.

• Дәрілік заттардың өзара әрекеттесуін тексеру құралдары: Фармацевттер жеке пациенттің жағдайы туралы клиникалық пікірсіз дәрі-дәрмектердің өзара әрекеттесуі туралы автоматтандырылған ескертулерді елемейді немесе қабылдайды.

• Өмірлік маңызды белгілердің мониторлары: Медбикелер мен дәрігерлер автоматтандырылған "қалыпты" өмірлік маңызды белгілердің көрсеткіштеріне қайшы келетін клиникалық бақылауларды елемейді.

• Диагностикалық алгоритмдер: Науқастың жағдайы адамның интуициясын қажет ететін атипті жағдайды көрсетсе де, алгоритмдік диагностикалық жолдарды орындау.

4.6. Қаржы және инвестициялауда

• Робо-кеңесшілер: Инвесторлар жеке жағдайларды, тәуекелге төзімділіктің өзгеруін немесе алгоритмдер қабылдамайтын өмірлік оқиғаларды ескермей, автоматтандырылған портфель ұсыныстарын орындайды.

• Несиелік скоринг: Несие берушілер жеке мән-жайларды немесе несиелік есептердегі қателерді тексермей, тек автоматтандырылған несиелік баллдар негізінде өтінімдерді қабылдайды немесе қабылдамайды.

• Тәуекелді бағалау модельдері: Қаржы институттары 2008 жылғы қаржы дағдарысы кезінде апатты түрде сәтсіздікке ұшыраған Value-at-Risk және басқа да автоматтандырылған тәуекел модельдеріне сенеді.

• Алгоритмдік сауда шешімдері: Жеке инвесторлар негізгі стратегияны немесе нарық жағдайларын түсінбестен алгоритмдік сауда сигналдарын көшіреді.

• Автоматтандырылған қаржылық жоспарлау: Инфляция, қайтарым немесе өмір сүру ұзақтығы туралы болжамдарға күмәнданбастан бағдарламалық жасақтамадан зейнеткерлік болжамдар мен жинақ ұсыныстарын қабылдау.

• Алаяқтық туралы ескертулер: Жиі кездесетін жалған оң нәтижелерге байланысты нақты алаяқтық туралы ескертулерді елемеу немесе барлық белгіленген транзакцияларды тексерусіз алаяқтық ретінде қабылдау.

5. Нақты өмірдегі мысалдар (Кейстер)

1-мысал: "Patriot" зымырандарының өз әскерін атуы (2003)

• Мән-жайы: "Ирак еркіндігі" (Operation Iraqi Freedom) операциясы кезінде АҚШ армиясының Patriot зымыран жүйесі қолмен басқарудан толық автоматты режимге дейін әртүрлі режимдерде жұмыс істеді. Ирактың баллистикалық зымырандарынан қорқумен сипатталатын жоғары қауіп төнген орта жүйе конфигурацияларын автоматты түрде атуға бейімдеді.

• Не болды: Екі атышулы "өз әскерін ату" (friendly fire) оқиғасы орын алды: Ұлыбританияның Корольдік Әскери-әуе күштерінің Tornado GR4 ұшағын және АҚШ Әскери-теңіз күштерінің F/A-18 Hornet ұшағын атып түсіру. Екі экипаж да қаза тапты. Екі жағдайда да Patriot радар алгоритмі одақтас ұшақты келе жатқан радиолокацияға қарсы зымыран (ARM) ретінде қате жіктеді.

• Бұрмаланудың көрінісі: Жүйе өзінің қате жіктеуін адам операторларына факт ретінде ұсынды. Операторларда нысананы басқа параметрлерді (әуе жылдамдығы, биіктік, "Өз-Бөтен" жүйесі) пайдаланып тексеруге бірнеше секунд болғанына қарамастан, олар мұны тиімді жасай алмады. Қорғаныс ғылыми кеңесінің есебі пайдаланушылар "машинаның пайымдауын ұрыс даласындағы шындықтан артық көріп, айқын дәлелдерге қарамастан жүйе қателерін өз еркімен қабылдағанын" анықтады.

• Салдары: Төрт әскери қызметкер қаза тапты. Есепте бұл бұрмалану тек жеке тұлғалық емес, сонымен бірге институционалдық екенін анықтады — операторлар жүйеге сенуге үйретілді; технологияның айналасындағы "қателеспеушілік мәдениеті" адамның вето құқығы іс жүзінде тек теориялық екенін білдірді.

• Алынған сабақ: Автоматтандыру бұрмалануы оқыту, мәдениет және жүйе дизайны арқылы ұйымдық деңгейде енгізілуі мүмкін. "Швейцариялық ірімшік" моделі адам араласуының бірнеше ықтимал қабаттары қалай бір уақытта сәтсіздікке ұшырағанын көрсетті, өйткені олардың әрқайсысы автоматтандыруды дұрыс деп санады.

2-мысал: Ұлыбритания поштасының Horizon жанжалы (1999–2015)

• Мән-жайы: Fujitsu әзірлеген Horizon IT жүйесі Ұлыбритания поштасының бухгалтериясын басқару үшін енгізілді. Іске қосыла салысымен, бөлімше меңгерушілері шоттарындағы түсініксіз жетіспеушіліктер туралы хабарлай бастады.

• Не болды: Пошта басшылығы мен британдық соттар "компьютерлер сенімді" деген заңды презумпциямен жұмыс істеді — бұл автоматтандыру бұрмалануының кодификацияланған түрі. Бөлімше меңгерушілері жүйенің қате екенін мәлімдеген кезде, олар ұрлық жасады деп айыпталды. Жүздеген адал азаматтардың айғақтары Horizon журналдарының (логтарының) пайдасына жүйелі түрде елеусіз қалды.

• Бұрмаланудың көрінісі: Компьютердің нәтижесі адам күмәнданбайтын қасиетті шындық ретінде қарастырылды. "Автоматтандырылмаған көздерден алынған қарама-қайшы ақпарат" — адамның айғақтары — өзімшіл өтірік немесе біліксіздік ретінде қабылданбады. Менеджерлер мен судьялар көп жылдық автоматтандыру бұрмалануына әрекет ету арқылы жол берді.

• Салдары: 700-ден астам адам заңсыз сотталды, банкротқа ұшырады және түрмеге жабылды. Некелер бұзылды, мансаптар құртылды және бірнеше бөлімше меңгерушісі өз-өзіне қол жұмсады. Кейінірек жүйенің қателерге толы екені дәлелденді. Бұл Ұлыбритания тарихындағы ең ауқымды сот әділетсіздігі болып саналады.

• Алынған сабақ: Автоматтандыру бұрмалануы тек бір секундтық реакция емес — бұл ұзаққа созылған ұйымдық адасушылық болуы мүмкін. Компьютердің сенімділігін болжайтын құқықтық және институционалдық құрылымдар адамдарға қарсы тұру өте қиын жүйелі бұрмалануды тудырады.

3-мысал: Air France 447 рейсі (2009)

• Мән-жайы: Атлант мұхитының үстімен ұшып бара жатқанда Airbus A330 ұшағының Пито түтіктері (әуе жылдамдығы датчиктері) мұз кристалдарымен бітеліп, ұшу компьютерін жарамды әуе жылдамдығы деректерінен айырды. Автопилот ажыратылып, басқаруды жылдар бойы жоғары автоматтандырылған ұшуға үйренген ұшқыштарға тапсырды.

• Не болды: Тоқтап қалуды болдырмайтын "ұшу конвертін қорғау" (flight envelope protection) жүйесіне дағдыланған ұшқыштар кенеттен бұл қорғаныстар жоқ "Балама заң" (Alternate Law) режиміне түсті. Қайшылықты дабылдармен шатасқан (құлау туралы дабыл 75 рет соғылды), ұшақты басқарушы ұшқыш штурвалды өзіне қарай тартты — бұл қорғалмаған ұшу режимдерінде ұшақтың құлауын (stall) тудыратын маневр.

• Бұрмаланудың көрінісі: Экипаж автоматтандыру контекстінің түбегейлі өзгергеніне сене алмады. Олар нақты аэродинамикалық шындықты (ұшақ құлап бара жатқанын) елемеді, өйткені олардың ментальды моделі қалыпты автоматтандырылған жұмысқа байланған болатын. FAA талдауы атап өткендей, экипаж "жағдайды бақылаудан шығарып алды" және "автоматты жүйенің не істеп жатқанын түсіне алмады". Олар іс жүзінде автоматтандырудың оларды құтқаруын күтті — бұл ұшақ құлағанға дейін сақталған эвристикалық тәуелділік.

• Салдары: Борттағы барлық 228 адам қайтыс болды. Бұл апат автоматтандыру бұрмалануының "автоматтандыру тосынсыйына" (automation surprise) және қолмен басқару когнициясына қайта орала алмауға әкелген ең негізгі мысалы болып қала береді.

• Алынған сабақ: Автоматтандыруға шамадан тыс тәуелділік ұшқыштардың қолмен басқару дағдыларын нашарлатып, автоматтандыру істен шыққанда жағдайды түзей алмайтын деңгейге жеткізеді. Адамдар когнитивті басқарудан жүйелі түрде шеттетілгенде, "адам қосалқы (сақтандырғыш) болып табылады" деген болжам қателікке ұрынады.

Тарихи мысал: Станислав Петров (1983)

Автоматтандыру бұрмалануын толық түсіну үшін оны сәтті жеңе білген сирек жағдайларды қарастыру қажет. 1983 жылы 26 қыркүйекте кеңестік ядролық шабуылды ерте ескерту жүйесі (Око) АҚШ-тан құрлықаралық бес баллистикалық зымыранның ұшырылғаны туралы хабарлады.

Кезекші офицер, подполковник Станислав Петров бұл дабылды жалған деп бағалады. Оның пайымдауы контексттік және адами болды: "Адамдар соғыс бастағанда, оны тек бес зымыранмен бастамайды". Ол сондай-ақ жаңа спутниктік технологияға сенбеді. Петров ескертуді жоғары басшылыққа жіберуден бас тартып, ықтимал жауап ядролық соққысының алдын алды.

Петровтың жетістігі оның скептицизмі мен салалық сараптамасына байланысты болды — ол саяси және стратегиялық контекст (адамдық барлау) сенсорлық деректерге (автоматтандырылған барлау) қайшы келетінін білді. Ол Patriot операторлары қолдана алмаған "адам ветосын" пайдаланды. Бұл жағдай автоматтандыру бұрмалануын жеңу үшін келіспеушілік білдіру батылдығы да, автоматтандырылған нәтижелердің шындыққа жанаспайтынын танитын салалық білім де қажет екенін көрсетеді.

6. Бұл бұрмаланудың құны

6.1. Жеке шығындар

• Сыни ойлаудың эрозиясы: Автоматтандырылған жүйелерге үнемі бағыну тексеру мен тәуелсіз талдаудың когнитивті бұлшықеттерін әлсіретеді. Уақыт өте келе адамдар автоматтандырылған нұсқаулықсыз жұмыс істеуге қабілетсіз бола бастайды.

• Сараптаманы жоғалту: Автоматтандырылған құралдарға қатты сүйенетін мамандар дағдыларының төмендеуін сезінуі мүмкін. Қолмен сирек басқаратын ұшқыштар, үнемі ЖИ көмегін пайдаланатын радиологтар және ешқашан қолмен есептемейтін есепшілер оларды сарапшы ететін қабілеттерінен айырылады.

• Шешім қабылдау салдануы: Автоматты жүйелер істен шыққанда немесе қолжетімсіз болғанда, адамдар шешім қабылдай алмайтындай сезініп, сыни сәттерде салдануға (паникаға) ұшырауы мүмкін.

• Жалған сенімділік: Автоматтандырылған нәтижелерге сену негізсіз сенімділік сезімін тудырады, бұл автоматтандыру қате болған сценарийлерге дайын болмауға әкеледі.

• Қарым-қатынас қиындықтары: Жеке контекстте автоматтандырылған ұсыныстарға (танысу қолданбалары, әлеуметтік медиа ұсыныстары) шамадан тыс сүйену шынайы адамдық пайымдау мен байланысты алмастыруы мүмкін.

6.2. Кәсіби шығындар

• Мансаптық жауапкершілік: Қателерге әкелетін автоматтандырылған ұсыныстарды орындайтын мамандар тәртіптік жазаға, қызмет бабын асыра пайдалану туралы сот істеріне немесе қылмыстық жауапкершілікке тартылуы мүмкін — бұл ЖИ ойлап тапқан (галлюцинация) заңды прецеденттерді келтіргені үшін санкцияларға ұшыраған Mata v. Avianca ісіндегі заңгерлерден байқалады.

• Беделге нұқсан келтіру: Автоматтандырудан туындаған сәтсіздіктерімен танымал ұйымдар (Ұлыбритания поштасы сияқты) кадрларды тартуға, серіктестіктерге және қоғамдық сенімге әсер ететін ұзақ мерзімді беделдік зардап шегеді.

• Дағдының атрофиясы: Автоматтандыру күнделікті жағдайларды шешкен сайын, тұтас кәсіби қауымдастықтар дағдылардың ұжымдық деградациясын бастан кешіруі мүмкін, бұл тәжірибешілерді күрделі немесе әдеттен тыс жағдайларға дайын емес етеді.

• Инновациялық тоқырау: "Жүйенің қалай жұмыс істейтініне" шамадан тыс сенім арту мамандардың процестерге күмәндануына немесе жақсартуларды әзірлеуіне кедергі келтіруі мүмкін.

• Нашар нәтижелер: Медициналық қате диагноздар, қате соттаулар, қаржылық шығындар және автоматтандыру бұрмалануына тікелей байланысты операциялық сәтсіздіктер.

6.3. Қоғамдық шығындар

• Жүйелік тәуекелдердің жинақталуы: Тұтас салалар автоматтандырылған жүйелерге бағынған кезде, қателер тәуелсіз емес, өзара байланысты болады. Бір алгоритмдік кемшілік бүкіл секторға бір уақытта таралуы мүмкін.

• Демократиялық эрозия: Саяси пікірталастарды, мазмұнның көрінуін және ақпаратқа қолжетімділікті қалыптастыратын алгоритмдік жүйелер (күдіксіз қабылданғанда) демократиялық қатысуға нұқсан келтіруі мүмкін.

• Сот жүйесіндегі сыбайлас жемқорлық (бұрмалану): Компьютердің сенімділігін болжайтын құқықтық жүйелер (Horizon жанжалындағыдай) жеке адамдар үшін қарсы тұру мүмкін емес құрылымдық әділетсіздікті тудырады.

• Қауіпсіздіктің төмендеуі: Автономды көліктердің, әуе қозғалысын автоматтандырылған басқарудың және басқа да маңызды жүйелердің негізінде жатқан "адам қосалқы болып табылады" деген қауіпсіздік болжамы түбегейлі қате. Адамдар ұзақ уақыт бойы пассивті мониторинг кезінде қырағылықты сақтай алмайды.

• Экономикалық күйреу: Флэш-краштар, алгоритмдік каскадтар және бір-бірімен байланысты қателер жіберетін автоматтандырылған жүйелер экономикалық тұрақсыздықты тудыруы мүмкін.

6.4. Статистикалық әсер

• Авиация: Зерттеулер көрсеткендей, автоматтандырылған көмекшілері бар ұшқыштар қолмен бақылайтындарға қарағанда жүйелік ауытқуларды әлдеқайда көп жіберіп алады. Air France 447 экипажы құлау туралы 75 дабылды елемеді.

• Денсаулық сақтау: Зерттеулер көрсеткендей, ЖИ-дің қате ұсыныстары дәрігердің диагностикалық дәлдігін айтарлықтай төмендетеді. Дабыл шаршауы клиницистердің автоматтандырылған ескертулердің 49-96%-ын елемеуіне әкеледі.

• Жадтың бұрмалануы: Автоматтандыру бұрмалануына берілген ұшқыштардың 67%-ы кейінірек оқиғалар туралы жалған естеліктер көрсетті, бұл апатты тергеуді және одан сабақ алуды қиындатады.

• Құқық: Horizon жанжалы 700-ден астам қате соттауларға әкелді — бұл Ұлыбритания тарихындағы ең үлкен сот әділетсіздігі.

• Әскери сала: Ирактағы "өз әскерін ату" оқиғалары айқын қарама-қайшы дәлелдерге қарамастан жүйе қателерін қабылдауға дайын екенін көрсетті.

7. Жасырын артықшылықтар

Автоматтандыру бұрмалануы тек жағымсыз емес — оның негізінде жатқан когнитивті механизм маңызды мақсаттарға қызмет етті:

• Когнитивті тиімділік: Когнитивті тапсырмаларды сенімді сыртқы көздерге тапсыру мүмкіндігі басқа міндеттер үшін ақыл-ой ресурстарын босатады. Автоматтандыру дұрыс болған кезде (көп жағдайда солай болады), оның нәтижесін қабылдау шынымен тиімді.

• Жүйелілік: Автоматтандырылған жүйелер бірдей критерийлерді біркелкі қолданады. Оларға бағыну шешім қабылдаудағы адамның өзгермелілігін және бұрмаланудың белгілі бір түрлерін азайтуы мүмкін.

• Жылдамдық: Уақыт өте маңызды жағдайларда, автоматтандырылған ұсыныстарды ұзақ тексерусіз тез қабылдау мүмкіндігі өмірді сақтап қалуы мүмкін — егер автоматтандыру дұрыс болса.

• Сараптаманы кеңейту: Автоматтандыру сарапшы емес адамдарға кодталған тәжірибені пайдалануға мүмкіндік береді. Клиникалық шешімдерді қолдауды пайдаланатын кіші дәрігер сарапшылардың ондаған жылдар бойы жинаған біліміне қол жеткізе алады.

• Мазасыздықты азайту: Белгісіз жағдайларда, автоматтандырылған ұсыныстың болуы шешім сапасы өзгеріссіз қалса да, шешім қабылдаудағы мазасыздықты және когнитивті жүктемені азайтып, әл-ауқатты жақсарта алады.

• Ауқымдылық: Көптеген заманауи жүйелер адамдардың автоматтандырылған нәтижелерді қабылдауынсыз жұмыс істей алмайды. Бір адамның әрбір электрондық хатты спамға, әрбір қаржылық транзакцияны алаяқтыққа немесе әрбір әлеуметтік желідегі жазбаны бұзушылықтарға тексеруі мүмкін емес еді.

Мәселе мынада: автоматтандыру бұрмалануы тек (1) автоматтандыру қате болғанда, (2) тәуекелдер жоғары болғанда және (3) адам қатені түзете алатын жағдайда ғана проблемаға айналады. Автоматтандыру бұрмалануын толығымен жою мүмкін емес және қажет емес — бұл автоматтандырудың артықшылықтарын жоққа шығаратын мүмкін емес қырағылықты қажет етеді. Мақсат — нөлдік сенім емес, калибрленген (дұрыс өлшенген) сенім.

8. Өзін-өзі бағалау: Сізде бұл бұрмалану бар ма?

8.1. Ескерту белгілерінің бақылау парағы

• Мен көбінесе GPS бағыттарын олардың менің баратын жерім үшін қисынды екенін тексерместен қабылдаймын
• Емлені тексеру және грамматика құралдарының ұсыныстарын қарамай-ақ сүйенемін
• Калькулятор жауап бергенде, мен оның қисынды болып көрінетінін сирек бағалаймын
• Мен іздеу жүйесінің нәтижелерін бірінші беттен қабылдаймын және олардың неге осылай сараланғанын ойламаймын
• Мен автоматтандырылған ұсыныстарды орындадым, олар қате болып шықты, өйткені мен оларды тексермедім
• Бағдарламалық жасақтама қате туралы хабарлама бергенде, мен не болғаны туралы бағдарлама дұрыс деп ойлаймын
• Менің әдеттегі автоматтандырылған құралдарым қолжетімсіз болған кезде тапсырмаларды орындау қиынға соғады
• Менің пайымдауым өзгеше болса да, автоматтандырылған ұсыныстарды жоққа шығаруды ыңғайсыз сезінемін
• Мен "бірақ жүйе осылай істеуді бұйырды" деп нашар нәтижені ақтадым
• Мен ЖИ чат-боттарының нәтижелеріне олардың мәлімдемелерін фактчекинг жасамай-ақ сенемін

Бағалау:

• 0-2 құсбелгі қойылды: Төмен бейімділік
• 3-5 құсбелгі қойылды: Орташа бейімділік
• 6-8 құсбелгі қойылды: Жоғары бейімділік
• 9-10 құсбелгі қойылды: Өте жоғары бейімділік

8.2. Өзін-өзі рефлексиялау сұрақтары

1. Автоматты ұсыныс негізінде қабылдаған соңғы шешіміңізді есіңізге түсіріңіз. Әрекет етпес бұрын сол ұсыныстың қандай да бір аспектісін тексердіңіз бе? Неліктен тексердіңіз немесе неге тексермедіңіз?

2. Автоматтандыру қате болып, бірақ сіз бәрібір оны орындаған кезді есіңізге түсіре аласыз ба? Өз пайымдауыңызға сенуге не кедергі болды?

3. ChatGPT сияқты ЖИ құралдарын пайдаланған кезде ұсынылған ақпараттың дәлдігін қалай тексересіз? Қате тапқан кезіңіз болды ма?

4. Егер сіздің негізгі автоматтандырылған құралдарыңыз (GPS, емлені тексеру, іздеу жүйелері, калькуляторлар) бір апта бойы қолжетімсіз болса, жұмыс процесі қалай өзгеретін еді?

5. Әріптестеріңіз, достарыңыз немесе отбасыңыз сіздің өзіңіз қабылдай алатын шешімдер үшін технологияға тым көп сүйенетініңізді айтқан кезі болды ма?

8.3. Жылдам диагностикалық сценарий

Сценарий: Маңызды есепті (report) жасауға көмектесу үшін ЖИ көмекшісін пайдаланып жатырсыз. ЖИ сіздің аргументіңізді толық растайтын статистиканы береді: "Зерттеулер көрсеткендей, осы тәсілді енгізген ұйымдардың 78%-ы нәтижелердің 40%-ға жақсарғанын байқады." Статистика шындыққа жанасатын сияқты және сіздің баяндауыңызға жақсы сәйкес келеді. Сізге уақыт тығыз.

Қалай жауап берер едіңіз?

• А) Статистиканы тікелей енгізу — бұл беделді болып көрінеді және ЖИ бұрын да сенімді болған → Жоғары бейімділік
• В) Статистиканы қосу, бірақ тексерусіз "зерттеулер көрсетеді" сияқты сақтандыратын сөздерді қосу → Орташа бейімділік
• С) Мерзімді (дедлайн) өзгерту қажет болуы мүмкін екенін қабылдай отырып, статистиканы енгізбес бұрын оны тексеру үшін түпнұсқа дереккөзді іздеу → Төмен бейімділік

9. Бұл бұрмалануды басқалардан анықтау

9.1. Мінез-құлық индикаторлары

Сөйлеудегі байқалатын белгілер:

• "Жүйе айтады" немесе "алгоритм ұсынады" деп ақтау ретінде жиі келтіру
• Автоматтандырылған ұсыныстарды жоққа шығару сұралғанда ыңғайсыздық білдіру
• Өз сараптамасы шеңберіндегі шешімдер үшін әдепкі бойынша "компьютер не айтатынын тексеріп көрейін" деуге көшу

Шешім қабылдаудағы заңдылықтар:

• Үнемі автоматты ұсыныстарды сұрақ қоймай орындау
• Автоматтандырылған құралдар қолжетімсіз болған кезде шешім қабылдауға қиналу
• Өзінің тексеру процесін қараудың орнына жүйелік қателерді кінәлау

Дене тілінің белгілері:

• Тіпті бетпе-бет талқылаулар кезінде де растау үшін экрандарға бұрылу
• Автоматтандырылған кеңеске қарсы әрекет ету сұралған кезде физикалық шиеленіс
• Автоматты жүйелер шешімдерін растаған кезде босаңсу

Сөйлесулердегі қайталанатын тақырыптар:

• Технологияның дәлдігіне жоғары сенімділік білдіру
• Автоматтандыру қателеріне қатысты алаңдаушылықты сирек кездесетін жағдайлар ретінде азайту
• "Объективті" алгоритмдермен салыстырғанда адамның пайымдауын "бұрмаланған" (biased) ретінде жоққа шығару

9.2. Сөйлесудегі қызыл жалаушалар (Red Flags)

Адамдар осы бұрмалану әсерінде болғанда айтатын тіркестер:

• "Компьютер қателеспейді"
• "Мен тек жүйе ұсынған нәрсені орындап жатырмын"
• "Деректер көрсетеді..." (деректерді тексермей)
• "Мен неге ЖИ-ге күмәндануым керек? Ол миллиондаған мысалдарда оқытылған"
• "Бұл дұрыс болуы керек — нәтиженің қаншалықты сенімді екенін қараңыз"

Олар келтіретін дәлелдердің түрлері:

• Жүйенің бұрынғы сенімділігіне қазіргі дәлдіктің дәлелі ретінде жүгіну
• Қарама-қайшы ақпаратты "аномалиялар" немесе "пайдаланушы қатесі" ретінде жоққа шығару
• Автоматты нәтижелерді ықтималдық бағалаулар ретінде емес, объективті фактілер ретінде қарастыру

Олар қоюдан қашатын сұрақтар:

• "Бұл жүйенің шектеулері қандай?"
• "Қандай жағдайларда бұл ұсыныс қате болуы мүмкін?"
• "Менде бұл автоматтандырылған құрал болмаса, мен қандай шешім қабылдар едім?"

9.3. Ситуациялық триггерлер

Бұл бұрмалануды белсендіретін жағдайлар:

• Тексеруге кедергі келтіретін уақыт қысымы
• Бірнеше тапсырмалардан туындайтын жоғары когнитивтік жүктеме
• Шаршау немесе шешім қабылдаудан шаршау
• Тексеру мамандандырылған білімді қажет ететін кезде
• Автоматтандыру бұрын сенімді болған кезде

Қоршаған орта факторлары:

• Автоматтандыру мен тиімділікті дәріптейтін жұмыс орнындағы мәдениеттер
• Пайымдаудан гөрі процедураларды орындауға баса назар аударатын оқыту бағдарламалары
• Автоматтандырудың қашан қате болғанын көрсететін кері байланыс циклдерінің болмауы
• Сенімділік деңгейлері туралы ашықтықсыз жасалған жүйелер

Осалдықты арттыратын эмоционалды күйлер:

• Стресс пен мазасыздық (сенімділікті іздеу)
• Шамадан тыс жүктелу (когнитивті жеңілдікті іздеу)
• Өз-өзіне сенбеушілік синдромы ("сарапшы" жүйелерге өзінен гөрі көбірек сену)
• Жайлылық пен тоқмейілсу (бәрі жақсы жүріп жатыр)

Бұрмалануды күшейтетін әлеуметтік контексттер:

• Автоматтандыруға күмәндану процесті баяулататын сияқты көрінетін топтық орталар
• Автоматтандыру басшылықтың шешімдерін білдіретін иерархиялар
• Автоматтандыру "озық тәжірибе" ретінде қарастырылатын кәсіби контексттер

Жағдайды нашарлататын уақыт қысымы:

• Тексеруге мүмкіндік бермейтін дедлайндар (мерзімдер)
• Нақты уақыттағы шешімдер (сауда, медициналық төтенше жағдайлар, авиация)
• Жеке шолу (тексеру) іс жүзінде мүмкін емес үлкен көлемдегі деректерді өңдеу

10. Когнитивті бұрмалануды жою стратегиялары

10.1. Шұғыл әдістер

Автоматты ұсыныстарды қабылдамас бұрын жылдам ойша тексеру:

• "Бұл нәтиже интуитивті мағына бере ме?" Ұсыныстың қисынды екенін ойлану үшін кідіріңіз.
• "Қателесудің құны қандай?" Тәуекел неғұрлым жоғары болса, соғұрлым мұқият тексеру қажет.
• "Жүйе бұл мәселеде жақсы ма?" Автоматтандырудың салалық шектеулері бар.

Сол сәтте өзіңізге қоятын сұрақтар:

• "Осы автоматтандырусыз мен қандай шешім қабылдар едім?"
• "Бұл ұсынысқа қандай дәлелдер қайшы келеді?"
• "Жүйенің сенімділік деңгейі қандай және ол белгісіздікті білдіре ме?"
• "Автоматтандырылған ұсынысты соңғы рет қашан тексердім?"

Бұрмалануды бұзу үшін әрекетті үзу әдістері:

• Қабылдамас бұрын, автоматтандырудың қате болуының бір себебін дауыстап айтыңыз
• Жалғастырмас бұрын бір балама көзді тексеріңіз
• Ұсынысты алу мен әрекет ету арасында қысқаша "салқындау" (кідіріс) кезеңін енгізіңіз
• Шешім туралы ойлану үшін экраннан физикалық түрде бұрылыңыз

Қарапайым ережелер:

• 5 секундтық ереже: Қабылдамас бұрын баламаларды қарастыруға кемінде 5 секунд жұмсаңыз
• "100 еселік салдар" ережесі: Егер қателесу тексеру күшінен 100 есе көп шығын әкелсе, тексеріңіз
• "Скептикке түсіндіру" ережесі: Сіз бұл шешімді автоматтандыруға сенбейтін адамға қорғай аласыз ба?

10.2. Ұзақ мерзімді стратегиялар

Уақыт өте келе қалыптасатын әдеттер:

• Дағдыларды сақтау үшін автоматтандырылған көмексіз тапсырмаларды үнемі орындап тұрыңыз
• Өзіңіз тапқан автоматтандыру қателерінің журналын жүргізіңіз (бұл қателесу мүмкіндігін көрнекті етеді)
• Кездейсоқ таңдаманы тексеру арқылы автоматтандырылған ұсыныстарға мерзімді түрде аудит жүргізіңіз
• Тексеруді міндетті емес нәрсе ретінде емес, стандартты жұмыс процестеріне кірістіріңіз

Қажетті ойлау жүйесінің өзгеруі:

• Автоматтандыруды "ақиқат қозғалтқышы" емес, "ықтималдық бағалаушы" ретінде қарастырыңыз
• Орынды скептицизмді сенімсіздік емес, кәсібилік ретінде қабылдаңыз
• Адамның рөлі автоматтандыру сәтсіздікке ұшыраған жағдайларды шешу екенін мойындаңыз
• Тексеру босқа кеткен күш емес, құнды екенін қабылдаңыз

Енгізілетін жүйелер мен процестер:

• Автоматтандырылған әрекеттер алдында тәуелсіз тексеруді талап ететін бақылау парақтарын жасаңыз
• Жұмысы автоматтандыру қателерін табу болып табылатын "қызыл топ" (red team) процестерін орнатыңыз
• Автоматтандыру ұсыныстары адамның бастапқы бағалауынан кейін ғана алынатын жұмыс процестерін жасаңыз
• Пайдаланушыларға автоматтандыру қате болған кезде хабарлайтын кері байланыс циклдерін құрыңыз

Тәжірибе жасауға және күшейтуге арналған дағдылар:

• Салалық сараптама (шындыққа жанаспайтын нәтижелерді тани алу үшін)
• Ойша есептеу және қисындылықты тексеру (sanity-checking)
• Дереккөздерді тексеру және зерттеу дағдылары
• Метакогниция — өзіңіздің когнитивті процестеріңізді білу

10.3. Қоршаған орта дизайны

Бұл бұрмалануды азайту үшін ортаңызды қалай құрылымдау керек:

• Белгісіздікті білдіру үшін автоматтандыруды конфигурациялаңыз (ықтималдық диапазондары, сенімділік аралықтары)
• Пайдаланар алдында шектеулерді мойындауды талап ететін интерфейстерді жасаңыз
• Автоматтандырылған кеңес пен әрекет арасында физикалық немесе уақытша бөлінуді (кідірісті) жасаңыз
• Автоматтандыру қателерін тапқандарды көтермелейтін ұйымдық нормаларды орнатыңыз

Көмектесетін физикалық өзгерістер:

• Автоматтандырылмаған баламаларға (физикалық карталар, калькуляторлар) қолжетімділікті сақтаңыз
• Жұмыс аймақтарында автоматтандыру шектеулері туралы ескертулерді көрсетіңіз
• Тексеру ресурстарын оңай қолжетімді жерде сақтаңыз

Бұрмалануға қарсы тұратын әлеуметтік құрылымдар:

• Маңызды автоматты шешімдер үшін сараптамалық (әріптестік) шолу орнатыңыз
• Автоматтандыруға күмәндану үшін психологиялық қауіпсіздік жасаңыз
• Адамдар автоматтандыру қателерін байқаған жағдайларды танып, марапаттаңыз
• Автоматтандырудың сәтсіздіктері туралы оқиғаларды оқу мүмкіндігі ретінде бөлісіңіз

Одан қорғайтын ақпараттық жүйелер:

• Бинарлық дабылдардың орнына ықтималдықты көрсететін Дабыл Ықтималдығы Дисплейлері (LADs)
• Кейінірек талдау үшін адамның автоматтандыруды жоққа шығаруларын (override) тіркейтін жүйелер
• Автоматтандыруды қабылдау кезінде пайдаланушыларға олардың дәлдік/қателік мөлшері туралы хабарлайтын кері байланыс жүйелері
• Автоматтандырудың дәлдік көрсеткіштерін көрсететін бақылау тақталары (dashboards)

10.4. Қашан сырттан пікір сұрау керек

Басқалармен ақылдасу керек шешім түрлері:

• Жоғары тәуекелді шешімдер (қаржылық, медициналық, құқықтық, қауіпсіздікке қатысты)
• Сіздің салалық тәжірибеңізден тыс шешімдер
• Автоматтандыру сіздің интуицияңызға қайшы келсе, бірақ сіз сенімді болмасаңыз
• Автоматтандыруды ешқашан тексермеген қайталанатын шешімдер

Кімнен көмек сұрау керек:

• Автоматтандырудың шектеулерін түсінетін сала мамандары
• Автоматтандыру сәтсіздіктерін бастан өткерген әріптестер
• Ұсынысқа күмән келтіретін скептиктер
• Автоматты шешімге мүдделі емес тәуелсіз тараптар

Пікір сұрауды қалай құрастыру керек:

• "Жүйе Х ұсынады. Осыны стресс-тесттен өткізуге көмектесесіз бе?"
• "Осы автоматтандырылған нәтижені қабылдамас бұрын нені тексеруім керек?"
• "Міне, автоматтандырудың айтқаны — бұл сіздің тәуелсіз бағалауыңызбен сәйкес келе ме?"

Сыртқы көзқарас қажет екенін білдіретін белгілер:

• Сіз автоматтандырылған ұсыныстарды ұзақ уақыт бойы тексерусіз қабылдап келдіңіз
• Ағымдағы шешімнің тәуекелдері әдеттегіден жоғары
• Ұсынысқа қатысты өзіңізді жайсыз сезінесіз, бірақ себебін түсіндіре алмайсыз
• Автоматтандыру жаңа жағдайға қолданылуда

11. Тәжірибелік жаттығулар

1-жаттығу: Тексеру (Verification) сынағы

• Мақсаты: Автоматтандырылған нәтижелерді тексеру әдетін қалыптастыру
• Қажетті уақыт: 2 апта бойы күніне 10 минут
• Қажетті материалдар: Әдеттегі автоматтандырылған құралдарыңыз (GPS, іздеу жүйесі, емле тексеру, калькулятор)
• Қиындық деңгейі: Жаңа бастаушылар үшін
• Нұсқаулық:
  1. Күн сайын өзіңіз алатын 3 автоматты ұсынысты анықтаңыз
  2. Әрқайсысы үшін нәтижені тәуелсіз көзді пайдаланып тексеруге 2 минут бөліңіз
  3. Автоматтандырудың дұрыс, ішінара дұрыс немесе қате болғанын жазып алыңыз
  4. Тексеруге қанша уақыт кеткенін және қатені түзетуге қанша уақыт жұмсайтыныңызды салыстырып белгілеңіз
  5. Аптаның соңында автоматтандырудың нақты дәлдік көрсеткішін есептеңіз
• Рефлексия сұрақтары:
  • Автоматтандыру қаншалықты жиі қате немесе ішінара қате болды?
  • Қандай ұсыныстар түрлері ең сенімді болды? Ең сенімсіз ше?
  • Сіздің тексеруге жұмсаған күшіңіз қателердің ықтимал шығынымен қалай салыстырылды?
• Жиілігі: 2 апта бойы күн сайын, содан кейін апта сайын кездейсоқ тексерулер

2-жаттығу: Қолмен басқару аптасы (Manual Week)

• Мақсаты: Өзіңіздің тәуелсіз пайымдау қабілетіңізді қалпына келтіру
• Қажетті уақыт: Бір апта
• Қажетті материалдар: Әдеттегі автоматтандырылған құралдарға баламалар (физикалық карталар, қолмен есептеу, мәтінді оқып тексеру дағдылары)
• Қиындық деңгейі: Орташа
• Нұсқаулық:
  1. Өзіңіз қатты тәуелді бір автоматты құралды таңдаңыз
  2. Оны бір апта бойы пайдаланбауға (немесе тек қосалқы ретінде пайдалануға) міндеттеме алыңыз
  3. Өз пайымдауыңыз бен дағдыларыңызды пайдаланып тапсырмаларды қолмен орындаңыз
  4. Тәжірибе туралы күнделік жүргізіңіз — не қиын болды, не оңай болды
  5. Аптаның соңында қандай қабілеттерді сақтап қалғаныңызды және қандай қабілеттерді жоғалтқаныңызды ойланыңыз
• Рефлексия сұрақтары:
  • Автоматтандырусыз қандай тапсырмаларды өте жақсы орындай алдыңыз?
  • Автоматтандырудың көмегін қай жерде қатты сағындыңыз?
  • Өз пайымдауыңызға деген сенімділігіңіз қалай өзгерді?
• Жиілігі: Тоқсан сайын, әртүрлі құралдарды кезектестіріп отыру

3-жаттығу: Алдын ала міндеттеме алу әдісі

• Мақсаты: Алдымен тәуелсіз пайымдауларды қалыптастыру арқылы әрекет ету қателерін (commission errors) азайту
• Қажетті уақыт: Әр шешімге 5 минут
• Қажетті материалдар: Қағаз немесе жазбалар қолданбасы
• Қиындық деңгейі: Жоғары (Advanced)
• Нұсқаулық:
  1. Автоматты құралды қарамас бұрын өзіңіздің алдын ала пайымдауыңызды жазып алыңыз
  2. Сенімділік деңгейіңізді белгілеңіз (төмен/орташа/жоғары)
  3. Пайымдауыңызды қандай ақпаратқа негіздеп отырғаныңызды құжаттаңыз
  4. Содан кейін ғана автоматтандыруға жүгініңіз
  5. Өз пайымдауыңызды автоматты нәтижемен салыстырыңыз — келісімдер мен келіспеушіліктерді жазып алыңыз
• Рефлексия сұрақтары:
  • Сіздің тәуелсіз пайымдауыңыз автоматтандырумен қаншалықты жиі сәйкес келді?
  • Келіспеген кезде кім жиі дұрыс болды?
  • Алдымен өз шешіміңізді жазу автоматты нәтижемен қарым-қатынасыңызды қалай өзгертті?
• Жиілігі: Барлық маңызды шешімдер үшін

Күнделікті тәжірибе

"5 секундтық кідіріс"

Кез келген автоматты ұсынысты қабылдамас бұрын, 5 секундқа кідіріп, "Бұның қате болуының қандай да бір себебі бар ма?" деп сұраңыз. Қысқаша кідіріс автоматты қабылдау реакциясын үзеді және сыни бағалауға кеңістік жасайды.

• Ұсынылатын ұзақтығы: Әрбір автоматты енгізу үшін 5 секунд
• Күннің ең жақсы уақыты: Күні бойы үздіксіз
• Прогрессті қалай бақылауға болады: Жасалған кідірістердің санын есептеңіз; кідіріс сізді күмәндануға немесе тексеруге итермелеген жағдайларды белгілеңіз

Апталық сынақ

Скептиктің аудиті

Әр апта сайын өміріңізде автоматтандыруға қатты тәуелді бір саланы таңдаңыз (GPS, электрондық пошта сүзгілері, іздеу рейтингтері, ЖИ көмегі). Сол аптадағы 5-10 автоматты шешімге жүйелі аудит жүргізіңіз.

• 4 аптадан кейінгі күтілетін нәтижелер: Сіздің автоматтандыруыңыздың қай жерде сенімді және қай жерде қателесетіні туралы калибрленген түсінік; тексеру әдеттерінің жақсаруы; соқыр сенімнің төмендеуі
• Журнал жүргізуге (ойлануға) арналған сұрақтар:
  • "Бұл аудит автоматтандыру дәлдігі туралы қандай болжамға күмән келтірді?"
  • "Егер мен осы ұсыныстың дұрыс екеніне ақша тігуім керек болса, қанша тігер едім?"
  • "Мен тапқан қателерді анықтау үшін күнделікті жұмысыма қандай тексеру қадамын қоса аламын?"

12. Арнайы аудиториялар үшін

Көшбасшылар мен менеджерлер үшін

Бұл бұрмалану көшбасшылық тиімділікке қалай әсер етеді:

• Автоматтандырылған аналитиканы сыни тұрғыдан қабылдамайтын көшбасшылар жергілікті жерлердегі маңызды шындықтарды байқамауы мүмкін
• Автоматтандырылған өнімділік көрсеткіштері топтың (ұжымның) саулығы туралы жалған сенімділікті тудыруы мүмкін
• Алгоритмдік болжамдарға негізделген стратегиялық шешімдер бұрын-соңды болмаған жағдайларды ескере алмауы мүмкін

Ұйымдық контексттерге арналған нақты стратегиялар:

• Автоматтандырылған ұсыныстарға көпшілік алдында күмәндану арқылы орынды скептицизм үлгісін көрсетіңіз
• Қызметкерлерге автоматтандыруды жоққа шығаруға психологиялық қауіпсіздік жасаңыз
• "Жүйе ұсынды" деген сөздермен жуылып-шайылмайтын нақты жауапкершілікті бекітіңіз
• Тек құралды меңгеруге емес, пайымдауға баса назар аударатын оқытуға инвестиция салыңыз

Топтық араласулар:

• Автоматтандыруға күмәндану үшін арнайы "албасты адвокаты" (devil's advocate) рөлдерін енгізіңіз
• Тәуекелі жоғары автоматты ұсыныстарды қабылдамас бұрын бірнеше тәуелсіз бағалауларды талап етіңіз
• Оқу мүмкіндігі ретінде топтық жиналыстарда автоматтандыру сәтсіздіктері туралы оқиғалармен бөлісіңіз
• Топ мүшелері автоматтандыру қателерін тапқан жағдайларды атап өтіңіз

Енгізілетін шешім қабылдау процестері:

• Пре-мортем (Pre-mortems): "Егер бұл автоматты ұсыныс апатқа әкелсе, не қате кетті?"
• Қызыл топ (Red teaming): Автоматты ұсынысқа қарсы дәлел келтіретін адамды тағайындаңыз
• Калибрлеу сессиялары: Бұрынғы автоматтандырылған болжамдарды нақты нәтижелермен салыстырыңыз

Ата-аналар мен оқытушылар үшін

Балаларға бұл бұрмалану туралы қалай үйрету керек:

• Компьютерлердің пайдалы құрал екенін, бірақ әрқашан дұрыс бола бермейтінін түсіндіріңіз
• Жас ерекшеліктеріне сәйкес мысалдарды пайдаланыңыз (емлені тексеру қателері, GPS қателері)
• Салауатты скептицизмді сенімсіздік емес, зияткерлік ретінде қалыптастырыңыз

Жас ерекшеліктеріне сәйкес түсіндірулер:

• Кішкентай балалар (5-8): "Компьютерлер кейбір нәрселерде ақылды, бірақ ақымақ қателіктер жіберуі мүмкін. Әрқашан тексеріп отыр!"
• Ересек балалар (9-12): "Қолданбалар мен веб-сайттар бізге көмектесу үшін бағдарламаларды пайдаланады, бірақ ол бағдарламалар бәрін білмейді. Өзіміз де ойланайық."
• Жасөспірімдер: "ЖИ мен алгоритмдер күшті, бірақ олардың шектеулері бар. Ақылды болу — оларға қашан сенуге болатынын және қашан тексеру керектігін білуді білдіреді."

Жас ақыл-ойларға арналған алдын алу стратегиялары:

• Калькуляторды пайдаланумен қатар мимен есептеу тәжірибесін көтермелеңіз
• Балаларға автоматтандырылған көмекшілерді қолданбас бұрын тапсырмаларды орындауға тырысуын сұраңыз
• Жаңалықтардағы және күнделікті өмірдегі қате технология мысалдарын талқылаңыз
• Ата-ана ретінде тексеру мінез-құлқын үлгі етіңіз

Сыныптағы немесе үйдегі іс-шаралар:

• Калькулятор нәтижелері, GPS маршруттары немесе ЖИ жасаған мазмұн арқылы "Қатені тап" ойындары
• Автоматтандырылған іздеу нәтижелерін тексеруді талап ететін ғылыми жобалар
• ЖИ өнерін, жазуын немесе ұсыныстарын сыни бағалау

Денсаулық сақтау мамандары үшін

Бұл бұрмаланудың клиникалық салдары:

• Клиникалық шешімдерді қолдауға шамадан тыс тәуелділік қате диагнозға әкелуі мүмкін
• Дабыл шаршауы қауіпті түрде сенімділікті төмендетеді
• ЖИ диагностикалық құралдары атипті жағдайларда нашар жұмыс істеуі мүмкін

Пациентпен байланысу стратегиялары:

• Автоматтандырылған құралдар қашан диагнозды хабарлайтынын түсіндіріңіз (ашықтық тиісті сенімді қалыптастырады)
• Автоматтандырылған нәтижелерді түсіндірудегі клиникалық пайымдаудың рөліне баса назар аударыңыз
• Пациенттер қолдануы мүмкін денсаулыққа арналған қолданбалардың және ЖИ симптомдарын тексеру құралдарының шектеулерін талқылаңыз

Диагностикалық ойлар:

• Шешімдерді қолдау жүйесімен кеңеспес бұрын дифференциалды диагноз жасаңыз
• Автоматтандыруды нақты жауап ретінде емес, көптеген деректердің бірі ретінде пайдаланыңыз
• Автоматтандырылған нәтиже клиникалық көрініске сәйкес келмеген кезде әсіресе скептик болыңыз

Емдеуді жоспарлау әсерлері:

• Дозаны автоматтандырылған калькуляторлар салмақ пен бүйрек функциясын тексеруді қажет етеді
• Емдеу хаттамасының ұсыныстары жеке ауытқуларды ескермеуі мүмкін
• Науқасқа тән факторлар алгоритмдік ұсыныстардан басым болуы мүмкін

Этикалық мәселелер:

• Жауапкершілікті автоматтандыруға жүктеуге болмайды
• Ақпараттандырылған келісім диагностикада ЖИ қолданылғанын ашуды талап етуі мүмкін
• Автоматтандыруға қарамастан кәсіби пайымдау ең бастысы болып қала береді

Қаржы мамандары үшін

Инвестицияға тән қолданбалар:

• Алгоритмдік сауда ұсыныстары әлі де адамның қисындылықты тексеруін қажет етеді
• Бұрынғы (Backtested) өнімділік болашақ нәтижелерге кепілдік бермейді
• Модельдер бұрын-соңды болмаған нарық жағдайларында апатты сәтсіздікке ұшырауы мүмкін

Клиентпен байланысу стратегиялары:

• Портфельді басқарудағы автоматтандырудың рөлін түсіндіріңіз
• Алгоритмдердің не істей алатыны және не істей алмайтыны туралы тиісті күтулерді орнатыңыз
• Тәуекелді модельдеу мен болжаудағы шектеулерді талқылаңыз

Тәуекелдерді басқарудың салдары:

• Автоматтандырылған тәуекел көрсеткіштерінің (VaR және т.б.) белгілі сәтсіздік режимдері бар
• Дағдарыс кезінде корреляциялар ауысып, модель болжамдарын бұзуы мүмкін
• Төтенше тәуекел (tail-risk) сценарийлері үшін адамның пайымдауы өте маңызды

Реттеуші мәселелер (Нормативтік негіздер):

• Фидуциарлық міндет алгоритмдік кеңестерді орындаумен қанағаттандырылмайды
• Құжаттама автоматтандырылған ұсыныстарды адам қарағанын көрсетуі керек
• Комплаенс жүйелері толық автоматтандыруды емес, адам қадағалауын қажет етеді

13. Басқа бұрмаланулармен өзара әрекеттесуі

Осы бұрмалануды күшейтетін бұрмаланулар

Осы бұрмалануға қарсы тұратын бұрмаланулар

Жалпы бұрмалану тізбектері

Автоматтандыру-Растау-Жад тізбегі: Автоматтандыру бұрмалануы → Растау бұрмалануы → Жадтың бұрмалануы → Күшейтілген автоматтандыру бұрмалануы

Адам автоматтандырылған ұсынысты қабылдағанда (автоматтандыру бұрмалануы), ол оны растайтын ақпаратты іріктеп байқай бастайды (растау бұрмалануы). Уақыт өте келе жад автоматтандырылған шешімді қолдау үшін оқиғаларды қалпына келтіреді, тіпті дәлелдерді ойдан шығарады (жадтың бұрмалануы). Бұл жалған дәлелдер бұрынғы автоматтандырылған шешімдерді олар болғаннан да сенімдірек етіп көрсету арқылы болашақ автоматтандыру бұрмалануын күшейтеді.

Каскадты үзу: Араласудың негізгі нүктесі — бірінші қабылдауға дейінгі сәт. Автоматтандыруды көрмес бұрын тәуелсіз пайымдауға алдын ала міндеттеме алу бастапқы якорьды бұзады. Қарама-қайшы дәлелдерді нақты құжаттауды талап ету іріктеп назар аударуға жол бермейді. Автоматтандырылған болжамдарды нәтижелермен салыстыратын жүйелі аудиттер жадтың бұрмалануын түзетеді.

14. Мәдени перспективалар

Әртүрлі мәдениеттердегі автоматтандыру бұрмалануын зерттеу жалпыға ортақ ерекшеліктерді де, маңызды вариацияларды да көрсетеді:

Жалпыға ортақ аспектілер:

• Негізгі когнитивті механизмдер (энергияны үнемдеу, эвристикалық өңдеу) барлық зерттелген мәдениеттерде кездеседі
• "Когнитивті сараң" эффектісі мәдени ортаға қарамастан жұмыс істейді
• Жоғары сенімділік жалпыға ортақ түрде сенімге және тексерудің төмендеуіне әкеледі

Мәдени вариациялар (ерекшеліктер):

Аймақтық зерттеу екпіндері:

• Жапония (Исигуро): Роботтарға әлеуметтік сенім мен антропоморфизм әсерлеріне баса назар аудару; адам мен машинаның үйлесімді өзара әрекеттесуіне мәдени назар аудара отырып, технологияларды жоғары деңгейде енгізу
• Оңтүстік Корея (KAIST): Мәдени құндылық ретінде түсіндірілетін ЖИ-ге назар аудару; ашықтықты күту соқыр автоматтандыру сенімін азайтуы мүмкін
• Қытай (Цинхуа): Сөйлесетін ЖИ қауіпсіздігіне және пайдаланушының бұрмалануын күшейтетін жағымпаз ЖИ жауаптарын болдырмауға бағытталған зерттеулер
• Германия (ТУ Берлин, ТУ Дармштадт): Дабыл дизайны мен қызмет көрсетуші роботтардың өзара әрекеттесуіне инженерлік назар аудару; мәдени дәлдік тексеру нормаларына әсер етуі мүмкін
• АҚШ: Жеке деңгейдегі когнитивті психологияға және авиация/қорғаныс қолданбаларына назар аудару

Кросс-мәдени (Мәдениетаралық) салдар:

• Ортақ автоматтандырылған жүйелерді пайдаланатын халықаралық топтарда сенімділіктің әдепкі деңгейлері әртүрлі болуы мүмкін
• Трансұлттық ұйымдар автоматтандыру интерфейстерін жасау кезінде мәдени ерекшеліктерді ескеруі керек
• Ғаламдық ЖИ жүйелері әртүрлі нарықтар үшін сенімділікті калибрлеудің әртүрлі тәсілдерін қажет етуі мүмкін

15. Мифтер мен қате түсініктер

16. Сарапшылардың пікірлері

"Автоматтандыру бұрмалануы қырағы ақпарат іздеу мен өңдеуді 'эвристикалық ауыстыру' ретінде әрекет етеді — 'жағдайды бағалауды мерзімінен бұрын тоқтататын когнитивті төте жол'." — Линда Скитка (Linda Skitka), Кэтлин Мозьер (Kathleen Mosier) және Марк Бурдик (Mark Burdick), 1999

"Сенім — бұл белгісіздік пен осалдықпен сипатталатын жағдайда агенттің жеке тұлғаның мақсаттарына жетуге көмектесетініне деген көзқарас." — Джон Д. Ли (John D. Lee) және Катрина А. Си (Katrina A. See), 2004

"Пайдаланушылар ұрыс даласындағы шындықтан машинаның пайымдауын артық көріп, айқын қарама-қайшы дәлелдерге қарамастан жүйе қателерін өз еркімен қабылдады." — "Patriot" зымырандарының өз әскерін атуы туралы Қорғаныс ғылыми кеңесінің есебі, 2005

"Экипаж 'жағдайды бақылаудан шығарып алды' және автоматты жүйенің не істеп жатқанын түсіне алмады." — Есепте келтірілген 447-рейстің FAA адам факторлары талдауы

"Үлкен тілдік модельдердің (LLM) қате ұсыныстары автоматтандыру бұрмалануын тудыру арқылы дәрігерлердің диагностикалық жұмысын айтарлықтай төмендетеді." — ЖИ көмегімен диагностикалау бойынша 2025 жылғы рандомизацияланған клиникалық сынақ

"Адамдар соғыс бастағанда, оны тек бес зымыранмен бастамайды." — Подполковник Станислав Петров, кеңестік ядролық шабуылды ерте ескерту жүйесін жоққа шығару туралы шешімін түсіндіру кезінде, 1983

17. Негізгі тұжырымдар

1. Автоматтандыру бұрмалануы әмбебап және терең тамыр жайған. Ол технологияға дейін адамдарға жақсы қызмет еткен — бірақ жетілмеген автоматтандырылған жүйелерге қолданылған кезде қауіпті осалдықтар тудыратын эволюцияланған когнитивтік тиімділік механизмдерінен туындайды.

2. Бұл бұрмалануды екі қате түрі анықтайды: Әрекетсіздік қателері (omission errors — автоматтандыру ескертпегендіктен проблемаларды жіберіп алу) және әрекет ету қателері (commission errors — қате автоматтандырылған ұсыныстарды белсенді түрде орындау). Әрекет ету қателері алаңдатарлық, өйткені олар пайымдаудан белсенді түрде бас тартуды білдіреді.

3. Сенімділік қауіп төндіреді. Парадокс: автоматтандыру неғұрлым сенімді болса, автоматтандыру сәтсіздікке ұшыраған кезде адам қателері соғұрлым қауіпті болады. Жоғары сенімді жүйелер үшін "адам қосалқы (сақтандырғыш) болып табылады" деген болжам математикалық тұрғыдан қате.

4. Салдары тарихта жазылған. Құлаған ұшақтардан бастап заңсыз қамауға алуларға дейін автоматтандыру бұрмалануы адам өміріне, бостандығына және миллиардтаған долларға зиян келтірді. Бұл теориялық тәуекелдер емес.

5. Жалғыз оқыту жеткіліксіз. Жеке адамның ерік-жігерінен гөрі жүйенің дизайны маңыздырақ. Ықтималдық дисплейлері, когнитивті мәжбүрлеу функциялары және әлеуметтік-техникалық жұмыс процесінің дизайны адамдарға "көбірек тырысыңыз" деп айтқаннан гөрі тиімдірек.

6. Сенім барынша жоғарылатылмай, калибрленуі (дұрыс өлшенуі) керек. Мақсат автоматтандыруға сенімсіздік білдіру емес, сенімді нақты мүмкіндіктерге сәйкестендіру. Жүйенің не істейтінін ғана емес, оның қалай жұмыс істейтінін және қай жерде қателесетінін түсіну маңызды.

7. ЖИ дәуірі тәуекелді арттырады. Үлкен тілдік модельдер (LLM) табиғи тіл арқылы сөйлесе отырып, терең әлеуметтік сенім механизмдерін іске қосады. "Галлюцинацияларды қабылдау" (hallucination acceptance) — ақиқат сияқты көрінетін жалған мәліметтерге сену — қоғам енді ғана күресе бастаған автоматтандыру бұрмалануының жаңа және күшті көрінісін білдіреді.

18. Қосымша ресурстар

Академиялық мақалалар

• Skitka, L. J., Mosier, K. L., & Burdick, M. (1999). Does automation bias decision-making? International Journal of Human-Computer Studies, 51(5), 991–1006.
• Parasuraman, R., & Manzey, D. H. (2010). Complacency and bias in human use of automation: An attentional integration. Human Factors, 52(3), 381–410.
• Lee, J. D., & See, K. A. (2004). Trust in automation: Designing for appropriate reliance. Human Factors, 46(1), 50–80.
• Lyell, D., & Coiera, E. (2017). Automation bias and verification complexity: A systematic review. Journal of the American Medical Informatics Association, 24(2), 423–431.
• Goddard, K., Roudsari, A., & Wyatt, J. C. (2012). Automation bias: A systematic review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association, 19(1), 121–127.

Кітаптар

• Parasuraman, R., & Mouloua, M. (Eds.). (1996). Automation and Human Performance: Theory and Applications. Lawrence Erlbaum Associates.
• Wickens, C. D., & Hollands, J. G. (2000). Engineering Psychology and Human Performance (3rd ed.). Prentice Hall.
• Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.
• Reason, J. (1990). Human Error. Cambridge University Press.
• Lee, J. D., Wickens, C. D., Liu, Y., & Boyle, L. N. (2017). Designing for People: An Introduction to Human Factors Engineering (3rd ed.). CreateSpace.

Кітап тараулары

• Mosier, K. L., & Skitka, L. J. (1996). Human decision makers and automated decision aids: Made for each other? In R. Parasuraman & M. Mouloua (Eds.), Automation and Human Performance (pp. 201–220). Lawrence Erlbaum Associates.

19. Қорытынды карта

20. Пайдаланылған терминдер сөздігі

21. Талқылау сұрақтары

Кітап клубтары, сыныптар немесе өзін-өзі рефлексиялау үшін:

1. Есепте "машина неғұрлым сенімді болса, адам операторының қателесу ықтималдығы соғұрлым қауіпті болады" делінген. Бұл парадокс шешілетін мәселе ме, әлде бұл адам мен автоматтандырудың бірлескен жұмысының тән шектеуі ме?

2. Станислав Петров автоматтандыру бұрмалануына сәтті қарсы тұрып, ядролық соғыстың алдын алуы мүмкін болды. Басқалар (Patriot операторлары сияқты) жасай алмаған кезде оған мұны істеуге қандай жеке қасиеттер, дайындық немесе жағдайлар көмектесті?

3. Ұлыбритания поштасының Horizon жанжалы институционалдық ауқымда 15 жылдан астам уақыт бойы жалғасқан автоматтандыру бұрмалануын көрсетті. Болашақта осындай институционалдық автоматтандыру бұрмалануын болдырмау үшін қандай жүйелік өзгерістер қажет болар еді?

4. ЖИ тілдік модельдері жетілдірілген сайын, олар адамдар шындықты жеткізу үшін қолданатын семантикалық арналар арқылы байланысады. Бұл ЖИ автоматтандыру бұрмалануын бұрынғы формалардан түбегейлі ерекшелей ме? Қолданыстағы зардаптарды азайту стратегиялары жеткілікті ме?

5. Адамдар қате автоматты ұсыныстарды орындаған кезде заңды жауапкершілік болуы керек пе? Адам операторы, ұйым және автоматтандыруды жеткізуші арасындағы жауапкершілікті қалай теңестіреміз?