Автоматизацияга мойиллик

Бир қарашда

1. Қисқача хулоса

Автоматизацияга мойиллик — бу бизнинг ўз мулоҳазаларимиз ёки бошқа маълумот манбаларидан кўра компьютер томонидан яратилган тавсияларга ишониш мойиллигимиздир, ҳатто компьютер яққол нотўғри бўлганда ҳам. Машина бизга бирор нарса айтса, биз кўпинча алгоритмга ўзимизнинг танқидий фикрлашимизни топширган ҳолда, уни текширмасдан ҳақиқат сифатида қабул қиламиз. Ушбу ақлий қисқа йўл когнитив энергияни тежаш учун ривожланган, аммо у номукаммал автоматлаштирилган тизимларга қўлланганда хавфли бўлиб қолади ҳамда авиация, соғлиқни сақлаш, суд жараёнлари ва кундалик қарорларда хатоликларга олиб келади.

2. Бунинг ортидаги илм-фан

2.1. Кашфиёт ва тарих

"Автоматизациядаги хотиржамлик"нинг анекдотик далиллари авиация доираларида ўнлаб йиллар давомида мавжуд бўлса-да, автоматизацияга мойилликни расмий илмий ўрганиш 1990-йилларнинг охирларида бошланган. Линда Скитка, Кэтлин Мозиер ва Марк Бурдик томонидан 1999 йилда ўтказилган "Автоматизация қарор қабул қилишда мойиллик яратадими?" номли муҳим тадқиқот бу ҳодисани шунчаки чарчоқ ёки малакасизликдан мустақил бўлган алоҳида когнитив мойиллик сифатида ажратиб кўрсатди. Инсон ва компьютер ўзаро таъсири халқаро журналида (International Journal of Human-Computer Studies) чоп этилган ушбу мақола инсон ва компьютер ўзаро таъсири бўйича тадқиқотлар йўналишини тубдан ўзгартирди.

Концепция автоматлаштирилган тизимлар ўзларининг ишончлилигига қарамай, инсон хатоларининг янги турларини келтириб чиқараётганини тобора кўпроқ англаш натижасида пайдо бўлди. Дастлабки авиация ҳодисалари учувчиларнинг автопилот тизимларига хавфли даражада қарам бўлиб қолаётганини кўрсатди, бироқ олимлар бу қарамликни фақатгина жиддий экспериментал тадқиқотлар ўтказилгандан сўнг миқдорий жиҳатдан баҳолаш ва тавсифлаш имконига эга бўлишди.

1999 йилдан бери бизнинг тушунчамиз сезиларли даражада ривожланди. Тадқиқотчилар автоматизацияга мойилликни унга яқин, аммо ундан фарқли бўлган автоматизациядаги хотиржамлик концепциясидан ажратишди. Соҳа авиациядан соғлиқни сақлаш, автоном транспорт воситалари, ҳуқуқий тизимлар ва энг сўнгги пайтларда сунъий интеллект ҳамда Йирик Тил Моделлари (LLM)гача кенгайди. Генератив сунъий интеллектнинг ўсиши бу мойилликнинг янги кўринишларини, жумладан, ҳақиқатга ўхшаб кўринадиган, аммо ўйлаб топилган СИ натижаларига ишониш мойиллиги бўлган "галлюцинацияларни қабул қилиш"ни жорий қилди.

Тадқиқотлардаги асосий босқичларга қуйидагилар киради:

• 1999: Скитка, Мозиер ва Бурдикнинг автоматизацияга мойилликни алоҳида ҳодиса сифатида белгилаб берувчи фундаментал экспериментал тадқиқоти
• 2004: Ли ва Сининг ишончни калибрлаш тизими
• 2010: Парасураман ва Манзейнинг "Диққатни интеграция қилиш" шарҳи, хотиржамликни мойилликдан ажратиб кўрсатди
• 2017: Лайелл ва Койеранинг "Текшириш мураккаблиги" модели
• 2023–2025: LLM келтириб чиқарадиган автоматизацияга мойиллик ва галлюцинацияларни қабул қилиш бўйича тадқиқотларнинг кескин кўпайиши

2.2. Асосий тадқиқотчилар

2.3. Муҳим тадқиқотлар

"Автоматизация қарор қабул қилишда мойиллик яратадими?" (Скитка, Мозиер ва Бурдик, 1999)

Тадқиқотчилар инсон операторлари қарор қабул қилишни автоматлаштирилган қўллаб-қувватлаш тизими ёрдамида тизим ҳолатларини қандай кузатишини эмпирик тарзда синаб кўриш учун паст аниқликдаги парвоз симуляцияси вазифасини ишлаб чиқдилар. Иштирокчиларга асбобларни кузатиш ва симуляцияни "бошқариш" вазифаси юклатилган эди. Экспериментал дизайн ишончли, аммо номукаммал автоматлаштирилган кузатув ёрдамчисини киритиб, тадқиқотчиларга ишонч ва хатолик чорраҳасида инсон хулқ-атворини кузатиш имконини берди.

Асосий хулосалар:

• Автоматлаштирилган ёрдамчиларга эга иштирокчилар қўлда бошқарадиган операторларга қараганда маълумотларни диққат билан излаш билан сезиларли даражада камроқ шуғулланишган
• Автоматизация инсон эътиборини шунчаки тўлдириб қолмади — у ҳақиқатан ҳам унинг ўрнини босди
• Автоматлаштирилган ёрдамчи нотўғри ҳаракатни тавсия қилганда, операторларнинг катта қисми дастлабки маълумотлар унинг яққол нотўғри эканлигини кўрсатса ҳам, шу тавсияга амал қилди
• Тадқиқот хатоликларнинг икки турини аниқлади: қолдириб кетиш хатолари (автоматизация огоҳлантирмагани учун ҳодисаларни ўтказиб юбориш) ва бажариш хатолари (нотўғри автоматлаштирилган тавсияларга амал қилиш)

Муаллифлар шундай хулосага келишдики, автоматизацияга мойиллик "маълумотларни диққат билан излаш ва қайта ишлаш учун эвристик алмаштириш", яъни "вазиятни баҳолашни муддатидан олдин тўхтатадиган" когнитив "қисқа йўл" сифатида ишлайди.

Хотирани бузиб кўрсатиш тадқиқоти (Мозиер, Кейинги тадқиқотлар)

Учувчилар иштирокидаги кейинги тадқиқотларда автоматизацияга мойилликка учраганларнинг 67 фоизи кейинчалик воқеа ҳақида "сохта хотира"ни намойиш этди. Улар автоматизациянинг нотўғри қарорини қўллаб-қувватлайдиган дастлабки маълумотлардаги сигналларни кўрганликларини эслашди — аслида бу сигналлар ҳеч қачон бўлмаган. Бу шуни кўрсатадики, автоматизацияга мойиллик идрокни ретроактив тарзда ўзгартириши мумкин; автоматизация хулосасини қабул қилган мия, уни қўллаб-қувватлаш учун далилларни ўйлаб топади (конфабуляция).

Ишончни калибрлаш тадқиқоти (Ли ва Си, 2004)

Автоматизацияга ишончни "агент ноаниқлик ва заифлик билан тавсифланган вазиятда шахснинг мақсадларига эришишга ёрдам бериши ҳақидаги муносабат" сифатида таърифлади. Ишончнинг учта асосини аниқлади: Ишлаш (тарихий ишончлилик), Жараён (алгоритмларни тушуниш) ва Мақсад (яратувчининг нияти). Жараённи тушунмасдан фақатгина Ишлашга таяниш кам учрайдиган ҳолатларда ҳалокатли мойилликка олиб келишини намойиш этди.

Текшириш мураккаблиги бўйича тизимли шарҳ (Лайелл ва Койера, 2017)

Агар вазифа етарлича мураккаб бўлса, ҳатто якка вазифали муҳитларда ҳам автоматизацияга мойиллик кенг тарқалганлигини намойиш этди. Текшириш мураккаблиги концепциясини жорий қилди: автоматизацияга мойиллик эҳтимоли автоматизация натижасини текшириш учун талаб қилинадиган когнитив саъй-ҳаракатларга тўғридан-тўғри пропорционалдир. Ушбу модель замонавий "қора қути" СИ тизимларини тушуниш учун жуда муҳимдир.

2.4. Неврологик асос

Автоматизацияга мойилликнинг неврологик асослари миянинг энергияни тежаш бўйича фундаментал механизмларига боғлиқ:

Когнитив юк ва префронтал кортекс: Мия энергияни тежовчи органдир. Қарор қабул қилиш ва текшириш каби ижро этувчи функциялар учун жавобгар бўлган префронтал кортекс катта метаболик ресурсларни талаб қилади. Автоматизация мақбул жавобни тақдим этганда, миянинг стандарт режими юқори энергияли текшириш жараёнларини жалб қилмасдан уни қабул қилишдир.

"Когнитив хасис" механизми: Дастлаб Фиске ва Тейлор (1984) томонидан таклиф қилинган ушбу тамойил шуни таъкидлайдики, одамлар эволюцион жиҳатдан когнитив саъй-ҳаракатларни минималлаштиришга ундалади. Муҳит рухсат берганда, мия автоматик равишда эвристик қайта ишлашга (ақлий қисқа йўллар) ўтади. Автоматизация "супер-эвристика" сифатида ишлаш орқали бундан фойдаланади.

Диққат тармоқлари ва ҳушёрликнинг пасайиши: Парасураманнинг мияни тасвирлаш орқали нейроэргономика тадқиқотлари мия мониторинг вазифаларидан қачон узилишини аниқлади. Ишончли автоматлаштирилган тизимларни пассив кузатиш пайтида диққат тармоқлари (айниқса, дорсал диққат тармоғи) вақт ўтиши билан фаоллашувнинг пасайишини кўрсатади — бу "ҳушёрликнинг пасайиши"дир.

Хотира конфабуляцияси: Автоматизация туфайли юзага келган хатолардан сўнг учувчиларнинг 67 фоизида сохта хотиралар пайдо бўлиши хотирани мустаҳкамлаш жараёнларининг иштирокини кўрсатади. Мия автоматлаштирилган хулосани қабул қилганда, гиппокампал хотира тизимлари мустаҳкамлаш жараёнида нотўғри қарорни изчил ҳикояга интеграция қилиб, қўллаб-қувватловчи "далиллар" яратиши мумкин.

Дофаминергик мукофотлаш йўллари: Автоматизацияга ишониш ва ҳақ бўлиш мукофот йўлларини қўзғатади. Бу ижобий мустаҳкамлаш вақт ўтиши билан автоматизацияни қабул қилиш эвристикасини кучайтиради ва уни бекор қилишни борган сари қийинлаштиради.

3. Эволюцион келиб чиқиши

Автоматизацияга мойиллик технологиягача бўлган муҳитда омон қолишни кучайтириш учун ривожланган когнитив механизмларнинг нотўғри қўлланилишини ифодалайди.

Танқис дунёда энергияни тежаш: Бизнинг аждодларимиз калориялар қадрланадиган муҳитда яшаган. Мия тана энергиясининг тахминан 20 фоизини истеъмол қилади. Эволюция жисмоний омон қолиш фаолияти учун энергияни тежаб, "етарлича яхши" қарорлар қабул қиладиган когнитив қисқа йўлларни қўллаб-қувватлади. Когнитив ишларни ишончли манбаларга топшириш мослашувчанлик эди.

Ижтимоий ҳурмат ва экспертиза: Одамлар экспертларга (оқсоқоллар, моҳир овчилар, табиблар) бўйсуниш омон қолиш афзалликларини берадиган ижтимоий гуруҳларда ривожланган. Биз ишончли маълумот манбаларини аниқлаш ва уларга бўйсуниш учун эвристикани ишлаб чиқдик. Автоматлаштирилган тизимлар, айниқса 99% ҳолларда ишончли бўлганлари, худди шундай бўйсуниш механизмларини ишга туширади.

Омон қолиш сифатида асбобга ишонч: Ўз қуролларига ишониш эволюцион жиҳатдан муҳим эди. Найзасининг тўғри учишига доимо шубҳа қиладиган овчи фалаж бўлиб қоларди. Эволюция ишончли воситаларга ишончни танлади. Замонавий автоматизация асбоб-ускуналарга бўлган бу чуқур ишонч механизмини эгаллаб олади.

Хатоликми ёки хусусият? Автоматизацияга мойиллик туб моҳиятига кўра нотўғри қўлланилган хусусиятдир. Когнитив самарадорлик стратегияси фикр-мулоҳазалар дарҳол ва оқибатлар пропорционал бўлган табиий муҳитда яхши ишлайди. Аммо хатолар кам учрайдиган, лекин ҳалокатли бўлган, фикр-мулоҳазалар кечиктириладиган ва оқибатлари асимметрик бўлган юқори хавфли технологик муҳитларда у фалокатли равишда муваффақиятсизликка учрайди.

Муҳит номувофиқлиги: Бу мойиллик мослашувчан бўлган муҳитлар замонавий технологик контекстлардан жуда фарқ қилади. Тош қуроллар билан ишлашда фойдали бўлган эвристика ядровий реакторлар, самолётлар ёки тиббий диагностикани бошқарадиган тизимларга қўлланганда хавфли бўлиб қолади. Бизнинг когнитив архитектурамиз ишончлилик-хавф парадоксини ҳал қилиш учун ривожланмаган: машина қанчалик ишончли бўлса, инсон хатоси шунчалик хавфли бўлиб қолади.

4. Бу мойиллик қандай намоён бўлади

4.1. Кундалик ҳаётда

• GPS навигацияси: Ҳайдовчилар йўналишларга зид бўлган визуал далилларга қарамай, кўлларга, ёпиқ йўлларга ёки ноқулай йўналишларга олиб борадиган GPS кўрсатмаларига амал қилишади. Навигация тизимининг авторитети бевосита сенсор кузатувини бекор қилади.

• Имлони текшириш ва грамматика воситалари: Ёзувчилар нотўғри автоматик тузатишларни ёки грамматика тавсияларини текширмасдан қабул қилиб, якуний ҳужжатларга хатолар киритадилар. Яшил белги тасдиқ муҳрига айланади.

• Ақлли уй қурилмалари: Шахсий қулайлик ёки уйнинг ўзига хос шароитларини ҳисобга олмасдан ақлли термостатнинг энергия тавсияларини қабул қилиш.

• Онлайн тавсиялар: Харидлар, ўйин-кулги ёки ижтимоий алоқалар учун алгоритм асосидаги тавсияларни нима учун ўзига хос вариантлар тақдим этилаётганини сўрамасдан, танқидсиз қабул қилиш.

• Калкуляторга қарамлик: Тахминий ҳисоблаш яққол хатоларни очиб бериши мумкин бўлган оддий ҳисоб-китоблар учун ҳам, натижанинг мантиқий эканлигини соғлом ақл билан текширмасдан калкулятор натижаларини қабул қилиш.

4.2. Иш жойида

• Электрон жадвалларга ортиқча ишониш: Excel дастуридаги формулалар натижаларини асосий ҳисоб-китобларни текширмасдан қабул қилиш, молиявий моделлар ва ҳисоботларда хатолар кўпайишига олиб келади.

• Автоматлаштирилган режалаштириш: Жамоа динамикаси, саёҳат вақти ёки индивидуал иш тартиблари каби инсоний омилларни ҳисобга олмайдиган, СИ томонидан яратилган жадвалларга амал қилиш.

• HR скрининг дастурлари: Ёллаш бўйича менежерлар тўлиқ автоматлаштирилган резюме скринингига таяниб, ёмон мос келувчи сифатида белгиланган малакали номзодларни ўтказиб юбориши ёки алгоритм маъқуллаган малакасиз номзодларни қабул қилиши.

• Ишлаш таҳлили: Ходимнинг ҳиссасини сифат жиҳатидан қамраб ололмайдиган автоматлаштирилган иш кўрсаткичларига ортиқча таяниш.

• Электрон почтани филтрлаш: Спам филтрлари уларни нотўғри тоифаларга ажратгани сабабли муҳим хабарларни ўтказиб юбориш ва филтрланган хабарларни вақти-вақти билан текширмаслик.

• Автоматлаштирилган ҳисоботлар: Тизим томонидан яратилган ҳисоботларни аномалиялар ёки хатолар учун кўриб чиқмасдан тарқатиш, "тизим шундай деганлиги" сабабли уларни аниқ деб ҳисоблаш.

4.3. Бизнес ва маркетингда

• Алгоритмик савдо: Молия фирмаларининг инсон назоратисиз савдо алгоритмларига таяниши флеш-ҳалокатларга (flash crashes) ва каскадли носозликларга олиб келади.

• Динамик нархлаш: Фавқулодда вазиятлар ёки таъминот узилишлари пайтида мижозларни бегоналаштирадиган ва бренд обрўсига путур етказадиган автоматлаштирилган нархларни белгиловчи компаниялар.

• Маркетингни автоматлаштириш: Демографик ёки хулқ-атвор триггерлари нотўғри ишлаганлиги сабабли ноўрин автоматлаштирилган хабарларни юбориш.

• Мижозларга хизмат кўрсатиш чатботлари: Бизнеслар ёрдам бермайдиган ҳалқаларда қолиб кетган ҳафсаласи пир бўлган мижозларни кузатмасдан, чатботлар билан ўзаро муносабатлар қониқарли деб тахмин қилиши.

• Инвентарни бошқариш: Чакана савдогарлар маҳаллий ўзгаришларни, мавсумий ўзгаришларни ёки бўлажак воқеаларни ҳисобга олмайдиган автоматлаштирилган қайта буюртма тизимларига ишониши.

• Фирибгарликни аниқлаш: Банклар ҳам фирибгарликни ўтказиб юбориши (қолдириб кетиш хатолари) ва қонуний транзакцияларни белгилаши (сохта ижобий натижалар кейинчалик кўриб чиқилмасдан қабул қилинади).

4.4. Сиёсат ва ОАВда

• Ижтимоий тармоқ алгоритмлари: Фуқароларнинг дунёқараши улар савол бермайдиган ёки тушунмайдиган контентни тавсия қилиш алгоритмлари орқали шаклланади.

• Фактларни текшириш воситалари: Журналистлар текширувсиз автоматлаштирилган фактчекингга таянади, бу эса хатоларни тарқатиши ёки нозик даъволарни ўтказиб юбориши мумкин.

• Сўровларни йиғиш: Сиёсий шарҳловчилар модел чекловлари ва тахминларга қарамай, алгоритмик сўров агрегаторларига нуфузли манба сифатида муносабатда бўлишади.

• Контентни модерация қилиш: Автоматлаштирилган контент модерацияси қарорларини тўғри деб қабул қилиш, қонуний сўз эркинлигини бостириш ёки зарарли контентни сақлаб қолишга имкон бериш.

• Сайлов технологияси: Сайловчилар ва расмийларнинг электрон овоз бериш ва ҳисоблаш тизимларига етарли текширув механизмларисиз ишониши.

• Башоратли полиция назорати: Ҳуқуқ-тартибот идоралари ресурсларни ҳақиқий хавфдан кўра тарихий мойилликларни акс эттириши мумкин бўлган алгоритмик башоратлар асосида жойлаштириши.

4.5. Соғлиқни сақлашда

• Клиник қарорларни қўллаб-қувватлаш тизимлари (CDSS): 2025 йилги клиник синов шуни кўрсатдики, "LLMнинг нотўғри тавсиялари автоматизацияга мойилликни келтириб чиқариш орқали шифокорларнинг диагностик кўрсаткичларини сезиларли даражада пасайтиради." Ҳатто эксперт шифокорлар ҳам ташхисларни галлюцинация қилган машиналарга таянишган.

• Электрон соғлиқни сақлаш ёзувлари: Ҳаддан ташқари тизим огоҳлантиришларидан келиб чиққан огоҳлантириш чарчоғи шифокорларни барча огоҳлантиришларни, шу жумладан муҳимларини ҳам рад этишга олиб келади. Ва аксинча, EHR тизимларининг тавсияларини клиник текширувсиз қабул қилиш.

• Тиббий тасвирлаш СИ: Радиологлар СИ томонидан белгиланган топилмаларни мустақил текширувсиз қабул қилиши ёки рад этиши, бунинг натижасида саратон касаллиги ўтказиб юборилиши ёки хавфсиз топилмаларга ортиқча ташхис қўйилиши мумкин.

• Дориларнинг ўзаро таъсирини текширувчилар: Фармацевтлар алоҳида беморнинг ҳолати ҳақида клиник хулоса чиқармасдан, автоматлаштирилган дориларнинг ўзаро таъсири ҳақидаги огоҳлантиришларни рад этиши ёки қабул қилиши.

• Ҳаётий кўрсаткичлар мониторлари: Ҳамширалар ва шифокорлар "нормал" автоматлаштирилган ҳаётий кўрсаткичларга зид бўлган клиник кузатувларни эътиборсиз қолдириши.

• Диагностик алгоритмлар: Беморнинг ҳолати инсон интуициясини талаб қиладиган атипик ҳолатни кўрсатса ҳам, алгоритмик диагностика йўлларига амал қилиш.

4.6. Молия ва инвестицияларда

• Робо-маслаҳатчилар: Инвесторлар шахсий шароитларни, хавф-хатарларга чидамлиликдаги ўзгаришларни ёки алгоритмлар қамраб олмаган ҳаётий воқеаларни ҳисобга олмасдан автоматлаштирилган портфель тавсияларига амал қилиши.

• Кредит скоринги: Кредиторлар шахсий шароитларни ёки кредит ҳисоботларидаги хатоларни ўрганмасдан, фақат автоматлаштирилган кредит баллари асосида аризаларни қабул қилиши ёки рад этиши.

• Хавфни баҳолаш моделлари: Молиявий институтларнинг 2008 йилги молиявий инқироз даврида ҳалокатли равишда муваффақиятсизликка учраган Value-at-Risk ва бошқа автоматлаштирилган риск моделларига ишониши.

• Алгоритмик савдо қарорлари: Индивидуал инвесторлар асосий стратегия ёки бозор конъюнктурасини тушунмасдан алгоритмик савдо сигналларини нусхалаши.

• Автоматлаштирилган молиявий режалаштириш: Инфляция, даромад ёки умр кўриш давомийлиги ҳақидаги тахминларни шубҳа остига олмасдан, дастурий таъминотдан пенсия прогнози ва жамғарма тавсияларини қабул қилиш.

• Фирибгарлик ҳақида огоҳлантиришлар: Тез-тез учрайдиган сохта ижобий натижалар туфайли ҳақиқий фирибгарлик огоҳлантиришларини эътиборсиз қолдириш ёки барча белгиланган транзакцияларни терговсиз фирибгарлик сифатида қабул қилиш.

5. Ҳаётдан олинган мисоллар

1-мисол: Патриот ракеталарининг дўстона олови (2003)

• Контекст: "Ироқ озодлиги" операцияси давомида АҚШ армиясининг Patriot ракета тизими қўлда бошқаришдан тортиб тўлиқ автоматлаштирилган турли режимларда ишлади. Ироқ баллистик ракеталаридан қўрқиш билан тавсифланган юқори хавфли муҳит, тизимнинг ҳужумга мойил тарзда созланишига олиб келди.

• Нима содир бўлди: Иккита машҳур "дўстона олов" ҳодисаси юз берди: Британия Қироллик Ҳарбий-ҳаво кучларининг Tornado GR4 ва АҚШ ҳарбий-денгиз кучларининг F/A-18 Hornet самолётлари уриб туширилди. Иккала экипаж ҳам ҳалок бўлди. Иккала ҳодисада ҳам Patriot радиолокация алгоритми дўст самолётни яқинлашиб келаётган радиацияга қарши ракета (ARM) сифатида нотўғри таснифлади.

• Мойилликнинг ишлаши: Тизим ўзининг нотўғри таснифини инсон операторларига факт сифатида тақдим этди. Операторлар бошқа параметрлар (ҳаво тезлиги, баландлик, дўст ёки душманни аниқлаш) ёрдамида нишонни текшириш учун сонияларга эга бўлсаларда, буни самарали бажара олмадилар. Мудофаа илмий кенгаши ҳисоботида аниқланишича, фойдаланувчилар "бошқача кўрсатадиган жиддий далилларга қарамай, жанг майдонидаги ҳақиқатдан кўра машинанинг ҳукмини афзал кўриб, тизим хатоларини ихтиёрий равишда қабул қилишган".

• Оқибатлар: Тўрт нафар ҳарбий хизматчи ҳалок бўлди. Ҳисобот шуни аниқладики, мойиллик нафақат индивидуал, балким институционал эди — операторлар тизимга ишонишга ўргатилган; технологияни ўраб турган "бенуқсонлик маданияти" "инсон ветоси" асосан назарий эканлигини англатарди.

• Олинган сабоқлар: Автоматизацияга мойиллик ўқитиш, маданият ва тизим дизайни орқали ташкилий жиҳатдан сингдирилиши мумкин. "Швейцария пишлоғи" модели инсон аралашувининг бир неча қатламлари бир вақтнинг ўзида қандай муваффақиятсизликка учраганини кўрсатди, чунки ҳар бири автоматизацияни тўғри деб тахмин қилди.

2-мисол: Буюк Британия почтасининг Horizon можароси (1999–2015)

• Контекст: Fujitsu томонидан ишлаб чиқилган Horizon IT тизими Буюк Британия почтасининг бухгалтерия ҳисобини бошқариш учун жорий қилинди. Деярли дарҳол, суб-почтамейстерлар ўз ҳисобларида тушунтириб бўлмайдиган камомадлар ҳақида хабар беришни бошладилар.

• Нима содир бўлди: Почта бўлими раҳбарияти ва Британия судлари "компьютерлар ишончли" деган қонуний презумпция асосида ишлади — бу автоматизацияга мойилликнинг кодланган шакли. Суб-почтамейстерлар тизим хато ишлаётганини даъво қилишганда, улар ўғирликда айбландилар. Юзлаб ҳалол фуқароларнинг кўрсатмалари Horizon журналлари фойдасига мунтазам равишда эътиборсиз қолдирилди.

• Мойилликнинг ишлаши: Компьютер натижаси инсон шубҳа қилиши мумкин бўлмаган муқаддас ҳақиқат сифатида қабул қилинди. "Автоматлаштирилмаган манбалардан олинган қарама-қарши маълумотлар" — инсон кўрсатмаси — ўзини оқлаш ёлғонлари ёки малакасизлик сифатида рад этилди. Менежерлар ва судьялар давомли, кўп йиллик автоматизацияга мойиллик (бажариш хатоси) содир этдилар.

• Оқибатлар: 700 дан ортиқ киши ноҳақ судланди, касодга учради ва қамалди. Оилалар бузилди, мансаблар барбод бўлди ва бир нечта суб-почтамейстерлар ўз жонига қасд қилишди. Кейинчалик тизим хатоларга тўла эканлиги исботланди. Бу Буюк Британия тарихидаги энг кенг тарқалган адолатсизлик ҳисобланади.

• Олинган сабоқлар: Автоматизацияга мойиллик фақатгина сониянинг бир улушидаги реакция эмас — у давомли ташкилий адашиш бўлиши мумкин. Компьютер ишончлилигини тахмин қиладиган ҳуқуқий ва институционал рамкалар, эътироз билдириш жуда қийин бўлган тизимли мойилликни яратади.

3-мисол: Air France 447-рейси (2009)

• Контекст: Атлантика океани узра учиб бораётган Airbus A330 самолётининг питот қувурлари (ҳаво тезлиги сенсорлари) муз кристаллари билан тиқилиб қолиб, парвоз компьютерини ҳақиқий тезлик маълумотларидан маҳрум қилди. Автопилот ўчирилиб, бошқарув кўп йиллик юқори автоматлаштирилган парвозларга ўрганиб қолган учувчиларга топширилди.

• Нима содир бўлди: Самолётни қулашдан сақлайдиган "парвоз конвертини ҳимоя қилиш"га ўрганиб қолган учувчилар, тўсатдан бу ҳимоялар бўлмаган "Муқобил қонун" (Alternate Law) режимига тушиб қолишди. Қарама-қарши сигналлардан (тўхтаб қолиш ҳақидаги огоҳлантириш 75 марта чалинган) чалкашиб кетган бошқарувчи учувчи бошқарув таёғини ўзига тортди — бу ҳимояланмаган парвоз режимларида самолётнинг қулашига олиб келадиган манёврдир.

• Мойилликнинг ишлаши: Экипаж автоматизация контексти тубдан ўзгарганига ишона олмасликдан азият чекди. Улар хом аэродинамик ҳақиқатни (самолёт қуллаётганини) эътиборсиз қолдиришди, чунки уларнинг ақлий модели нормал автоматлаштирилган ишга боғланган эди. АҚШ Федерал авиация маъмурияти (FAA) таҳлилида таъкидланганидек, экипаж "вазиятдан бехабар" эди ва "автоматизация нима жиннилик қилаётганини" тушуна олмади. Улар амалда автоматизация уларни қутқаришини кутишди — бу тўқнашувгача давом этган эвристик қарамлик.

• Оқибатлар: Бортдаги барча 228 киши ҳалок бўлди. Бу ҳалокат автоматизацияга мойилликнинг "автоматизация сюрпризи"га ва қўлда бошқаришга қайтиш қобилиятининг йўқолишига олиб келиши бўйича энг аниқ мисол бўлиб қолмоқда.

• Олинган сабоқлар: Автоматизацияга ортиқча таяниш қўлда бошқариш кўникмаларини шунчалик пасайтириши мумкинки, учувчилар автоматизация ишдан чиққанда вазиятни ўнглай олмайдилар. Одамлар когнитив жараёндан мунтазам равишда чиқариб ташланганда, "инсон захираси" деган тахмин нотўғридир.

Тарихий мисол: Станислав Петров (1983)

Автоматизацияга мойилликни тўлиқ тушуниш учун уни муваффақиятли енгиб ўтган кам учрайдиган ҳолатларни ўрганиш керак. 1983 йил 26 сентябрда Совет ядровий эрта огоҳлантириш тизими (Око) АҚШдан бешта қитъалараро баллистик ракета учирилганини хабар қилди.

Навбатчи офицер, подполковник Станислав Петров тревогани ёлғон деб баҳолади. Унинг мулоҳазаси контекстуал ва инсоний эди: "Одамлар уруш бошласа, уни фақат бешта ракета билан бошламайди." У шунингдек, янги сунъий йўлдош технологиясига ҳам ишонмасди. Петров бу огоҳлантиришни қўмондонлик занжири орқали юқорига узатишдан бош тортди ва эҳтимолий жавоб ядровий зарбасининг олдини олди.

Петровнинг муваффақияти унинг шубҳа ва соҳа экспертизасига боғлиқ эди — у сиёсий ва стратегик контекст (инсон разведкаси) сенсор маълумотларига (автоматлаштирилган разведка) зид эканлигини биларди. У Патриот операторлари фойдалана олмаган "инсон ветоси"дан фойдаланди. Бу ҳолат автоматизацияга мойилликни бузиш учун қарши чиқиш жасорати ва автоматлаштирилган натижалар қачон ҳақиқатга тўғри келмаслигини тан олиш учун соҳа билими кераклигини кўрсатади.

6. Бу мойилликнинг баҳоси

6.1. Шахсий харажатлар

• Танқидий фикрлашнинг емирилиши: Автоматлаштирилган тизимларга доимий бўйсуниш текшириш ва мустақил таҳлил қилишнинг когнитив мушакларини заифлаштиради. Вақт ўтиши билан одамлар автоматлаштирилган йўл-йўриқсиз ишлашга қодир бўлмай қоладилар.

• Экспертизанинг йўқолиши: Автоматлаштирилган воситаларга кўп таянадиган мутахассислар малака пасайишини бошдан кечиришлари мумкин. Камдан-кам ҳолларда қўлда учадиган учувчилар, ҳар доим СИ ёрдамидан фойдаланадиган радиологлар ва ҳеч қачон қўлда ҳисобламайдиган бухгалтерлар уларни эксперт қиладиган қобилиятларини йўқотадилар.

• Қарор фалажи: Автоматлаштирилган тизимлар ишламаётганда ёки мавжуд бўлмаганда, одамлар ўзларини қарор қабул қилишга қодир эмасдек ҳис қилишлари мумкин, бу эса муҳим пайтларда фалажликка олиб келади.

• Сохта ишонч: Автоматлаштирилган натижаларга ишониш кафолатланмаган аниқлик ҳиссини яратади ва автоматизация нотўғри бўлган сценарийларга тайёргарлик кўрмасликка олиб келади.

• Муносабатларнинг кескинлашиши: Шахсий контекстларда автоматлаштирилган тавсияларга (танишув иловалари, ижтимоий медиа тавсиялари) ортиқча таяниш ҳақиқий инсоний мулоҳаза ва алоқанинг ўрнини босиши мумкин.

6.2. Касбий харажатлар

• Касбий жавобгарлик: Автоматлаштирилган тавсияларга амал қилиб хатоларга йўл қўйган мутахассислар интизомий жазога, нотўғри даволаш бўйича суд даъволарига ёки жиноий жавобгарликка тортилиши мумкин — бунга СИ томонидан ўйлаб топилган (галлюцинация) ҳуқуқий прецедентларни келтиргани учун санкцияларга дуч келган Мата ва Авианка ишидаги ҳуқуқшунослар мисол бўла олади.

• Обрўга путур етиши: Автоматизациядан келиб чиқадиган носозликлар (Буюк Британия почтаси каби) билан танилган ташкилотлар ишга қабул қилиш, ҳамкорлик ва жамоатчилик ишончига таъсир қилувчи узоқ муддатли обрўга путур етказади.

• Кўникмаларнинг атрофияси: Бутун касбий жамоалар автоматизация мунтазам ҳолатларни кўриб чиқаётгани сабабли жамоавий малака пасайишини бошдан кечиришлари мумкин, бу эса амалиётчиларни мураккаб ёки ғайриоддий вазиятларга тайёр эмас ҳолда қолдиради.

• Инновацияларнинг тўхтаб қолиши: "Тизим қандай ишлашига" ҳаддан ташқари ишониш мутахассисларга жараёнларни шубҳа остига қўйиш ёки яхшиланишни ривожлантиришга тўсқинлик қилиши мумкин.

• Ёмон натижалар: Тиббий нотўғри ташхислар, ноҳақ судланишлар, молиявий йўқотишлар ва тўғридан-тўғри автоматизацияга мойиллик туфайли келиб чиқадиган операцион носозликлар.

6.3. Жамият харажатлари

• Тизимли хавфнинг тўпланиши: Бутун саноат тармоқлари автоматлаштирилган тизимларга бўйсунганда, хатолар мустақил эмас, балки ўзаро боғлиқ бўлиб қолади. Битта алгоритмик хато бир вақтнинг ўзида бутун сектор бўйлаб тарқалиши мумкин.

• Демократик емирилиш: Сиёсий дискурс, контент кўриниши ва маълумотлардан фойдаланишни шакллантирувчи алгоритмик тизимлар — савол-жавобсиз қабул қилинганда — хабардор демократик иштирокка путур етказиши мумкин.

• Адолат тизимининг коррупциялашуви: Компьютер ишончлилигини тахмин қилувчи ҳуқуқий тизимлар (Horizon можаросида бўлгани каби) одамлар учун эътироз билдириш деярли мумкин бўлмаган таркибий адолатсизликни яратади.

• Хавфсизликнинг пасайиши: Автоном транспорт воситалари, автоматлаштирилган ҳаво ҳаракатини бошқариш ва бошқа муҳим тизимларнинг асоси бўлган "инсон захираси" хавфсизлиги тахмини тубдан нотўғри. Одамлар узоқ пассив мониторинг давомида ҳушёрликни сақлай олмайдилар.

• Иқтисодий бузилишлар: Флеш-ҳалокатлар, алгоритмик каскадлар ва ўзаро боғлиқ хатоларни амалга оширадиган автоматлаштирилган тизимлар иқтисодий беқарорликни келтириб чиқариши мумкин.

6.4. Статистик таъсир

• Авиация: Тадқиқотлар шуни кўрсатадики, автоматлаштирилган ёрдамчиларга эга учувчилар тизимдаги аномалияларни қўлда кузатаётганларга қараганда сезиларли даражада кўпроқ ўтказиб юборишади. Air France 447 экипажи 75 та тўхтаб қолиш ҳақидаги огоҳлантиришни эътиборсиз қолдирган.

• Соғлиқни сақлаш: Тадқиқотлар шуни кўрсатадики, СИнинг нотўғри тавсиялари шифокорнинг диагностика аниқлигини сезиларли даражада пасайтиради. Огоҳлантириш чарчоғи клиницистларни автоматлаштирилган огоҳлантиришларнинг 49-96% ни эътиборсиз қолдиришига олиб келади.

• Хотирани бузиб кўрсатиш: Автоматизацияга мойилликка учраган учувчиларнинг 67 фоизи кейинчалик воқеаларнинг сохта хотираларини намойиш этди, бу эса бахтсиз ҳодисаларни ўрганиш ва сабоқ олишни қийинлаштирди.

• Ҳуқуқий: Horizon можароси 700 дан ортиқ ноҳақ судланишга олиб келди — бу Буюк Британия тарихидаги энг йирик адолатсизликдир.

• Ҳарбий: Ироқдаги "дўстона олов" ҳодисалари қарама-қарши жиддий далилларга қарамай, тизим хатоларини қабул қилишга тайёрлигини кўрсатди.

7. Яширин фойдалар

Автоматизацияга мойиллик фақатгина салбий эмас — унинг асосидаги когнитив механизм муҳим мақсадларга хизмат қилган:

• Когнитив самарадорлик: Когнитив вазифаларни ишончли ташқи манбаларга топшириш қобилияти бошқа муаммолар учун ақлий ресурсларни бўшатади. Автоматизация тўғри бўлганда (бу кўпинча шундай), унинг натижасини қабул қилиш ҳақиқатан ҳам самаралидир.

• Изчиллик: Автоматлаштирилган тизимлар бир хил мезонларни бир хилда қўллайди. Уларга бўйсуниш инсоннинг ўзгарувчанлигини ва қарор қабул қилишдаги айрим мойилликларни камайтириши мумкин.

• Тезлик: Вақт муҳим бўлган вазиятларда автоматлаштирилган тавсияларни узоқ текширувсиз тезда қабул қилиш қобилияти ҳаётни сақлаб қолиши мумкин — агар автоматизация тўғри бўлса.

• Экспертизани кенгайтириш: Автоматизация номутахассисларга кодланган тажрибадан фойдаланиш имконини беради. Клиник қарорларни қўллаб-қувватлашдан фойдаланадиган ёш клиницист мутахассислар ўнлаб йиллар давомида эгаллаган билимларга эга бўлиши мумкин.

• Хавотирнинг камайиши: Ноаниқ вазиятларда автоматлаштирилган тавсияга эга бўлиш қарор қабул қилишдаги ташвиш ва когнитив юкни камайтириши мумкин, ҳатто қарор сифати ўзгармаган бўлса ҳам, фаровонликни яхшилайди.

• Масштаб: Кўпгина замонавий тизимлар шунчаки одамлар автоматлаштирилган натижаларни қабул қилмасдан ишлай олмайди. Ҳар бир электрон почтани спам учун, ҳар бир молиявий транзакцияни фирибгарлик учун ёки ҳар бир ижтимоий тармоқдаги постни қоидабузарликлар учун инсон томонидан кўриб чиқиш мумкин эмас.

Муроса аниқ: автоматизацияга мойиллик фақат (1) автоматизация нотўғри бўлганда, (2) хавф юқори бўлганда ва (3) инсон хатони пайқай олганда муаммога айланади. Автоматизацияга мойилликни тўлиқ бартараф этиш имконсиз ва номақбул бўлар эди — бу автоматизациянинг афзалликларини инкор этадиган имконсиз ҳушёрликни талаб қилади. Мақсад — ноль ишонч эмас, балки калибрланган ишончдир.

8. Ўзини баҳолаш: Сизда шу мойиллик борми?

8.1. Огоҳлантирувчи белгилар текширув рўйхати

• Мен кўпинча GPS йўналишларини менинг манзилим учун мантиқий эканлигини текширмасдан қабул қиламан
• Мен имло ва грамматика воситаларининг тавсияларини кўриб чиқмасдан уларга ишонаман
• Калкулятор жавоб берганда, мен камдан-кам ҳолларда унинг мантиқийлигини тахмин қиламан
• Мен қидирув тизимларининг биринчи саҳифасидаги натижаларни нима учун шундай жойлашганини ўйламасдан қабул қиламан
• Мен текширмаганим учун нотўғри бўлиб чиққан автоматлаштирилган тавсияларга амал қилганман
• Дастур хатолик ҳақида хабар берганда, мен нима нотўғри кетгани ҳақида дастур ҳақ деб тахмин қиламан
• Одатий автоматлаштирилган воситаларим мавжуд бўлмаганда вазифаларни бажаришда қийналаман
• Ўз фикрим бошқача бўлса ҳам, автоматлаштирилган тавсияларни бекор қилишда ўзимни ноқулай ҳис қиламан
• Мен ёмон натижани "аммо тизим шундай қилишни айтди" деб оқлаганман
• Мен СИ чатботларининг натижаларига уларнинг даъволарини фактчекинг қилмасдан ишонаман

Баҳолаш:

• 0-2 белгиланган: Паст даражадаги мойиллик
• 3-5 белгиланган: Ўртача мойиллик
• 6-8 белгиланган: Юқори мойиллик
• 9-10 белгиланган: Жуда юқори мойиллик

8.2. Ўз-ўзини таҳлил қилиш учун саволлар

1. Автоматлаштирилган тавсия асосида яқинда қабул қилган қарорингизни эсланг. Ҳаракат қилишдан олдин бу тавсиянинг бирор жиҳатини текширдингизми? Нега ҳа ёки нега йўқ?

2. Автоматизация нотўғри бўлган, аммо сиз барибир унга амал қилган вақтингизни эслай оласизми? Ўзингизнинг ҳукмингизга ишонишингизга нима тўсқинлик қилди?

3. ChatGPT каби СИ воситаларидан фойдаланганда, тақдим этилган маълумотларнинг тўғрилигини қандай текширасиз? Ҳеч қачон хатони пайқаганмисиз?

4. Агар асосий автоматлаштирилган воситаларингиз (GPS, имло текширгич, қидирув тизимлари, калкуляторлар) бир ҳафта давомида ишламаса, иш жараёнингиз қандай ўзгарарди?

5. Ҳамкасблар, дўстлар ёки оила аъзолари ўзингиз қабул қилишингиз мумкин бўлган қарорлар учун технологияга ортиқча таянишингизни ҳеч таъкидлашганми?

8.3. Тезкор диагностика сценарийси

Сценарий: Сиз муҳим ҳисоботни тайёрлашга ёрдам бериш учун СИ ёрдамчисидан фойдаланяпсиз. СИ сизнинг далилингизни мукаммал қўллаб-қувватлайдиган статистик маълумотни тақдим этади: "Тадқиқотлар шуни кўрсатадики, ушбу ёндашувни қўллаган ташкилотларнинг 78 фоизи натижаларда 40 фоиз яхшиланишни кўрди." Бу статистика ҳақиқатга ўхшайди ва сизнинг ҳикоянгизга жуда мос келади. Сизда вақт тиғиз.

Сиз қандай жавоб берардингиз?

• A) Статистикани тўғридан-тўғри киритиш — бу ишончли эшитилади ва СИ илгари ҳам ишончли бўлган → Юқори мойиллик
• B) Статистикани киритиш, лекин текширувсиз "тадқиқотлар шуни кўрсатадики" каби эҳтиёткор ибораларни қўшиш → Ўртача мойиллик
• C) Статистикани киритишдан олдин уни текшириш учун асл манбани қидириш, муддатни қайта кўриб чиқишга тўғри келишини қабул қилиш → Паст мойиллик

9. Бошқаларда бу мойилликни аниқлаш

9.1. Хулқ-атвор кўрсаткичлари

Нутқдаги кузатиладиган белгилар:

• Кўпинча "тизим шундай дейди" ёки "алгоритм тавсия қилади" деган сўзларни асос сифатида келтириш
• Автоматлаштирилган тавсияларни бекор қилиш сўралганда ноқулайлик билдириш
• Ўз экспертизаси доирасидаги қарорлар учун ҳам "компьютер нима дейишини кўрайлик" дейишга ўтиш

Қарор қабул қилишдаги шакллар:

• Автоматлаштирилган тавсияларга изчил равишда саволсиз амал қилиш
• Автоматлаштирилган воситалар мавжуд бўлмаганда қарор қабул қилишда қийналиш
• Ўзларининг текшириш жараёнини ўрганиш ўрнига тизим хатоларини айблаш

Тана тили ишоралари:

• Ҳатто юзма-юз муҳокамалар пайтида ҳам тасдиқлаш учун экранларга юзланиш
• Автоматлаштирилган маслаҳатга қарши ҳаракат қилиш сўралганда жисмоний таранглик
• Автоматлаштирилган тизимлар уларнинг қарорларини тасдиқлаганда хотиржамлик

Суҳбатлардаги такрорланадиган мавзулар:

• Технологиянинг аниқлигига юқори ишонч билдириш
• Автоматизация хатолари ҳақидаги хавотирларни кам учрайдиган ҳолатлар сифатида камайтириш
• "Объектив" алгоритмларга қараганда инсон ҳукмини "нохолис" деб рад этиш

9.2. Суҳбатдаги қизил байроқлар

Ушбу мойиллик таъсирида одамлар айтадиган иборалар:

• "Компьютер хато қилмайди"
• "Мен шунчаки тизим тавсия қилган нарсага амал қиляпман"
• "Маълумотлар шуни кўрсатадики..." (маълумотларни текширмасдан)
• "Нима учун СИга шубҳа қилишим керак? У миллионлаб мисолларда ўқитилган"
• "Бу тўғри бўлиши керак — натижа қанчалик ишончли эканлигини кўринг"

Улар келтирадиган далил турлари:

• Тизимнинг ўтмишдаги ишончлилигини жорий аниқликнинг далили сифатида мурожаат қилиш
• Қарама-қарши маълумотларни "аномалиялар" ёки "фойдаланувчи хатоси" сифатида рад этиш
• Автоматизация натижаларини эҳтимолий тахминлар эмас, балки объектив фактлар сифатида кўриш

Улар беришдан қочадиган саволлар:

• "Бу тизимнинг чекловлари қандай?"
• "Қандай ҳолатларда бу тавсия нотўғри бўлиши мумкин?"
• "Агар менда ушбу автоматлаштирилган восита бўлмаганда қандай қарор қабул қилардим?"

9.3. Вазиятли триггерлар

Бу мойилликни фаоллаштирадиган ҳолатлар:

• Текширишни рағбатлантирмайдиган вақт босими
• Бир нечта вазифалардан келиб чиқадиган юқори когнитив юк
• Чарчоқ ёки қарор қабул қилишдан чарчаш
• Текшириш махсус билимларни талаб қилганда
• Ўтмишда автоматизация ишончли бўлганда

Муҳит омиллари:

• Автоматизация ва самарадорликни нишонлайдиган иш жойи маданияти
• Мулоҳаза юритишдан кўра тартиб-қоидаларга риоя қилишни таъкидлайдиган ўқув дастурлари
• Автоматизация қачон нотўғри бўлганлигини кўрсатадиган фикр-мулоҳаза ҳалқаларининг йўқлиги
• Ишончлилик даражаси ҳақида шаффофликсиз ишлаб чиқилган тизимлар

Заифликни оширадиган ҳиссий ҳолатлар:

• Стресс ва ташвиш (аниқликни излаш)
• Толиқиш (когнитив енгилликни излаш)
• Импостер синдроми (ўзидан кўра "эксперт" тизимларга ишониш)
• Қулайлик ва хотиржамлик (ишлар яхши кетмоқда)

Мойилликни кучайтирадиган ижтимоий контекстлар:

• Автоматизацияга шубҳа қилиш ишларни секинлаштирадигандек туюладиган гуруҳ шароитлари
• Автоматизация менежмент қарорларини ифодаловчи иерархиялар
• Автоматизация "энг яхши амалиёт" сифатида кўриладиган касбий контекстлар

Уни ёмонлаштирадиган вақт босимлари:

• Текшириш учун вақт бермайдиган муддатлар
• Реал вақтдаги қарорлар (савдо, тиббий фавқулодда вазиятлар, авиация)
• Индивидуал кўриб чиқиш амалий бўлмаган юқори ҳажмли қайта ишлаш

10. Когнитив мойилликни бартараф этиш стратегиялари

10.1. Тезкор усуллар

Автоматлаштирилган тавсияларни қабул қилишдан олдин тезкор ақлий текширувлар:

• "Бу натижа ҳидлаш тестидан ўтадими?" Тавсия интуитив равишда мантиқий эканлигини ўйлаб кўриш учун тўхтанг.
• "Хато қилишнинг нархи қанча?" Юқори хавфлар кўпроқ текширишни оқлайди.
• "Бу тизим яхши бажара оладиган нарсами?" Автоматизациянинг соҳавий чекловлари бор.

Ўзингизга бериладиган саволлар:

• "Мен бу автоматизациясиз қандай қарор қабул қилардим?"
• "Бу тавсияга қандай далиллар зид келади?"
• "Тизимнинг ишонч даражаси қандай ва у ноаниқликни ифодалайдими?"
• "Автоматлаштирилган тавсияни охирги марта қачон текширган эдим?"

Мойилликни бузиш учун нақшни тўхтатиш:

• Қабул қилишдан олдин автоматизациянинг нотўғри бўлиши мумкин бўлган битта сабабини овоз чиқариб айтинг
• Давом этишдан олдин битта муқобил манбани текширинг
• Тавсия олиш ва ҳаракат қилиш ўртасида қисқа "совиш" даврини жорий қилинг
• Қарорни кўриб чиқиш учун жисмонан экрандан юз ўгиринг

Оддий бош бармоқ қоидалари:

• 5 сония қоидаси: Қабул қилишдан олдин муқобил вариантларни кўриб чиқиш учун камида 5 сония вақт ажратинг
• "100x оқибат" қоидаси: Агар хато қилиш текшириш саъй-ҳаракатларидан 100 баравар кўпроққа тушса, текширинг
• "Скептикка тушунтириш" қоидаси: Сиз бу қарорни автоматизацияга ишонмайдиган одамга ҳимоя қила оласизми?

10.2. Узоқ муддатли стратегиялар

Вақт ўтиши билан шакллантириладиган одатлар:

• Кўникмаларни сақлаб қолиш учун вазифаларни мунтазам равишда автоматлаштирилган ёрдамсиз машқ қилинг
• Ўзингиз ушлаган автоматизация хатоларининг журналини юритинг (бу янглишиш эҳтимолини яққол кўрсатади)
• Тасодифий танланмани текшириш орқали автоматлаштирилган тавсияларни вақти-вақти билан аудит қилинг
• Текширувни ихтиёрий деб ҳисоблаш ўрнига, стандарт иш оқимига киритинг

Талаб қилинадиган фикрлаш тарзини ўзгартириш:

• Автоматизацияга "ҳақиқат двигатели" эмас, балки "эҳтимоллик баҳоловчиси" сифатида қаранг
• Тегишли шубҳани ишончсизлик эмас, балки профессионаллик сифатида қабул қилинг
• Инсоннинг роли автоматизация муваффақиятсизликка учраган ҳолатларни ҳал қилиш эканлигини тан олинг
• Текшириш беҳуда сарфланган куч эмас, балки қадрли эканлигини қабул қилинг

Жорий қилинадиган тизимлар ва жараёнлар:

• Автоматлаштирилган ҳаракатлардан олдин мустақил текширувни талаб қиладиган текширув рўйхатларини яратинг
• Кимдир автоматизация хатоларини топиш вазифасини бажарадиган "қизил жамоа" жараёнларини ўрнатинг
• Дастлабки инсоний баҳолашдан сўнг автоматизация тавсиялари олинадиган иш оқимларини лойиҳаланг
• Фойдаланувчиларга автоматизация қачон нотўғри бўлганлигини маълум қилувчи фикр-мулоҳаза ҳалқаларини яратинг

Амалиёт қилиш ва кучайтириш учун кўникмалар:

• Соҳа экспертизаси (ақлга сиғмайдиган натижаларни таний олишингиз учун)
• Ақлий баҳолаш ва соғлом ақл билан текшириш
• Манбаларни текшириш ва тадқиқот кўникмалари
• Метакогниция — ўзингизнинг когнитив жараёнларингиздан хабардорлик

10.3. Муҳит дизайни

Бу мойилликни камайтириш учун муҳитни қандай ташкил қилиш керак:

• Автоматизацияни ноаниқликни (эҳтимоллик диапазонлари, ишонч интерваллари) ифодалаш учун созланг
• Ишлатишдан олдин чекловларни тан олишни талаб қиладиган интерфейсларни лойиҳаланг
• Автоматлаштирилган маслаҳат ва ҳаракат ўртасида жисмоний ёки вақтинчалик ажратишни яратинг
• Автоматизация хатоларини топишни нишонлайдиган ташкилий нормаларни ўрнатинг

Ёрдам берадиган жисмоний ўзгаришлар:

• Автоматлаштирилмаган муқобилларга (жисмоний хариталар, калкуляторлар) киришни сақланг
• Иш жойларида автоматизация чекловлари ҳақида эслатмаларни кўрсатинг
• Текшириш ресурсларини осон кириш мумкин бўлган жойда сақланг

Мойилликка қарши турувчи ижтимоий тузилмалар:

• Муҳим автоматлаштирилган қарорлар учун ўзаро кўриб чиқишни ўрнатинг
• Автоматизацияга шубҳа қилиш учун психологик хавфсизликни яратинг
• Одамлар автоматизация хатоларини топган ҳолатларни тан олинг ва мукофотланг
• Автоматизациядаги муваффақиятсизликлар ҳақидаги ҳикояларни ўрганиш имконияти сифатида баҳам кўринг

Ундан ҳимоя қилувчи ахборот тизимлари:

• Иккилик огоҳлантиришлар ўрнига эҳтимолликни кўрсатадиган Эҳтимоллик Огоҳлантириш Дисплейлари (LAD)
• Кейинги таҳлил учун инсоннинг автоматизацияни бекор қилишларини қайд этувчи тизимлар
• Автоматизацияни қабул қилишда фойдаланувчиларга уларнинг муваффақият/хато кўрсаткичи ҳақида хабар берувчи фикр-мулоҳаза тизимлари
• Автоматизация аниқлик даражасини кўрсатадиган бошқарув панеллари

10.4. Қачон ташқи фикрни сўраш керак

Бошқалар билан маслаҳатлашишингиз керак бўлган қарор турлари:

• Юқори хавфли қарорлар (молиявий, тиббий, ҳуқуқий, хавфсизлик билан боғлиқ)
• Экспертиза доирангиздан ташқаридаги қарорлар
• Автоматизация интуициянгизга зид бўлса, лекин сиз иккилансангиз
• Сиз автоматизацияни ҳеч қачон текширмаган такрорий қарорлар

Кимдан ёрдам сўраш керак:

• Автоматизациянинг чекловларини тушунадиган соҳа мутахассислари
• Автоматизациядаги муваффақиятсизликларни бошдан кечирган ҳамкасблар
• Тавсияга қарши чиқадиган скептиклар
• Автоматлаштирилган қарорда манфаати бўлмаган мустақил томонлар

Фикр-мулоҳаза сўровларини қандай шакллантириш керак:

• "Тизим X ни тавсия қилмоқда. Буни стресс-тестдан ўтказишга ёрдам бера оласизми?"
• "Бу автоматлаштирилган натижани қабул қилишдан олдин нимани текширишим керак?"
• "Мана автоматизация нима дейди — бу сизнинг мустақил баҳоингизга мос келадими?"

Ташқи истиқболга муҳтожлигингиз белгилари:

• Сиз узоқ вақт давомида автоматлаштирилган тавсияларни текширувсиз қабул қилгансиз
• Жорий қарорнинг хавфи одатдагидан юқори
• Сиз тавсиядан хавотирдасиз, лекин сабабини тушунтириб бера олмайсиз
• Автоматизация янги вазиятга қўлланмоқда

11. Амалий машқлар

1-машқ: Текшириш чақириғи

• Мақсад: Автоматлаштирилган натижаларни текшириш одатини шакллантириш
• Талаб қилинадиган вақт: 2 ҳафта давомида кунига 10 дақиқа
• Керакли материаллар: Одатий автоматлаштирилган воситаларингиз (GPS, қидирув тизими, имло текширгич, калкулятор)
• Қийинчилик даражаси: Бошланғич
• Кўрсатмалар:
  1. Ҳар куни сиз оладиган 3 та автоматлаштирилган тавсияни аниқланг
  2. Ҳар бири учун мустақил манбадан фойдаланиб натижани текширишга 2 дақиқа ажратинг
  3. Автоматизация тўғри, қисман тўғри ёки нотўғри эканлигини қайд этинг
  4. Текшириш қанча вақт олганини ва хатони тузатишга қанча вақт сарфлаган бўлишингизни солиштиринг
  5. Ҳафта охирида автоматизациянгизнинг ҳақиқий аниқлик даражасини ҳисобланг
• Мулоҳаза учун саволлар:
  • Автоматизация қанчалик тез-тез нотўғри ёки қисман нотўғри бўлди?
  • Қайси турдаги тавсиялар энг ишончли эди? Энг кам ишончлилари қайси?
  • Текшириш саъй-ҳаракатларингиз хатоларнинг эҳтимолий нархига қандай солиштирилади?
• Частотаси: 2 ҳафта давомида ҳар куни, кейин ҳафталик тасодифий текширувлар

2-машқ: Қўлда бажариш ҳафтаси

• Мақсад: Мустақил қарор қабул қилиш қобилиятингиз билан қайта алоқа ўрнатиш
• Талаб қилинадиган вақт: Бир ҳафта
• Керакли материаллар: Одатий автоматлаштирилган воситаларингизга муқобиллар (жисмоний хариталар, қўлда ҳисоблаш, матнни ўқиб текшириш кўникмалари)
• Қийинчилик даражаси: Ўртача
• Кўрсатмалар:
  1. Сиз кўп таянадиган битта автоматлаштирилган воситани танланг
  2. Ундан бир ҳафта давомида фойдаланмасликка (ёки фақат захира сифатида фойдаланишга) қарор қилинг
  3. Ўз ҳукмингиз ва кўникмаларингиздан фойдаланиб вазифаларни қўлда бажаринг
  4. Тажриба ҳақида ҳар куни журнал юритинг — нима қийинроқ, нима осонроқ бўлди
  5. Ҳафта охирида қандай қобилиятларни сақлаб қолганингиз ва нималарни йўқотганингиз ҳақида ўйлаб кўринг
• Мулоҳаза учун саволлар:
  • Қайси вазифаларни автоматизациясиз мукаммал бажара олдингиз?
  • Қаерда автоматизация ёрдамини ҳақиқатан ҳам соғиндингиз?
  • Ўз ҳукмингизга бўлган ишончингиз қандай ўзгариб борди?
• Частотаси: Ҳар чоракда, турли воситаларни алмаштириб

3-машқ: Олдиндан қарор қилиш усули

• Мақсад: Дастлаб мустақил ҳукм чиқариш орқали бажариш хатоларини камайтириш
• Талаб қилинадиган вақт: Ҳар бир қарор учун 5 дақиқа
• Керакли материаллар: Қоғоз ёки қайдлар иловаси
• Қийинчилик даражаси: Илғор
• Кўрсатмалар:
  1. Автоматлаштирилган воситага мурожаат қилишдан олдин дастлабки фикрингизни ёзинг
  2. Ишонч даражангизни (паст/ўрта/юқори) қайд этинг
  3. Қарорингизни қандай маълумотларга асослаётганингизни ҳужжатлаштиринг
  4. Шундан сўнгина автоматизацияга мурожаат қилинг
  5. Ўз ҳукмингизни автоматлаштирилган натижа билан солиштиринг — мос келиши ва келишмовчиликларни ёзинг
• Мулоҳаза учун саволлар:
  • Мустақил қарорингиз қанчалик тез-тез автоматизация билан мос тушди?
  • Сиз рози бўлмаганингизда, ким кўпроқ ҳақ эди?
  • Биринчи навбатда қарор қилиш автоматлаштирилган натижага муносабатингизни қандай ўзгартирди?
• Частотаси: Барча муҳим қарорлар учун

Кундалик амалиёт

"5 сониялик танаффус"

Ҳар қандай автоматлаштирилган тавсияни қабул қилишдан олдин 5 сония тўхтаб, шундай сўранг: "Бу нотўғри бўлиши учун бирор сабаб борми?" Қисқа кечикиш автоматик қабул қилиш реакциясини тўхтатади ва танқидий баҳолаш учун жой яратади.

• Тавсия этилган давомийлик: Ҳар бир автоматлаштирилган маълумот учун 5 сония
• Куннинг энг яхши вақти: Кун давомида узлуксиз
• Жараённи қандай кузатиш керак: Олинган танаффусларни ҳисоблаб боринг; танаффус сизни шубҳа қилишга ёки текширишга олиб келган ҳолатларни қайд этинг

Ҳафталик чақириқ

Скептик аудити

Ҳар ҳафта ҳаётингизда автоматизацияга (GPS, электрон почта филтрлари, қидирув рейтинглари, СИ ёрдами) кўп таянадиган битта соҳани танланг. Шу ҳафтадаги 5-10 та автоматлаштирилган қарорнинг тизимли аудитини ўтказинг.

• 4 ҳафтадан кейин кутилаётган натижалар: Автоматизациянгиз қаерда ишончли ва қаерда янглишиши мумкинлиги ҳақида калибрланган тушунча; текшириш одатларининг яхшиланиши; кўр-кўрона ишончнинг пасайиши
• Мулоҳаза учун журнал саволлари:
  • "Бу аудит автоматизация аниқлиги ҳақидаги қайси тахминга шубҳа уйғотди?"
  • "Агар бу тавсиянинг тўғрилигига пул тикишим керак бўлса, қанча тикардим?"
  • "Мен топган хатоларни аниқлайдиган кундалик тартибимга қандай текшириш босқичини қўшишим мумкин?"

12. Махсус аудиториялар учун

Раҳбарлар ва менежерлар учун

Бу мойиллик етакчилик самарадорлигига қандай таъсир қилади:

• Автоматлаштирилган таҳлилларни танқидсиз қабул қиладиган раҳбарлар жойлардаги муҳим ҳақиқатларни ўтказиб юбориши мумкин
• Автоматлаштирилган иш кўрсаткичлари жамоа соғлиғи ҳақида сохта ишонч яратиши мумкин
• Алгоритмик прогнозировка асосидаги стратегик қарорлар мисли кўрилмаган шарт-шароитларни ҳисобга олмаслиги мумкин

Ташкилий контекстлар учун махсус стратегиялар:

• Автоматлаштирилган тавсияларни оммавий равишда шубҳа остига қўйиш орқали тегишли скептицизмни намуна қилинг
• Ходимлар автоматизацияга эътироз билдиришлари учун психологик хавфсизликни яратинг
• "Тизим тавсия қилди" деб тарқалиб кетмайдиган аниқ жавобгарликни ўрнатинг
• Фақат воситани билишни эмас, балки мулоҳаза юритишни таъкидлайдиган тренингларга сармоя киритинг

Жамоага асосланган аралашувлар:

• Автоматизацияга шубҳа қилиш учун махсус "иблиснинг адвокати" ролларини жорий қилинг
• Юқори хавфли автоматлаштирилган тавсияларни қабул қилишдан олдин бир нечта мустақил баҳолашни талаб қилинг
• Автоматизациядаги муваффақиятсизликлар ҳақидаги ҳикояларни жамоавий йиғилишларда ўрганиш имконияти сифатида баҳам кўринг
• Жамоа аъзолари автоматизация хатоларини тутган ҳолатларни нишонланг

Жорий қилинадиган қарор қабул қилиш жараёнлари:

• Пре-мортем: "Агар бу автоматлаштирилган тавсия фалокатга олиб келса, нима нотўғри кетган бўларди?"
• Қизил жамоа (Red teaming): Автоматлаштирилган тавсияга қарши баҳслашиш учун кимдирни тайинланг
• Калибрлаш сессиялари: Ўтмишдаги автоматлаштирилган башоратларни ҳақиқий натижалар билан солиштиринг

Ота-оналар ва ўқитувчилар учун

Болаларга бу мойиллик ҳақида қандай ўргатиш керак:

• Компьютерлар фойдали воситалар эканлигини, лекин ҳар доим ҳам ҳақ эмаслигини тушунтиринг
• Ёшга мос мисоллардан фойдаланинг (имло текширувидаги хатолар, GPS хатолари)
• Соғлом скептицизмни ишончсизлик эмас, балки ақлнинг белгиси сифатида тушунтиринг

Ёшга мос тушунтиришлар:

• Ёш болалар (5-8 ёш): "Компьютерлар баъзи нарсаларда ақлли, лекин баъзан кулгили хатолар қилиши мумкин. Ҳар доим текшириб кўр!"
• Каттароқ болалар (9-12 ёш): "Иловалар ва веб-сайтлар бизга ёрдам бериш учун дастурлардан фойдаланади, лекин бу дастурлар ҳамма нарсани билмайди. Келинг, ўзимиз ҳам ўйлаб кўрайлик."
• Ўсмирлар: "СИ ва алгоритмлар кучли, лекин уларнинг чекловлари бор. Ақлли бўлиш, уларга қачон ишонишни ва қачон текширишни билишни англатади."

Ёш онглар учун олдини олиш стратегиялари:

• Калкулятордан фойдаланиш билан бирга ҳисоблаш амалиётини рағбатлантиринг
• Болалардан автоматлаштирилган ёрдамчилардан фойдаланишдан олдин вазифаларни ўзлари бажариб кўришларини сўранг
• Янгиликларда ва кундалик ҳаётда технологиянинг нотўғри бўлган мисолларини муҳокама қилинг
• Ота-она сифатида текшириш хулқ-атворига намуна бўлинг

Синф ёки уй учун машғулотлар:

• Калкулятор натижалари, GPS йўналишлари ёки СИ томонидан яратилган контент билан "Хатони топ" ўйинлари
• Автоматлаштирилган қидирув натижаларини текширишни талаб қиладиган тадқиқот лойиҳалари
• СИ санъати, ёзувлари ёки тавсияларини танқидий баҳолаш

Соғлиқни сақлаш мутахассислари учун

Бу мойилликнинг клиник оқибатлари:

• Клиник қарорларни қўллаб-қувватлашга ортиқча таяниш нотўғри ташхисга олиб келиши мумкин
• Огоҳлантириш чарчоғи хавфли даражада кам таянишни (эътиборсизликни) келтириб чиқаради
• СИ диагностика воситалари атипик ҳолатларда ёмон ишлаши мумкин

Беморлар билан мулоқот қилиш стратегиялари:

• Автоматлаштирилган воситалар ташхисга қачон ёрдам беришини тушунтиринг (шаффофлик тегишли ишончни шакллантиради)
• Автоматлаштирилган натижаларни шарҳлашда клиник ҳукмнинг ролини таъкидланг
• Беморлар фойдаланиши мумкин бўлган соғлиқни сақлаш иловалари ва СИ симптом текширгичларининг чекловларини муҳокама қилинг

Диагностика мулоҳазалари:

• Қарорларни қўллаб-қувватлаш тизимига мурожаат қилишдан олдин дифференциал ташхисни шакллантиринг
• Автоматизациядан узил-кесил жавоб сифатида эмас, балки кўплаб маълумотлар нуқталаридан бири сифатида фойдаланинг
• Автоматлаштирилган натижа клиник ҳолатга мос келмаганда айниқса скептик бўлинг

Даволашни режалаштиришга таъсири:

• Автоматлаштирилган доза калкуляторлари вазн ва буйрак функциясини текширишни талаб қилади
• Даволаш протоколи тавсиялари индивидуал фарқларни ҳисобга олмаслиги мумкин
• Беморга хос омиллар алгоритмик тавсияларни бекор қилиши мумкин

Ахлоқий мулоҳазалар:

• Масъулиятни автоматизацияга юклаб бўлмайди
• Хабардор қилинган розилик ташхисда СИдан фойдаланишни ошкор қилишни талаб қилиши мумкин
• Автоматизациядан қатъий назар, профессионал ҳукм энг муҳим бўлиб қолаверади

Молия мутахассислари учун

Инвестицияларга хос иловалар:

• Алгоритмик савдо тавсиялари ҳали ҳам инсон томонидан соғлом ақл билан текширилишини талаб қилади
• Ўтмишдаги (Backtested) кўрсаткичлар келажакдаги натижаларни кафолатламайди
• Моделлар мисли кўрилмаган бозор конъюнктурасида ҳалокатли равишда муваффақиятсизликка учраши мумкин

Мижозлар билан мулоқот стратегиялари:

• Портфелни бошқаришда автоматизациянинг ролини тушунтиринг
• Алгоритмлар нима қила олиши ва нима қила олмаслиги ҳақида тўғри кутилмаларни белгиланг
• Хавфларни моделлаштириш ва башорат қилишдаги чекловларни муҳокама қилинг

Хавфларни бошқариш оқибатлари:

• Автоматлаштирилган хавф кўрсаткичлари (VaR ва бошқалар) маълум бўлган муваффақиятсизлик режимларига эга
• Инқирозлар пайтида корреляциялар ўзгариб, модель тахминларини бузиши мумкин
• Фавқулодда хавф сценарийлари учун инсон ҳукми муҳимдир

Тартибга солиш мулоҳазалари:

• Фидуциар мажбурият алгоритмик маслаҳатларга амал қилиш билан қондирилмайди
• Ҳужжатлар автоматлаштирилган тавсияларни инсон томонидан кўриб чиқилишини кўрсатиши керак
• Мувофиқлик тизимлари тўлиқ автоматлаштиришни эмас, балки инсон назоратини талаб қилади

13. Бошқа мойилликлар билан ўзаро таъсири

Бу мойилликни кучайтирадиган мойилликлар

Бу мойилликка қарши турувчи мойилликлар

Умумий мойиллик занжирлари

Автоматизация-Тасдиқлаш-Хотира занжири: Автоматизацияга мойиллик → Тасдиқлаш мойиллиги → Хотирани бузиб кўрсатиш → Кучайтирилган Автоматизацияга мойиллик

Кимдир автоматлаштирилган тавсияни қабул қилганда (автоматизацияга мойиллик), улар танлаб фақат уни тасдиқловчи маълумотларга эътибор қарата бошлайдилар (тасдиқлаш мойиллиги). Вақт ўтиши билан, хотира автоматлаштирилган қарорни қўллаб-қувватлаш учун воқеаларни қайта тиклайди ва ҳатто далилларни ўйлаб топади (хотирани бузиб кўрсатиш). Ушбу сохта далил кейинчалик ўтмишдаги автоматлаштирилган қарорларни бўлганидан ҳам ишончлироқ қилиб кўрсатиб, келажакдаги автоматизацияга мойилликни кучайтиради.

Каскадни тўхтатиш: Асосий аралашув нуқтаси биринчи қабул қилишдан олдиндир. Автоматизацияни кўришдан олдин мустақил қарор қабул қилишга олдиндан қарор қилиш дастлабки лангарни бузади. Қарама-қарши далилларни аниқ ҳужжатлаштиришни талаб қилиш танланма эътиборнинг олдини олади. Автоматлаштирилган башоратларни натижалар билан солиштирадиган мунтазам аудитлар хотирадаги бузилишларни тузатади.

14. Маданий истиқболлар

Автоматизацияга мойиллик бўйича турли маданиятлардаги тадқиқотлар ҳам умумий хусусиятларни, ҳам сезиларли фарқларни очиб беради:

Умумий жиҳатлар:

• Асосий когнитив механизмлар (энгергияни тежаш, эвристик қайта ишлаш) барча ўрганилган маданиятларда кўринади
• "Когнитив хасис" эффекти маданий келиб чиқишидан қатъий назар ишлайди
• Юқори ишончлилик умумий тарзда ишончга ва текширишнинг камайишига олиб келади

Маданий ўзгаришлар:

Минақавий тадқиқот урғулари:

• Япония (Ишигуро): Роботларга ижтимоий ишонч ва антропоморфизм таъсирларига урғу бериш; инсон ва машина ўртасидаги уйғун ўзаро таъсирга маданий эътибор билан технологияларни юқори даражада қабул қилиш
• Жанубий Корея (KAIST): Маданий қадрият сифатида Тушунтириладиган СИга (XAI) эътибор; шаффофлик кутилмалари кўр-кўрона автоматизацияга ишончни камайтириши мумкин
• Хитой (Цинхуа): Сўзлашув СИ хавфсизлиги ва фойдаланувчи мойилликларини кучайтирадиган хушомадгўй СИ жавобларининг олдини олиш бўйича тадқиқотларга урғу
• Германия (ТУ Берлин, ТУ Дармштадт): Огоҳлантириш дизайни ва хизмат кўрсатиш роботларининг ўзаро таъсирига муҳандислик эътибори; маданий аниқлик текшириш нормаларига таъсир қилиши мумкин
• АҚШ: Индивидуал даражадаги когнитив психология ва авиация/мудофаа иловаларига эътибор

Маданиятлараро оқибатлар:

• Умумий автоматлаштирилган тизимлардан фойдаланадиган халқаро жамоалар турли хил стандарт ишонч даражаларига эга бўлиши мумкин
• Кўп миллатли ташкилотлар автоматизация интерфейсларини лойиҳалашда маданий ўзгаришларни ҳисобга олишлари керак
• Глобал СИ тизимлари турли бозорлар учун ишончни калибрлашнинг турли ёндашувларига муҳтож бўлиши мумкин

15. Афсоналар ва нотўғри тушунчалар

16. Экспертларнинг фикрлари

"Автоматизацияга мойиллик 'маълумотларни диққат билан излаш ва қайта ишлаш учун эвристик алмаштириш' — 'вазиятни баҳолашни муддатидан олдин тўхтатадиган' когнитив 'қисқа йўл' сифатида ишлайди." — Линда Скитка, Кэтлин Мозиер ва Марк Бурдик, 1999

"Ишонч — бу агент ноаниқлик ва заифлик билан тавсифланган вазиятда шахснинг мақсадларига эришишга ёрдам бериши ҳақидаги муносабатдир." — Жон Д. Ли ва Катрина А. Си, 2004

"Фойдаланувчилар бошқача кўрсатадиган жиддий далилларга қарамай, жанг майдонидаги ҳақиқатдан кўра машинанинг ҳукмини афзал кўриб, тизим хатоларини ихтиёрий равишда қабул қилишди." — Мудофаа илмий кенгашининг Патриот ракеталари бўйича дўстона олов ҳақидаги ҳисоботи, 2005

"Экипаж 'вазиятдан бехабар' эди ва автоматизация нима жиннилик қилаётганини тушуна олмади." — FAAнинг 447-рейс бўйича инсоний омиллар таҳлили, ҳисоботда келтирилган

"LLMнинг нотўғри тавсиялари автоматизацияга мойилликни келтириб чиқариш орқали шифокорларнинг диагностик кўрсаткичларини сезиларли даражада пасайтиради." — 2025 йил СИ ёрдамидаги диагностика бўйича клиник синов

"Одамлар уруш бошласа, уни фақат бешта ракета билан бошламайди." — Подполковник Станислав Петровнинг 1983 йилда Совет ядровий эрта огоҳлантириш тизимини бекор қилиш қарорини тушунтириши

17. Асосий хулосалар

1. Автоматизацияга мойиллик универсал ва чуқур илдиз отган. У технологиядан олдин одамларга яхши хизмат қилган, лекин номукаммал автоматлаштирилган тизимларга қўлланганда хавфли заифликларни яратадиган эволюцион когнитив самарадорлик механизмларидан келиб чиқади.

2. Икки турдаги хатолар мойилликни белгилайди: Қолдириб кетиш хатолари (автоматизация огоҳлантирмагани учун муаммоларни ўтказиб юбориш) ва бажариш хатолари (нотўғри автоматлаштирилган тавсияларга фаол равишда амал қилиш). Бажариш хатолари ташвишлироқдир, чунки улар ҳукм чиқаришдан фаол равишда воз кечишни англатади.

3. Ишончлилик хавф яратади. Парадокс: автоматизация қанчалик ишончли бўлса, автоматизация ишдан чиққанда инсон хатолари шунчалик хавфли бўлади. Юқори ишончли тизимлар учун "инсон захираси" тахмини математик жиҳатдан нотўғри.

4. Оқибатлар тарихда ёзилган. Қулаган самолётлардан тортиб ноҳақ қамалишларгача, автоматизацияга мойиллик одамлар ҳаёти, эркинлиги ва миллиардлаб долларларга тушди. Булар назарий хавфлар эмас.

5. Фақат тренингнинг ўзи етарли эмас. Тизим дизайни шахсий иродадан муҳимроқ. Эҳтимоллик дисплейлари, когнитив мажбурлаш функциялари ва социотехник иш оқими дизайни одамларга "кўпроқ ҳаракат қилиш"ни айтишдан кўра самаралироқдир.

6. Ишонч максималлаштирилмаслиги, балки калибрланиши керак. Мақсад автоматизацияга ишонмаслик эмас, балки ишончни ҳақиқий қобилиятга мослаштиришдир. Тизим нафақат нима қилишини, балки унинг қандай ишлашини ва қаерда хато қилишини тушуниш муҳимдир.

7. СИ даври хавфни кучайтиради. Йирик Тил Моделлари (LLM) табиий тил орқали мулоқот қилиб, чуқур ижтимоий ишонч механизмларини ишга туширади. "Галлюцинацияларни қабул қилиш" — ҳақиқатга ўхшаш ўйлаб топилган маълумотларга ишониш — автоматизацияга мойилликнинг янги ва кучли кўриниши бўлиб, жамият бунга эндигина дуч келмоқда.

18. Қўшимча ресурслар

Академик мақолалар

• Skitka, L. J., Mosier, K. L., & Burdick, M. (1999). Does automation bias decision-making? International Journal of Human-Computer Studies, 51(5), 991–1006.
• Parasuraman, R., & Manzey, D. H. (2010). Complacency and bias in human use of automation: An attentional integration. Human Factors, 52(3), 381–410.
• Lee, J. D., & See, K. A. (2004). Trust in automation: Designing for appropriate reliance. Human Factors, 46(1), 50–80.
• Lyell, D., & Coiera, E. (2017). Automation bias and verification complexity: A systematic review. Journal of the American Medical Informatics Association, 24(2), 423–431.
• Goddard, K., Roudsari, A., & Wyatt, J. C. (2012). Automation bias: A systematic review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association, 19(1), 121–127.

Китоблар

• Parasuraman, R., & Mouloua, M. (Eds.). (1996). Automation and Human Performance: Theory and Applications. Lawrence Erlbaum Associates.
• Wickens, C. D., & Hollands, J. G. (2000). Engineering Psychology and Human Performance (3rd ed.). Prentice Hall.
• Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.
• Reason, J. (1990). Human Error. Cambridge University Press.
• Lee, J. D., Wickens, C. D., Liu, Y., & Boyle, L. N. (2017). Designing for People: An Introduction to Human Factors Engineering (3rd ed.). CreateSpace.

Китоб боблари

• Mosier, K. L., & Skitka, L. J. (1996). Human decision makers and automated decision aids: Made for each other? In R. Parasuraman & M. Mouloua (Eds.), Automation and Human Performance (pp. 201–220). Lawrence Erlbaum Associates.

19. Қисқача маълумотнома

20. Фойдаланилган атамалар луғати

21. Муҳокама учун саволлар

Китоб клублари, синфлар ёки ўз-ўзини таҳлил қилиш учун:

1. Ҳисоботда "машина қанчалик ишончли бўлса, инсон операторининг хато қилиш эҳтимоли шунчалик хавфли бўлади" деб таъкидланади. Бу парадоксни ҳал қилиш мумкинми ёки бу инсон-автоматизация ҳамкорлигининг ажралмас чекловчисими?

2. Станислав Петров автоматизацияга мойилликка муваффақиятли қаршилик кўрсатди ва эҳтимол ядровий урушнинг олдини олди. Қандай шахсий фазилатлар, тайёргарлик ёки шароитлар бошқалар (Патриот операторлари каби) буни қила олмаганда унга шундай қилиш имконини берди?

3. Буюк Британиянинг Horizon можароси институционал миқёсда автоматизацияга мойиллик 15 йилдан ортиқ давом этганини кўрсатди. Келажакда шунга ўхшаш институционал автоматизацияга мойилликнинг олдини олиш учун қандай тизимли ўзгаришлар талаб қилинади?

4. СИ тил моделлари мураккаблашгани сари, улар одамлар ҳақиқатни етказиш учун фойдаланадиган семантик каналлар орқали мулоқот қиладилар. Бу СИ автоматизациясига мойилликни аввалги шакллардан тубдан фарқ қиладиган қиладими? Мавжуд юмшатиш стратегиялари етарлими?

5. Одамлар нотўғри автоматлаштирилган тавсияларга амал қилганда ҳуқуқий жавобгарлик бўлиши керакми? Инсон оператори, ташкилот ва автоматизация сотувчиси ўртасидаги жавобгарликни қандай мувозанатлаштирамиз?