Ավտոմատացման կանխակալություն

Անմիջապես

1. Հակիրճ ամփոփում

Ավտոմատացման կանխակալությունը մեր հակվածությունն է վստահելու համակարգչի կողմից ստեղծված առաջարկներին ավելի շատ, քան մեր սեփական դատողությանը կամ տեղեկատվության այլ աղբյուրներին, նույնիսկ այն դեպքում, երբ համակարգիչն ակնհայտորեն սխալվում է: Երբ մեքենան մեզ ինչ-որ բան է ասում, մենք հաճախ այն ընդունում ենք որպես ճշմարտություն՝ առանց ստուգելու, ըստ էության, մեր քննադատական մտածողությունը հանձնելով ալգորիթմին: Այս մտավոր կարճ ճանապարհը ձևավորվել է ճանաչողական էներգիա խնայելու համար, բայց վտանգավոր է դառնում, երբ կիրառվում է անկատար ավտոմատացված համակարգերում, ինչը հանգեցնում է սխալների ավիացիայում, առողջապահության ոլորտում, դատական գործընթացներում և ամենօրյա որոշումներում:

2. Գիտությունն այս ամենի հետևում

2.1. Բացահայտումը և պատմությունը

Չնայած ավիացիոն շրջանակներում տասնամյակներ շարունակ գոյություն ունեին «ավտոմատացման ինքնագոհության» անեկդոտային ապացույցներ, ավտոմատացման կանխակալության պաշտոնական գիտական ուսումնասիրությունը սկսվել է 1990-ականների վերջին: 1999 թվականին Լինդա Սկիտկայի, Քեթլին Մոզիերի և Մարկ Բուրդիկի «Արդյո՞ք ավտոմատացումը կանխակալ է դարձնում որոշումների կայացումը» (Does automation bias decision-making?) հիմնարար ուսումնասիրությունն առանձնացրեց այս երևույթը որպես առանձին ճանաչողական կանխակալություն, որն անկախ է զուտ հոգնածությունից կամ անիրազեկությունից: Այս հոդվածը, որը հրապարակվել է International Journal of Human-Computer Studies ամսագրում, հիմնովին փոխեց մարդ-համակարգիչ փոխազդեցության հետազոտության ուղղությունը:

Այս հասկացությունը ի հայտ եկավ այն աճող գիտակցությունից, որ ավտոմատացված համակարգերը, չնայած իրենց հուսալիությանը, մարդկային սխալների նոր տեսակներ են առաջացնում: Վաղ ավիացիոն միջադեպերը ցույց տվեցին, որ օդաչուները վտանգավոր կերպով կախվածության մեջ էին ընկնում ավտոպիլոտի համակարգերից, բայց միայն խիստ փորձարարական հետազոտությունների շնորհիվ գիտնականները կարողացան քանակապես գնահատել և բնութագրել այս կախվածությունը:

1999 թվականից ի վեր մեր պատկերացումները զգալիորեն զարգացել են: Հետազոտողները տարանջատել են ավտոմատացման կանխակալությունը դրան առնչվող, բայց առանձին հասկացությունից՝ ավտոմատացման ինքնագոհությունից: Ոլորտը ընդլայնվել է ավիացիայից դեպի առողջապահություն, ինքնավար տրանսպորտային միջոցներ, իրավական համակարգեր և, վերջապես, արհեստական բանականություն և Մեծ լեզվական մոդելներ (LLM-ներ): Գեներատիվ ԱԲ-ի վերելքը առաջացրել է կանխակալության նոր դրսևորումներ, այդ թվում՝ «հալյուցինացիաների ընդունումը»՝ արժանահավատ հնչող, բայց հորինված ԱԲ-ի արդյունքներին հավատալու հակվածությունը:

Հետազոտության հիմնական ուղենիշներն են.

• 1999: Սկիտկայի, Մոզիերի և Բուրդիկի հիմնարար փորձարարական ուսումնասիրությունը
• 2004: Լիի և Սիի վստահության չափաբերման շրջանակը
• 2010: Պարասուրամանի և Մանզիի «Ուշադրության ինտեգրում» ակնարկը, որը տարանջատում է ինքնագոհությունը կանխակալությունից
• 2017: Լայելի և Կոյերայի «Ստուգման բարդություն» մոդելը
• 2023–2025: LLM-ներով պայմանավորված ավտոմատացման կանխակալության և հալյուցինացիաների ընդունման վերաբերյալ հետազոտությունների բում

2.2. Հիմնական հետազոտողները

2.3. Հիմնարար ուսումնասիրություններ

«Արդյո՞ք ավտոմատացումը կանխակալ է դարձնում որոշումների կայացումը» (Skitka, Mosier & Burdick, 1999)

Հետազոտողները նախագծել են ցածր ճշգրտության թռիչքային սիմուլյացիայի առաջադրանք՝ փորձնականորեն ստուգելու, թե ինչպես են մարդ օպերատորները վերահսկում համակարգի կարգավիճակը, երբ օգնություն են ստանում ավտոմատացված որոշումների աջակցության համակարգից: Մասնակիցներին հանձնարարվել էր հետևել չափիչ սարքերին և «կառավարել» սիմուլյացիան: Փորձարարական դիզայնը ներկայացրեց հուսալի, բայց անկատար ավտոմատացված մոնիտորինգի օգնական, ինչը թույլ տվեց հետազոտողներին դիտարկել մարդկային վարքագիծը վստահության և սխալի հատման կետում:

Հիմնական բացահայտումներ:

• Ավտոմատացված օգնականներ ունեցող մասնակիցները զգալիորեն ավելի քիչ էին հակված զգոն տեղեկատվության որոնմանը՝ համեմատած ձեռքով կառավարող օպերատորների հետ
• Ավտոմատացումը պարզապես չլրացրեց մարդու ուշադրությունը, այն փաստացի փոխարինեց այն
• Երբ ավտոմատացված օգնականն առաջարկում էր սխալ գործողություն, օպերատորների զգալի տոկոսը հետևում էր այդ առաջարկին, նույնիսկ երբ նախնական տվյալներն ակնհայտորեն ցույց էին տալիս, որ այն սխալ է
• Ուսումնասիրությունը բացահայտեց սխալների երկու տեսակ՝ բացթողման սխալներ (իրադարձությունների բացթողում, քանի որ ավտոմատացումը չի զգուշացրել) և կատարման սխալներ (սխալ ավտոմատացված առաջարկներին հետևելը)

Հեղինակները եզրակացրին, որ ավտոմատացման կանխակալությունը հանդես է գալիս որպես «զգոն տեղեկատվության որոնման և մշակման էվրիստիկ փոխարինող», ճանաչողական «կարճ ճանապարհ, որը վաղաժամ դադարեցնում է իրավիճակի գնահատումը»:

Հիշողության աղավաղման ուսումնասիրություն (Mosier, հետագա հետազոտություններ)

Օդաչուների մասնակցությամբ հետագա հետազոտություններում նրանց 67%-ը, ովքեր ենթարկվել էին ավտոմատացման կանխակալությանը, հետագայում դրսևորեցին իրադարձության «կեղծ հիշողություն»: Նրանք հիշում էին, որ նախնական տվյալների մեջ տեսել են նշաններ, որոնք աջակցում էին ավտոմատացման սխալ որոշմանը, նշաններ, որոնք իրականում երբեք չեն եղել: Սա հուշում է, որ ավտոմատացման կանխակալությունը կարող է հետադարձաբար փոխել ընկալումը. ուղեղը, ընդունելով ավտոմատացման եզրակացությունը, կեղծում է ապացույցներ՝ այն պաշտպանելու համար:

Վստահության չափաբերման ուսումնասիրություն (Lee & See, 2004)

Ավտոմատացման նկատմամբ վստահությունը սահմանվում է որպես «վերաբերմունք, որ գործակալը կօգնի հասնել անհատի նպատակներին անորոշությամբ և խոցելիությամբ բնութագրվող իրավիճակում»: Բացահայտվել են վստահության երեք հիմքեր՝ Արդյունավետություն (պատմական հուսալիություն), Գործընթաց (ալգորիթմների հասկացողություն) և Նպատակ (նախագծողի մտադրություն): Ցույց տրվեց, որ միայն Արդյունավետության վրա հիմնվելը՝ առանց Գործընթացի ընկալման, հանգեցնում է աղետալի կանխակալության ծայրահեղ դեպքերում:

Ստուգման բարդության համակարգված ակնարկ (Lyell & Coiera, 2017)

Ապացուցվեց, որ ավտոմատացման կանխակալությունը տարածված է նույնիսկ մեկ առաջադրանքով միջավայրերում, պայմանով, որ առաջադրանքը բավականաչափ բարդ է: Ներդրվեց Ստուգման բարդության (Verification Complexity) հայեցակարգը. ավտոմատացման կանխակալության հավանականությունն ուղիղ համեմատական է ավտոմատացման արդյունքը ստուգելու համար պահանջվող ճանաչողական ջանքերին: Այս մոդելը շատ կարևոր է ժամանակակից «սև արկղի» (black box) ԱԲ համակարգերը հասկանալու համար:

2.4. Նյարդաբանական հիմքը

Ավտոմատացման կանխակալության նյարդաբանական հիմքերը կապված են ուղեղի էներգիայի պահպանման հիմնարար մեխանիզմների հետ.

Ճանաչողական ծանրաբեռնվածությունը և նախաճակատային կեղևը: Ուղեղը էներգիա պահպանող օրգան է: Նախաճակատային կեղևը, որը պատասխանատու է գործադիր գործառույթների համար, ինչպիսիք են որոշումների կայացումը և ստուգումը, պահանջում է զգալի նյութափոխանակության ռեսուրսներ: Երբ ավտոմատացումը տրամադրում է արժանահավատ պատասխան, ուղեղի լռելյայն ռեժիմն այն ընդունելն է՝ առանց բարձր էներգիա պահանջող ստուգման գործընթացները գործարկելու:

«Ճանաչողական ժլատ» մեխանիզմը: Սկզբնապես առաջարկվելով Ֆիսկի և Թեյլորի կողմից (1984), այս սկզբունքը պնդում է, որ մարդիկ էվոլյուցիոն առումով մոտիվացված են նվազագույնի հասցնել ճանաչողական ջանքերը: Ուղեղն անցնում է էվրիստիկ մշակման (մտավոր կարճ ճանապարհների), երբ միջավայրը թույլ է տալիս դա: Ավտոմատացումն օգտագործում է սա՝ գործելով որպես «գեր-էվրիստիկա»:

Ուշադրության ցանցեր և զգոնության անկում: Պարասուրամանի նեյրոէրգոնոմիկական հետազոտությունը ուղեղի պատկերման միջոցով բացահայտեց, թե երբ է ուղեղն անջատվում մոնիտորինգի առաջադրանքներից: Հուսալի ավտոմատացված համակարգերի պասիվ մոնիտորինգի ժամանակ ուշադրության ցանցերը (հատկապես մեջքային (dorsal) ուշադրության ցանցը) ժամանակի ընթացքում ցույց են տալիս ակտիվության նվազում՝ «զգոնության անկում» (vigilance decrement):

Հիշողության կեղծում (Confabulation): Բացահայտումը, որ օդաչուների 67%-ը դրսևորել է կեղծ հիշողություններ ավտոմատացման պատճառով առաջացած սխալներից հետո, ենթադրում է հիշողության համախմբման (կոնսոլիդացիայի) գործընթացների ներգրավվածություն: Երբ ուղեղն ընդունում է ավտոմատացված եզրակացությունը, հիպոկամպալ հիշողության համակարգերը կարող են կառուցել օժանդակող «ապացույցներ» համախմբման ընթացքում՝ սխալ որոշումը ինտեգրելով համահունչ պատմության մեջ:

Դոֆամիներգիկ պարգևատրման ուղիներ: Ավտոմատացմանը վստահելը և ճիշտ դուրս գալը ակտիվացնում են պարգևատրման ուղիները: Այս դրական ամրապնդումը ժամանակի ընթացքում ուժեղացնում է ավտոմատացման ընդունման էվրիստիկան՝ ավելի ու ավելի դժվարացնելով այն չեղյալ հայտարարելը:

3. Էվոլյուցիոն ծագումը

Ավտոմատացման կանխակալությունը ներկայացնում է ճանաչողական մեխանիզմների անհամապատասխան կիրառում, որոնք զարգացել են նախատեխնոլոգիական միջավայրերում գոյատևումը բարելավելու համար:

Էներգիայի պահպանումը սակավ աշխարհում: Մեր նախնիներն ապրում էին միջավայրերում, որտեղ կալորիաները թանկ էին: Ուղեղը սպառում է մարմնի էներգիայի մոտ 20%-ը: Էվոլյուցիան նախապատվություն տվեց ճանաչողական կարճ ճանապարհներին, որոնք արտադրում էին «բավականաչափ լավ» որոշումներ՝ միաժամանակ էներգիա խնայելով ֆիզիկական գոյատևման գործունեության համար: Ճանաչողական աշխատանքը հուսալի աղբյուրներին պատվիրակելը հարմարվողական էր:

Սոցիալական հարգանք և փորձաքննություն: Մարդիկ զարգացել են սոցիալական խմբերում, որտեղ փորձագետներին (տարեցներ, հմուտ որսորդներ, բուժարարներ) զիջելը գոյատևման առավելություններ էր տալիս: Մենք զարգացրել ենք էվրիստիկա՝ տեղեկատվության հուսալի աղբյուրները բացահայտելու և նրանց վստահելու համար: Ավտոմատացված համակարգերը, հատկապես նրանք, որոնք ժամանակի 99%-ում հուսալի են, գործարկում են նույն հարգանքի մեխանիզմները:

Գործիքների նկատմամբ վստահությունը որպես գոյատևում: Սեփական գործիքներին վստահելը էվոլյուցիոն առումով էական էր: Որսորդը, որն անընդհատ կասկածում է, թե արդյոք իր նիզակը ճիշտ կթռչի, կաթվածահար կլիներ: Էվոլյուցիան ընտրել է հուսալի գործիքների նկատմամբ վստահությունը: Ժամանակակից ավտոմատացումը զավթում է գործիքների նկատմամբ վստահության այս խոր արմատավորված մեխանիզմը:

Թերությո՞ւն, թե՞ գործառույթ: Ավտոմատացման կանխակալությունը հիմնովին սխալ կիրառված գործառույթ է: Ճանաչողական արդյունավետության ռազմավարությունը լավ է աշխատում բնական միջավայրերում, որտեղ հետադարձ կապն անմիջական է, իսկ հետևանքները՝ համաչափ: Այն աղետալիորեն ձախողվում է բարձր ռիսկային տեխնոլոգիական միջավայրերում, որտեղ սխալները հազվադեպ են, բայց կործանարար, հետադարձ կապը ուշացած է, և հետևանքները անհամաչափ են:

Բնապահպանական անհամապատասխանություն: Միջավայրերը, որտեղ այս կանխակալությունը հարմարվողական էր, խիստ տարբերվում են ժամանակակից տեխնոլոգիական համատեքստերից: Էվրիստիկան, որն օգտակար էր քարե գործիքների հետ գործ ունենալիս, վտանգավոր է դառնում միջուկային ռեակտորների, ինքնաթիռների կամ բժշկական ախտորոշումների կառավարման համակարգերում կիրառելիս: Մեր ճանաչողական ճարտարապետությունը չի զարգացել, որպեսզի հաղթահարի հուսալիության-վտանգի պարադոքսը. որքան ավելի հուսալի է մեքենան, այնքան ավելի վտանգավոր է դառնում մարդկային սխալը:

4. Ինչպես է դրսևորվում այս կանխակալությունը

4.1. Առօրյա կյանքում

• GPS նավիգացիա: Վարորդները հետևում են GPS-ի հրահանգներին՝ մտնելով լճեր, փակ ճանապարհներ կամ անհարմար երթուղիներ՝ չնայած ցուցումներին հակասող տեսողական ապացույցներին: Նավիգացիոն համակարգի հեղինակությունը գերակայում է ուղղակի զգայական դիտարկմանը:

• Ուղղագրության և քերականության ստուգման գործիքներ: Գրողներն ընդունում են սխալ ինքնաուղղումները կամ քերականական առաջարկները առանց ստուգման՝ սխալներ մտցնելով վերջնական փաստաթղթերում: Կանաչ նշանը դառնում է հաստատման կնիք:

• Խելացի տան սարքեր: Խելացի ջերմոստատի էներգիայի առաջարկությունների ընդունում առանց հաշվի առնելու անձնական հարմարավետությունը կամ տնային տնտեսության որոշակի հանգամանքներ:

• Առցանց առաջարկություններ: Գնումների, ժամանցի կամ սոցիալական կապերի համար ալգորիթմների վրա հիմնված առաջարկությունների անքննադատ ընդունում՝ առանց հարցականի տակ դնելու, թե ինչու են ներկայացվում հատուկ տարբերակներ:

• Կախվածություն հաշվիչից: Հաշվիչի արդյունքների ընդունում առանց խելամտության ստուգման, նույնիսկ պարզ հաշվարկների համար, որտեղ մոտավոր գնահատումը կբացահայտեր ակնհայտ սխալներ:

4.2. Աշխատավայրում

• Չափազանց մեծ վստահություն աղյուսակների նկատմամբ: Excel-ում բանաձևերի արդյունքների ընդունում առանց հիմքում ընկած հաշվարկների ստուգման, ինչը հանգեցնում է տարածվող սխալների ֆինանսական մոդելներում և հաշվետվություններում:

• Ավտոմատացված պլանավորում: ԱԲ-ի կողմից գեներացված ժամանակացույցերին հետևելը, որոնք հաշվի չեն առնում մարդկային գործոնները, ինչպիսիք են թիմի դինամիկան, ճանապարհորդության ժամանակը կամ անհատական աշխատանքային օրինաչափությունները:

• HR զտման ծրագրաշար: Գործատուները հիմնովին վստահում են ինքնակենսագրականների ավտոմատացված զտմանը՝ բաց թողնելով որակավորված թեկնածուներին, որոնք նշված են որպես վատ համապատասխանողներ, կամ ընդունելով չորակավորվածներին, որոնց ալգորիթմը նախապատվություն է տվել:

• Կատարողականի վերլուծություն: Չափազանց մեծ կախվածություն ավտոմատացված կատարողականի չափանիշներից, որոնք չեն կարողանում որսալ աշխատողի ներդրման որակական ասպեկտները:

• Էլ. փոստի զտում: Կարևոր հաղորդագրությունների բացթողում, քանի որ սպամի զտիչները սխալմամբ դասակարգել են դրանք՝ առանց զտված հաղորդագրությունների պարբերական ստուգման:

• Ավտոմատացված հաշվետվություններ: Համակարգի կողմից գեներացված հաշվետվությունների բաշխում՝ առանց անոմալիաների կամ սխալների ստուգման՝ ենթադրելով ճշգրտություն, քանի որ «համակարգն այդպես ասաց»:

4.3. Բիզնեսում և մարքեթինգում

• Ալգորիթմային առևտուր: Ֆինանսական ընկերությունները ապավինում են առևտրային ալգորիթմներին առանց մարդկային վերահսկողության, ինչը հանգեցնում է կայծակնային վթարների (flash crashes) և կասկադային ձախողումների:

• Դինամիկ գնագոյացում: Ընկերություններն իրականացնում են ավտոմատացված գնագոյացում, որն օտարում է հաճախորդներին արտակարգ իրավիճակների կամ մատակարարման խափանումների ժամանակ՝ վնասելով ապրանքանիշի համբավը:

• Մարքեթինգի ավտոմատացում: Անհամապատասխան ավտոմատացված հաղորդագրությունների ուղարկում, քանի որ ժողովրդագրական կամ վարքագծային տրիգերները սխալ են գործել:

• Հաճախորդների սպասարկման չաթբոթներ: Բիզնեսները ենթադրում են, որ չաթբոթների փոխազդեցությունները բավարար են՝ առանց վերահսկելու այն հիասթափված հաճախորդներին, ովքեր մնացել են անօգուտ օղակների մեջ:

• Պաշարների կառավարում: Մանրածախ առևտրականները վստահում են ավտոմատացված վերապատվիրման համակարգերին, որոնք հաշվի չեն առնում տեղական տատանումները, սեզոնային փոփոխությունները կամ գալիք իրադարձությունները:

• Խարդախության հայտնաբերում: Բանկերը և՛ բաց են թողնում խարդախությունները (բացթողման սխալներ), և՛ նշում օրինական գործարքները (կեղծ դրականներ, որոնք այնուհետև ընդունվում են առանց վերանայման):

4.4. Քաղաքականության և լրատվամիջոցների մեջ

• Սոցիալական մեդիայի ալգորիթմներ: Քաղաքացիների աշխարհայացքը ձևավորվում է բովանդակության առաջարկման ալգորիթմների միջոցով, որոնք նրանք չեն հարցականի տակ դնում կամ չեն հասկանում:

• Փաստերի ստուգման գործիքներ: Լրագրողները հիմնվում են փաստերի ավտոմատացված ստուգման վրա՝ առանց դրանք հաստատելու, ինչը կարող է տարածել սխալներ կամ բաց թողնել նրբերանգավորված պնդումներ:

• Հարցումների ագրեգացիա: Քաղաքական մեկնաբանները ալգորիթմային հարցումների ագրեգատորներին վերաբերվում են որպես հեղինակավոր աղբյուրների՝ չնայած մոդելի սահմանափակումներին և ենթադրություններին:

• Բովանդակության մոդերացիա: Բովանդակության մոդերացիայի ավտոմատացված որոշումների ընդունումը որպես ճշգրիտ՝ ճնշելով օրինական խոսքը կամ թույլ տալով վնասակար բովանդակության պահպանումը:

• Ընտրական տեխնոլոգիա: Ընտրողները և պաշտոնյաները վստահում են էլեկտրոնային քվեարկության և հաշվման համակարգերին առանց համապատասխան ստուգման մեխանիզմների:

• Կանխատեսող ոստիկանություն: Իրավապահ մարմինները տեղակայում են ռեսուրսներ՝ հիմնվելով ալգորիթմային կանխատեսումների վրա, որոնք կարող են արտացոլել պատմական կանխակալությունները, այլ ոչ թե իրական ռիսկը:

4.5. Առողջապահության ոլորտում

• Կլինիկական որոշումների աջակցության համակարգեր (CDSS): 2025 թվականի պատահական կլինիկական փորձարկումը պարզել է, որ «LLM-ների սխալ առաջարկությունները զգալիորեն նվազեցնում են բժիշկների ախտորոշիչ կատարողականությունը՝ առաջացնելով ավտոմատացման կանխակալություն»: Նույնիսկ փորձագետ բժիշկները վստահել են մեքենաներին, որոնք հալյուցինացված ախտորոշումներ են տվել:

• Էլեկտրոնային առողջապահական գրառումներ: Չափազանց շատ համակարգային նախազգուշացումներից առաջացած ահազանգի հոգնածությունը ստիպում է կլինիցիստներին անտեսել բոլոր ահազանգերը, ներառյալ կարևորները: Հակառակ դեպքում, EHR համակարգերից առաջարկությունների ընդունում առանց կլինիկական ստուգման:

• Բժշկական պատկերման ԱԲ: Ռադիոլոգները ընդունում կամ մերժում են ԱԲ-ի կողմից նշված գտածոները առանց անկախ ստուգման՝ պոտենցիալ բաց թողնելով քաղցկեղը կամ գերախտորոշելով բարորակ գտածոները:

• Դեղամիջոցների փոխազդեցության ստուգիչներ: Դեղագործները մերժում կամ ընդունում են դեղերի փոխազդեցության ավտոմատացված նախազգուշացումները առանց առանձին հիվանդի հանգամանքների վերաբերյալ կլինիկական դատողության:

• Կենսական նշանների մոնիտորներ: Բուժքույրերը և բժիշկներն անտեսում են կլինիկական դիտարկումները, որոնք հակասում են «նորմալ» ավտոմատացված կենսական նշանների ցուցումներին:

• Ախտորոշիչ ալգորիթմներ: Հետևել ալգորիթմային ախտորոշիչ ուղիներին նույնիսկ այն ժամանակ, երբ հիվանդի ներկայացումը հուշում է ատիպիկ դեպքի մասին, որը պահանջում է մարդկային ինտուիցիա:

4.6. Ֆինանսների և ներդրումների ոլորտում

• Ռոբո-խորհրդատուներ: Ներդրողները հետևում են պորտֆելի ավտոմատացված առաջարկություններին՝ առանց հաշվի առնելու անձնական հանգամանքները, ռիսկի հանդուրժողականության փոփոխությունները կամ կյանքի իրադարձությունները, որոնք չեն ընդգրկված ալգորիթմներով:

• Վարկային գնահատում: Վարկատուներն ընդունում կամ մերժում են դիմումները՝ հիմնվելով բացառապես ավտոմատացված վարկային միավորների վրա՝ առանց ուսումնասիրելու անհատական հանգամանքները կամ վարկային հաշվետվությունների սխալները:

• Ռիսկերի գնահատման մոդելներ: Ֆինանսական հաստատությունները վստահում են Value-at-Risk և այլ ավտոմատացված ռիսկերի մոդելներին, որոնք աղետալիորեն ձախողվեցին 2008 թվականի ֆինանսական ճգնաժամի ժամանակ:

• Ալգորիթմային առևտրային որոշումներ: Անհատ ներդրողները պատճենում են ալգորիթմային առևտրային ազդանշանները՝ առանց հասկանալու հիմքում ընկած ռազմավարությունը կամ շուկայական պայմանները:

• Ավտոմատացված ֆինանսական պլանավորում: Կենսաթոշակային կանխատեսումների և խնայողությունների առաջարկությունների ընդունում ծրագրաշարից՝ առանց հարցականի տակ դնելու գնաճի, եկամտաբերության կամ կյանքի տևողության վերաբերյալ ենթադրությունները:

• Խարդախության մասին ահազանգեր: Կամ իրական խարդախության ահազանգերի անտեսում՝ հաճախակի կեղծ դրական արդյունքների պատճառով, կամ նշված բոլոր գործարքների ընդունում որպես խարդախություն առանց հետաքննության:

5. Իրական դեպքերի ուսումնասիրություններ

Դեպքի ուսումնասիրություն 1. Patriot հրթիռների եղբայրասպանությունները (2003)

• Համատեքստ: Իրաքի ազատություն գործողության ընթացքում ԱՄՆ բանակի Patriot հրթիռային համակարգը գործում էր տարբեր ռեժիմներով՝ ձեռքով կառավարումից մինչև լիովին ավտոմատացված: Իրաքյան բալիստիկ հրթիռների մտավախություններով բնութագրվող բարձր սպառնալիքի միջավայրը հանգեցրեց համակարգի կոնֆիգուրացիաների, որոնք կողմնորոշված էին դեպի ներգրավում:

• Ինչ տեղի ունեցավ: Տեղի ունեցավ երկու տխրահռչակ յուրայինների կրակի միջադեպ՝ բրիտանական Թագավորական ռազմաօդային ուժերի Tornado GR4-ի և ԱՄՆ նավատորմի F/A-18 Hornet-ի խոցումը: Երկու անձնակազմերն էլ զոհվեցին: Երկու դեպքում էլ Patriot-ի ռադարային ալգորիթմը սխալ դասակարգեց բարեկամական ինքնաթիռը որպես մոտեցող հակառադիացիոն հրթիռ (ARM):

• Կանխակալությունը գործողության մեջ: Համակարգը իր սխալ դասակարգումը որպես փաստ ներկայացրեց մարդ օպերատորներին: Չնայած օպերատորներն ունեին վայրկյաններ թիրախը այլ պարամետրերով (օդային արագություն, բարձրություն, «յուրային-օտար» ճանաչում) ստուգելու համար, նրանք չկարողացան դա անել արդյունավետ կերպով: Պաշտպանական գիտության խորհրդի զեկույցը պարզեց, որ օգտատերերը «հոժարակամորեն ընդունել են համակարգի սխալները՝ չնայած դրան հակասող էական ապացույցներին»՝ նախապատվությունը տալով մեքենայի դատողությանը ռազմի դաշտի իրականությանը:

• Հետևանքները: Զոհվեց չորս զինծառայող: Զեկույցը պարզեց, որ կանխակալությունը միայն անհատական չէր, այլև ինստիտուցիոնալ. օպերատորներին վարժեցնում էին վստահել համակարգին; տեխնոլոգիան շրջապատող «անսխալականության մշակույթը» նշանակում էր, որ «մարդկային վետոն» մեծամասամբ տեսական էր:

• Քաղված դասեր: Ավտոմատացման կանխակալությունը կարող է կազմակերպչականորեն արմատավորվել ուսուցման, մշակույթի և համակարգի դիզայնի միջոցով: «Շվեյցարական պանրի» մոդելը ցույց տվեց, թե ինչպես մարդկային հնարավոր միջամտության մի քանի շերտեր միաժամանակ ձախողվեցին, քանի որ յուրաքանչյուրը ենթադրում էր, որ ավտոմատացումը ճիշտ է:

Դեպքի ուսումնասիրություն 2. Մեծ Բրիտանիայի փոստային բաժանմունքի Horizon սկանդալը (1999–2015)

• Համատեքստ: Fujitsu ընկերության կողմից մշակված Horizon ՏՏ համակարգը ներդրվեց Մեծ Բրիտանիայի փոստային բաժանմունքի հաշվապահությունը կառավարելու համար: Գրեթե անմիջապես, ենթափոստապետերը սկսեցին զեկուցել իրենց հաշիվներում անբացատրելի պակասորդների մասին:

• Ինչ տեղի ունեցավ: Փոստային բաժանմունքի ղեկավարությունը և բրիտանական դատարանները գործում էին այն իրավական կանխավարկածով, որ «համակարգիչները հուսալի են»՝ ավտոմատացման կանխակալության կոդավորված ձև: Երբ ենթափոստապետերը պնդում էին, որ համակարգը սխալվում է, նրանց մեղադրում էին գողության մեջ: Հարյուրավոր ազնիվ քաղաքացիների վկայությունները համակարգված կերպով անտեսվեցին հօգուտ Horizon-ի տեղեկամատյանների:

• Կանխակալությունը գործողության մեջ: Համակարգչի արդյունքը համարվում էր սուրբ ճշմարտություն, որն անձեռնմխելի էր մարդկային մարտահրավերներից: «Ոչ ավտոմատացված աղբյուրներից ստացված հակասական տեղեկատվությունը»՝ մարդկանց ցուցմունքները, որակվում էր որպես եսասիրական ստեր կամ անիրազեկություն: Մենեջերները և դատավորները գործեցին կանխամտածված, բազմամյա ավտոմատացման կանխակալություն կատարման սխալների միջոցով:

• Հետևանքները: Ավելի քան 700 մարդ ապօրինի դատապարտվեց, սնանկացավ և բանտարկվեց: Քանդվեցին ընտանիքներ, ոչնչացվեցին կարիերաներ, և մի քանի ենթափոստապետեր ինքնասպանություն գործեցին: Ավելի ուշ ապացուցվեց, որ համակարգը լի էր վրիպակներով (bugs): Սա ներկայացնում է Մեծ Բրիտանիայի պատմության մեջ արդարադատության ամենատարածված ձախողումը:

• Քաղված դասեր: Ավտոմատացման կանխակալությունը պարզապես վայրկենական ռեակցիա չէ. այն կարող է լինել տևական կազմակերպչական մոլորություն: Իրավական և ինստիտուցիոնալ շրջանակները, որոնք ենթադրում են համակարգչային հուսալիություն, ստեղծում են համակարգային կանխակալություն, որին չափազանց դժվար է դիմակայել:

Դեպքի ուսումնասիրություն 3. Air France թռիչք 447 (2009)

• Համատեքստ: Ատլանտյան օվկիանոսի վրայով թռիչքի ժամանակ Airbus A330-ի Պիտոյի խողովակները (օդային արագության սենսորները) խցանվեցին սառույցի բյուրեղներով՝ թռիչքային համակարգչին զրկելով օդային արագության վավեր տվյալներից: Ավտոպիլոտն անջատվեց՝ կառավարումը հանձնելով օդաչուներին, ովքեր վարժվել էին տարիների բարձր ավտոմատացված թռիչքների:

• Ինչ տեղի ունեցավ: Օդաչուները, ովքեր սովոր էին «թռիչքի պարամետրերի պաշտպանությանը» (flight envelope protection), որը կանխում է քաշման ուժի կորուստը, հանկարծակի հայտնվեցին «Այլընտրանքային օրենքի» ռեժիմում, որտեղ այդ պաշտպանությունները բացակայում էին: Շփոթված հակասական ահազանգերից (քաշման ուժի կորստի նախազգուշացումը հնչեց 75 անգամ), կառավարող օդաչուն քաշեց ղեկը դեպի իրեն՝ մանևր, որն առաջացնում է քաշման ուժի կորուստ չպաշտպանված թռիչքի ռեժիմներում:

• Կանխակալությունը գործողության մեջ: Անձնակազմը տառապում էր այն անկարողությունից, որ հավատա, որ ավտոմատացման համատեքստը հիմնովին փոխվել է: Նրանք անտեսեցին հում աերոդինամիկ իրականությունը (ինքնաթիռը ընկնում էր), քանի որ նրանց մտավոր մոդելը կապված էր նորմալ ավտոմատացված գործողության հետ: Ինչպես նշել է FAA-ի վերլուծությունը, անձնակազմը գտնվում էր «օղակից դուրս» և չէր կարողանում հասկանալ «թե ինչ գրողի տարած էր անում ավտոմատացումը»: Նրանք արդյունքում սպասում էին, որ ավտոմատացումը փրկի իրենց. էվրիստիկ վստահություն, որը շարունակվեց մինչև բախումը:

• Հետևանքները: Օդանավում գտնվող բոլոր 228 մարդիկ զոհվեցին: Դժբախտ պատահարը մնում է ավտոմատացման կանխակալության որոշիչ դեպքի ուսումնասիրություն, որը հանգեցնում է «ավտոմատացման անակնկալի» և մեխանիկական ճանաչողության վերադառնալու անկարողության:

• Քաղված դասեր: Ավտոմատացման վրա չափազանց մեծ կախվածությունը կարող է նվազեցնել ձեռքի հմտությունները այն աստիճանի, որ օդաչուները չկարողանան վերականգնվել, երբ ավտոմատացումը ձախողվի: «Մարդկային պահուստային» ենթադրությունը սխալ է, երբ մարդիկ համակարգված կերպով բացառվել են ճանաչողական օղակից:

Պատմական օրինակ. Ստանիսլավ Պետրով (1983)

Ավտոմատացման կանխակալությունը լիովին հասկանալու համար պետք է ուսումնասիրել հազվագյուտ դեպքեր, երբ այն հաջողությամբ կոտրվել է: 1983 թվականի սեպտեմբերի 26-ին խորհրդային միջուկային վաղ նախազգուշացման համակարգը (Oko) հայտնեց ԱՄՆ-ից հինգ միջմայրցամաքային բալիստիկ հրթիռների արձակման մասին:

Հերթապահ սպա, փոխգնդապետ Ստանիսլավ Պետրովը ահազանգը գնահատեց որպես կեղծ: Նրա պատճառաբանությունը համատեքստային էր և մարդկային. «Երբ մարդիկ պատերազմ են սկսում, նրանք դա չեն սկսում միայն հինգ հրթիռներով»: Նա նաև անվստահություն ուներ նոր արբանյակային տեխնոլոգիայի նկատմամբ: Պետրովը հրաժարվեց նախազգուշացումը փոխանցել հրամանատարական շղթայով՝ կանխելով հնարավոր պատասխան միջուկային հարվածը:

Պետրովի հաջողությունը պայմանավորված էր իր թերահավատությամբ և ոլորտի փորձաքննությամբ. նա գիտեր, որ քաղաքական և ռազմավարական համատեքստը (մարդկային հետախուզություն) հակասում էր սենսորային տվյալներին (ավտոմատացված հետախուզություն): Նա օգտագործեց «մարդկային վետոն», որը Patriot-ի օպերատորները չկարողացան օգտագործել: Այս դեպքը ցույց է տալիս, որ ավտոմատացման կանխակալությունը կոտրելու համար պահանջվում է և՛ այլախոհ լինելու քաջություն, և՛ ոլորտի գիտելիքներ՝ ճանաչելու համար, երբ ավտոմատացված արդյունքներն անհավանական են:

6. Այս կանխակալության արժեքը

6.1. Անձնական ծախսեր

• Քննադատական մտածողության քայքայում: Ավտոմատացված համակարգերին պարբերաբար վստահելը թուլացնում է ստուգման և անկախ վերլուծության ճանաչողական մկանները: Ժամանակի ընթացքում անհատները դառնում են ավելի քիչ ունակ գործելու առանց ավտոմատացված առաջնորդության:

• Փորձաքննության կորուստ: Պրոֆեսիոնալները, ովքեր մեծապես ապավինում են ավտոմատացված գործիքներին, կարող են զգալ հմտությունների դեգրադացիա: Օդաչուները, ովքեր հազվադեպ են ձեռքով թռչում, ռադիոլոգները, ովքեր միշտ օգտագործում են ԱԲ-ի օգնությունը, և հաշվապահները, ովքեր երբեք ձեռքով չեն հաշվարկում, կորցնում են այն ունակությունները, որոնք նրանց դարձնում են փորձագետ:

• Որոշումների կաթված: Երբ ավտոմատացված համակարգերը ձախողվում են կամ անհասանելի են, անհատները կարող են իրենց անկարող զգալ որոշումներ կայացնելու համար, ինչը հանգեցնում է կաթվածի կրիտիկական պահերին:

• Կեղծ ինքնավստահություն: Ավտոմատացված արդյունքներին վստահելը ստեղծում է վստահության զգացում, որն արդարացված չէ, ինչը հանգեցնում է թերպատրաստվածության այն սցենարների համար, որտեղ ավտոմատացումը սխալվում է:

• Հարաբերությունների լարվածություն: Անձնական համատեքստերում ավտոմատացված առաջարկությունների վրա (ժամադրության հավելվածներ, սոցիալական մեդիայի առաջարկներ) չափազանց մեծ կախվածությունը կարող է փոխարինել ավտենտիկ մարդկային դատողությանը և կապին:

6.2. Մասնագիտական ծախսեր

• Կարիերայի պատասխանատվություն: Պրոֆեսիոնալները, ովքեր հետևում են ավտոմատացված առաջարկություններին, որոնք հանգեցնում են սխալների, կարող են բախվել կարգապահական տույժերի, անփութության դատական հայցերի կամ քրեական մեղադրանքների՝ ինչպես տեսանք Մատան ընդդեմ Avianca-ի գործով իրավաբանների հետ, ովքեր պատժամիջոցների ենթարկվեցին ԱԲ-ի հալյուցինացված իրավական նախադեպեր մեջբերելու համար:

• Հեղինակության վնաս: Կազմակերպությունները, որոնք հայտնի են ավտոմատացման հետևանքով առաջացած ձախողումներով (ինչպես Մեծ Բրիտանիայի փոստային բաժանմունքը), կրում են տևական հեղինակության վնաս, որն ազդում է հավաքագրման, գործընկերությունների և հանրային վստահության վրա:

• Հմտությունների ատրոֆիա: Ամբողջ մասնագիտական համայնքները կարող են զգալ հմտությունների հավաքական դեգրադացիա, քանի որ ավտոմատացումը կառավարում է սովորական դեպքերը՝ մասնագետներին թողնելով անպատրաստ բարդ կամ անսովոր իրավիճակների համար:

• Նորարարության լճացում: Չափազանց մեծ վստահությունը «թե ինչպես է աշխատում համակարգը» կարող է խանգարել մասնագետներին հարցականի տակ դնել գործընթացները կամ մշակել բարելավումներ:

• Վատ արդյունքներ: Բժշկական սխալ ախտորոշումները, ապօրինի դատավճիռները, ֆինանսական կորուստները և գործառնական ձախողումները ուղղակիորեն կապված են ավտոմատացման կանխակալության հետ:

6.3. Հասարակական ծախսեր

• Համակարգային ռիսկի կուտակում: Երբ ամբողջ արդյունաբերությունները վստահում են ավտոմատացված համակարգերին, սխալները դառնում են փոխկապակցված, այլ ոչ թե անկախ: Մեկ ալգորիթմական թերությունը կարող է միաժամանակ տարածվել ամբողջ ոլորտում:

• Ժողովրդավարության քայքայում: Ալգորիթմական համակարգերը, որոնք ձևավորում են քաղաքական դիսկուրսը, բովանդակության տեսանելիությունը և տեղեկատվության հասանելիությունը՝ առանց հարցականի տակ դրվելու ընդունվելով, կարող են խաթարել տեղեկացված ժողովրդավարական մասնակցությունը:

• Արդարադատության համակարգի կոռուպցիա: Իրավական համակարգերը, որոնք ենթադրում են համակարգչի հուսալիություն (ինչպես Horizon-ի սկանդալում), ստեղծում են կառուցվածքային անարդարություն, որին գրեթե անհնար է դիմակայել անհատների համար:

• Անվտանգության վատթարացում: «Մարդկային պահուստային» անվտանգության ենթադրությունը, որն ընկած է ինքնավար տրանսպորտային միջոցների, ավտոմատացված օդային երթևեկության վերահսկման և այլ կարևոր համակարգերի հիմքում, հիմնովին սխալ է: Մարդիկ չեն կարող պահպանել զգոնությունը երկարատև պասիվ մոնիտորինգի ընթացքում:

• Տնտեսական խափանումներ: Կայծակնային վթարները (Flash crashes), ալգորիթմական կասկադները և ավտոմատացված համակարգերը, որոնք փոխկապակցված սխալներ են անում, կարող են տնտեսական անկայունություն առաջացնել:

6.4. Վիճակագրական ազդեցություն

• Ավիացիա: Ուսումնասիրությունները ցույց են տալիս, որ ավտոմատացված օգնականներ ունեցող օդաչուները զգալիորեն ավելի շատ համակարգային անոմալիաներ են բաց թողնում, քան նրանք, ովքեր վերահսկում են ձեռքով: Air France 447-ի անձնակազմը անտեսեց 75 ահազանգ:

• Առողջապահություն: Հետազոտությունները ցույց են տալիս, որ ԱԲ-ի սխալ առաջարկությունները զգալիորեն նվազեցնում են բժիշկների ախտորոշիչ ճշգրտությունը: Ահազանգի հոգնածությունը ստիպում է կլինիցիստներին անտեսել ավտոմատացված նախազգուշացումների 49-96%-ը:

• Հիշողության աղավաղում: Ավտոմատացման կանխակալությանը ենթարկված օդաչուների 67%-ը հետագայում դրսևորեց իրադարձությունների կեղծ հիշողություններ, ինչը բարդացնում է պատահարների հետաքննությունը և ուսուցումը:

• Իրավաբանական: Horizon-ի սկանդալը հանգեցրեց 700+ ապօրինի դատապարտումների՝ Մեծ Բրիտանիայի պատմության մեջ արդարադատության ամենամեծ ձախողումը:

• Ռազմական: Իրաքում յուրայինների կրակի միջադեպերը ցույց տվեցին համակարգի սխալներն ընդունելու պատրաստակամությունը՝ չնայած էական հակասական ապացույցներին:

7. Թաքնված օգուտները

Ավտոմատացման կանխակալությունը զուտ բացասական չէ. հիմքում ընկած ճանաչողական մեխանիզմը ծառայում էր կարևոր նպատակների.

• Ճանաչողական արդյունավետություն: Ճանաչողական առաջադրանքները հուսալի արտաքին աղբյուրներին պատվիրակելու ունակությունը ազատում է մտավոր ռեսուրսներ այլ մարտահրավերների համար: Երբ ավտոմատացումը ճիշտ է (ինչը դեպքերի մեծ մասն է), դրա արդյունքի ընդունումը իսկապես արդյունավետ է:

• Հետևողականություն: Ավտոմատացված համակարգերը միատեսակ են կիրառում նույն չափանիշները: Դրանց վստահելը կարող է նվազեցնել մարդկային փոփոխականությունը և որոշումների կայացման որոշակի տեսակի կանխակալությունները:

• Արագություն: Ժամանակակից կրիտիկական իրավիճակներում ավտոմատացված առաջարկությունները արագորեն ընդունելու ունակությունը՝ առանց երկարատև ստուգման, կարող է փրկել կյանքեր, պայմանով, որ ավտոմատացումը ճիշտ է:

• Փորձաքննության ընդլայնում: Ավտոմատացումը թույլ է տալիս ոչ մասնագետներին օգտվել կոդավորված փորձաքննությունից: Կրտսեր կլինիցիստը, որն օգտագործում է կլինիկական որոշումների աջակցությունը, կարող է մուտք գործել գիտելիքներ, որոնք ձեռք բերելու համար փորձագետներից տասնամյակներ են պահանջվել:

• Տագնապի նվազեցում: Անորոշ իրավիճակներում ավտոմատացված առաջարկություն ունենալը կարող է նվազեցնել որոշումների կայացման անհանգստությունը և ճանաչողական ծանրաբեռնվածությունը՝ բարելավելով ինքնազգացողությունը, նույնիսկ եթե որոշման որակը մնում է անփոփոխ:

• Մասշտաբայնություն: Շատ ժամանակակից համակարգեր պարզապես չէին կարողանա գործել առանց մարդկանց կողմից ավտոմատացված արդյունքների ընդունման: Անհնար կլիներ, որ մարդը վերանայեր յուրաքանչյուր նամակ որպես սպամ, յուրաքանչյուր ֆինանսական գործարք որպես խարդախություն կամ յուրաքանչյուր սոցիալական մեդիայի գրառում որպես խախտում:

Փոխզիջումը պարզ է. ավտոմատացման կանխակալությունը պրոբլեմատիկ է դառնում միայն այն ժամանակ, երբ (1) ավտոմատացումը սխալ է, (2) խաղադրույքները բարձր են, և (3) մարդը կարող էր նկատել սխալը: Ավտոմատացման կանխակալությունը լիովին վերացնելը և՛ անհնար, և՛ անցանկալի կլիներ. դա կպահանջեր անհնարին զգոնություն, որը կզրոյացներ ավտոմատացման օգուտները: Նպատակը չափաբերված վստահությունն է, այլ ոչ թե զրոյական վստահությունը:

8. Ինքնագնահատում. Արդյո՞ք ունեք այս կանխակալությունը

8.1. Նախազգուշացնող նշանների ստուգաթերթ

• Ես հաճախ ընդունում եմ GPS-ի ուղղությունները առանց ստուգելու, թե արդյոք դրանք տրամաբանական են իմ նպատակակետի համար
• Ես վստահում եմ ուղղագրության և քերականության ստուգման գործիքներին առանց վերանայելու դրանց առաջարկները
• Երբ հաշվիչը պատասխան է տալիս, ես հազվադեպ եմ գնահատում, թե արդյոք դա խելամիտ է թվում
• Ես ընդունում եմ որոնման համակարգի առաջին էջի արդյունքները՝ չմտածելով, թե ինչու են դրանք այդպես դասակարգված
• Ես հետևել եմ ավտոմատացված առաջարկություններին, որոնք սխալ էին, քանի որ չէի ստուգել դրանք
• Երբ ծրագրաշարը սխալի հաղորդագրություն է տալիս, ես ենթադրում եմ, որ ծրագրաշարը ճիշտ է այն հարցում, թե ինչն է սխալ գնացել
• Ես դժվարանում եմ ավարտել առաջադրանքները, երբ իմ սովորական ավտոմատացված գործիքներն անհասանելի են
• Ես ինձ անհարմար եմ զգում ավտոմատացված առաջարկությունները անտեսելիս, նույնիսկ երբ իմ դատողությունը տարբերվում է
• Ես արդարացրել եմ վատ արդյունքը՝ ասելով. «բայց համակարգն ասաց, որ այդպես անեմ»
• Ես վստահում եմ ԱԲ չաթբոթների արդյունքներին առանց դրանց պնդումների փաստերը ստուգելու

Գնահատում:

• 0-2 նշված. Ցածր զգայունություն
• 3-5 նշված. Միջին զգայունություն
• 6-8 նշված. Բարձր զգայունություն
• 9-10 նշված. Շատ բարձր զգայունություն

8.2. Ինքնամտորման հարցեր

1. Հիշեք վերջերս կայացրած որոշում՝ հիմնված ավտոմատացված առաջարկի վրա: Ստուգե՞լ եք այդ առաջարկի որևէ ասպեկտ նախքան գործելը: Ինչո՞ւ այո կամ ինչո՞ւ ոչ:

2. Կարո՞ղ եք հիշել մի դեպք, երբ ավտոմատացումը սխալ էր, բայց դուք այնուամենայնիվ հետևեցիք դրան: Ի՞նչը խանգարեց ձեզ վստահել ձեր սեփական դատողությանը:

3. Երբ օգտագործում եք ChatGPT-ի նման ԱԲ գործիքներ, ինչպե՞ս եք ստուգում տրամադրված տեղեկատվության ճշգրտությունը: Երբևէ սխալ գտե՞լ եք:

4. Ինչպե՞ս կփոխվեր ձեր աշխատանքային գործընթացը, եթե ձեր հիմնական ավտոմատացված գործիքները (GPS, ուղղագրության ստուգում, որոնման համակարգեր, հաշվիչներ) անհասանելի լինեին մեկ շաբաթով:

5. Գործընկերները, ընկերները կամ ընտանիքի անդամները երբևէ նշե՞լ են, որ դուք չափազանց շատ եք ապավինում տեխնոլոգիային այն որոշումների համար, որոնք կարող էիք կայացնել ինքներդ:

8.3. Արագ ախտորոշման սցենար

Սցենար: Դուք օգտագործում եք ԱԲ օգնական՝ կարևոր զեկույց կազմելու համար: ԱԲ-ն տրամադրում է վիճակագրություն, որը կատարելապես աջակցում է ձեր փաստարկին. «Ուսումնասիրությունները ցույց են տալիս, որ այս մոտեցումը կիրառող կազմակերպությունների 78%-ը գրանցել է արդյունքների 40% բարելավում»: Վիճակագրությունը հնչում է արժանահավատ և լավ տեղավորվում է ձեր պատմության մեջ: Դուք ժամանակի սղության մեջ եք:

Ինչպե՞ս կարձագանքեիք:

• Ա) Կներառեիք վիճակագրությունը ուղղակիորեն՝ այն հնչում է հեղինակավոր և ԱԲ-ն նախկինում հուսալի է եղել → Բարձր զգայունություն
• Բ) Կներառեիք վիճակագրությունը, բայց կավելացնեիք նախազգուշացնող լեզու, օրինակ՝ «հետազոտությունը հուշում է» առանց ստուգման → Միջին զգայունություն
• Գ) Կորոնեիք բնօրինակ աղբյուրը՝ վիճակագրությունը ստուգելու համար, ընդունելով, որ գուցե ստիպված լինեք վերանայել ձեր վերջնաժամկետը → Ցածր զգայունություն

9. Այս կանխակալության բացահայտումը ուրիշների մեջ

9.1. Վարքագծային ցուցանիշներ

Նկատելի նշաններ խոսքում:

• Հաճախակի հղում անելով «համակարգն ասում է» կամ «ալգորիթմը խորհուրդ է տալիս» որպես արդարացում
• Անհարմարության զգացում, երբ խնդրում են անտեսել ավտոմատացված առաջարկները
• Անցում դեպի «թույլ տվեք ստուգել, թե ինչ է ասում համակարգիչը» իրենց փորձաքննության շրջանակներում գտնվող որոշումների համար

Օրինաչափություններ որոշումների կայացման մեջ:

• Հետևողականորեն հետևելով ավտոմատացված առաջարկություններին առանց հարցականի տակ դնելու
• Դժվարություն որոշումներ կայացնելիս, երբ ավտոմատացված գործիքներն անհասանելի են
• Համակարգի սխալների մեղադրում՝ սեփական ստուգման գործընթացը վերանայելու փոխարեն

Մարմնի լեզվի ազդանշաններ:

• Անդրադառնալով էկրաններին վավերացման համար անգամ անձնական քննարկումների ժամանակ
• Ֆիզիկական լարվածություն, երբ խնդրում են գործել ընդդեմ ավտոմատացված խորհրդի
• Թուլացում, երբ ավտոմատացված համակարգերը հաստատում են իրենց որոշումները

Կրկնվող թեմաներ խոսակցություններում:

• Բարձր վստահություն արտահայտելով տեխնոլոգիայի ճշգրտության նկատմամբ
• Ավտոմատացման սխալների վերաբերյալ մտահոգությունների նվազեցում որպես հազվադեպ ծայրահեղ դեպքեր
• Մարդկային դատողության որակում որպես «կողմնակալ»՝ համեմատած «օբյեկտիվ» ալգորիթմների հետ

9.2. Խոսակցական ահազանգեր

Արտահայտություններ, որոնք մարդիկ ասում են այս կանխակալության ազդեցության տակ.

• «Համակարգիչը սխալներ չի անում»
• «Ես պարզապես հետևում եմ այն ամենին, ինչ համակարգը խորհուրդ տվեց»
• «Տվյալները ցույց են տալիս...» (առանց տվյալները ստուգելու)
• «Ինչու՞ պետք է կասկածեմ ԱԲ-ին: Այն վարժեցվել է միլիոնավոր օրինակների վրա»
• «Այն պետք է ճիշտ լինի. տեսեք, թե որքան վստահ է արդյունքը»

Արգումենտների տեսակներ, որոնք նրանք բերում են.

• Հղումներ համակարգի անցյալի հուսալիությանը որպես ընթացիկ ճշգրտության ապացույց
• Հակասական տեղեկատվության անտեսում որպես «անոմալիաներ» կամ «օգտատիրոջ սխալ»
• Ավտոմատացման արդյունքներին որպես օբյեկտիվ փաստերի վերաբերվելը, այլ ոչ թե հավանականության գնահատականներ

Հարցեր, որոնք նրանք խուսափում են տալ.

• «Որո՞նք են այս համակարգի սահմանափակումները:»
• «Ո՞ր հանգամանքներում կարող է այս առաջարկը սխալ լինել:»
• «Ի՞նչ կորոշեի ես, եթե չունենայի այս ավտոմատացված գործիքը:»

9.3. Իրավիճակային տրիգերներ

Հանգամանքներ, որոնք ակտիվացնում են այս կանխակալությունը:

• Ժամանակի ճնշում, որը խանգարում է ստուգմանը
• Բարձր ճանաչողական ծանրաբեռնվածություն մի քանի առաջադրանքներից
• Հոգնածություն կամ որոշումների կայացման հոգնածություն
• Երբ ստուգումը պահանջում է մասնագիտացված գիտելիքներ
• Երբ ավտոմատացումը նախկինում հուսալի է եղել

Շրջակա միջավայրի գործոններ:

• Աշխատավայրի մշակույթներ, որոնք փառաբանում են ավտոմատացումը և արդյունավետությունը
• Վերապատրաստման ծրագրեր, որոնք ընդգծում են ընթացակարգերին հետևելը, այլ ոչ թե դատողությունը
• Հետադարձ կապի բացակայություն, որը ցույց է տալիս, թե երբ է ավտոմատացումը սխալվել
• Համակարգեր, որոնք նախագծված են առանց վստահության մակարդակների թափանցիկության

Հուզական վիճակներ, որոնք մեծացնում են խոցելիությունը:

• Սթրես և անհանգստություն (անվտանգության որոնում)
• Գերծանրաբեռնվածություն (ճանաչողական թեթևացման որոնում)
• Ինքնակոչի համախտանիշ (վստահելով «փորձագետ» համակարգերին ավելի, քան ինքն իրեն)
• Հարմարավետություն և ինքնագոհություն (ամեն ինչ լավ է ընթանում)

Սոցիալական համատեքստեր, որոնք ուժեղացնում են կանխակալությունը:

• Խմբային իրավիճակներ, որտեղ ավտոմատացումը հարցականի տակ դնելը կարծես դանդաղեցնում է գործերը
• Հիերարխիաներ, որտեղ ավտոմատացումը ներկայացնում է ղեկավարության որոշումները
• Մասնագիտական համատեքստեր, որտեղ ավտոմատացումը համարվում է «լավագույն փորձ»

Ժամանակի ճնշումներ, որոնք վատթարացնում են իրավիճակը:

• Վերջնաժամկետներ, որոնք թույլ չեն տալիս ստուգում
• Իրական ժամանակում որոշումներ (առևտուր, բժշկական շտապ օգնություն, ավիացիա)
• Մեծ ծավալի մշակում, որտեղ անհատական վերանայումն անիրագործելի է

10. Ճանաչողական ապականխակալության ռազմավարություններ

10.1. Անմիջական տեխնիկաներ

Արագ մտավոր ստուգումներ նախքան ավտոմատացված առաջարկներն ընդունելը:

• «Արդյո՞ք այս արդյունքն անցնում է հոտառության թեստը:» Դադար տվեք մտածելու, արդյոք առաջարկը ինտուիտիվ կերպով իմաստ ունի:
• «Ո՞րն է սխալվելու գինը:» Ավելի բարձր խաղադրույքները պահանջում են ավելի շատ ստուգում:
• «Սա այն բա՞նն է, ինչում համակարգը լավ է:» Ավտոմատացումը ունի տիրույթի սահմանափակումներ:

Հարցեր, որոնք պետք է ինքներդ ձեզ տաք այդ պահին:

• «Ի՞նչ կորոշեի ես առանց այս ավտոմատացման:»
• «Ի՞նչ ապացույց է հակասում այս առաջարկին:»
• «Ո՞րն է համակարգի վստահության մակարդակը, և արդյո՞ք այն արտահայտում է անորոշություն:»
• «Ե՞րբ էի վերջին անգամ ստուգել ավտոմատացված առաջարկը:»

Օրինաչափության ընդհատումներ՝ կանխակալությունը կոտրելու համար:

• Նախքան ընդունելը բարձրաձայնեք մեկ պատճառ, թե ինչու կարող է ավտոմատացումը սխալ լինել
• Ստուգեք մեկ այլընտրանքային աղբյուր նախքան շարունակելը
• Կիրառեք կարճ «սառեցման» ժամանակահատված առաջարկ ստանալու և գործելու միջև
• Ֆիզիկապես շրջվեք էկրանից՝ որոշումը դիտարկելու համար

Պարզ կանոններ:

• 5 վայրկյանի կանոն. Ծախսեք առնվազն 5 վայրկյան այլընտրանքները դիտարկելու համար նախքան ընդունելը
• «100x հետևանքի» կանոն. Եթե սխալվելը կարժենար ստուգման ջանքերի 100-ապատիկը, ստուգեք
• «Թերահավատին բացատրելու» կանոն. Կարո՞ղ եք պաշտպանել այս որոշումը մեկին, ով չի վստահում ավտոմատացմանը:

10.2. Երկարաժամկետ ռազմավարություններ

Ժամանակի ընթացքում զարգացնելու սովորություններ:

• Պարբերաբար կատարեք առաջադրանքներ առանց ավտոմատացված օգնության՝ հմտությունները պահպանելու համար
• Վարեք ավտոմատացման սխալների մատյան, որոնք դուք նկատում եք (դա դարձնում է սխալականությունը ակնառու)
• Պարբերաբար վերստուգեք ավտոմատացված առաջարկությունները՝ ստուգելով պատահական ընտրանք
• Ներդրեք ստուգումը ստանդարտ աշխատանքային հոսքերում՝ այն որպես կամընտիր դիտարկելու փոխարեն

Պահանջվող մտածելակերպի փոփոխություններ:

• Դիտարկեք ավտոմատացումը որպես «հավանականության գնահատող», ոչ թե «ճշմարտության շարժիչ»
• Ընդունեք համապատասխան թերահավատությունը որպես պրոֆեսիոնալիզմ, ոչ թե անվստահություն
• Գիտակցեք, որ մարդու դերն է զբաղվել այն դեպքերով, երբ ավտոմատացումը ձախողվում է
• Ընդունեք, որ ստուգումը արժեքավոր է, ոչ թե վատնված ջանք

Իրականացվելիք համակարգեր և գործընթացներ:

• Ստեղծեք ստուգաթերթեր, որոնք պահանջում են անկախ ստուգում նախքան ավտոմատացված գործողությունները
• Ստեղծեք «կարմիր թիմի» գործընթացներ, որտեղ ինչ-որ մեկի գործն է գտնել ավտոմատացման սխալներ
• Նախագծեք աշխատանքային հոսքեր, որտեղ ավտոմատացման առաջարկությունները ստացվում են մարդկային նախնական գնահատումից հետո
• Կառուցեք հետադարձ կապի օղակներ, որոնք տեղեկացնում են օգտատերերին, երբ ավտոմատացումը սխալ էր

Պրակտիկայի և ուժեղացման հմտություններ:

• Ոլորտի փորձաքննություն (որպեսզի կարողանաք ճանաչել անհավանական արդյունքները)
• Մտավոր մոտավոր գնահատում և խելամտության ստուգում
• Աղբյուրների ստուգման և հետազոտության հմտություններ
• Մետաճանաչողություն՝ ձեր սեփական ճանաչողական գործընթացների գիտակցում

10.3. Շրջակա միջավայրի ձևավորում

Ինչպես կառուցել ձեր միջավայրը այս կանխակալությունը նվազեցնելու համար:

• Կարգավորեք ավտոմատացումը՝ անորոշությունն արտահայտելու համար (հավանականության միջակայքեր, վստահության միջակայքեր)
• Նախագծեք ինտերֆեյսներ, որոնք պահանջում են սահմանափակումների ընդունում նախքան օգտագործելը
• Ստեղծեք ֆիզիկական կամ ժամանակային տարանջատում ավտոմատացված խորհրդի և գործողության միջև
• Ստեղծեք կազմակերպչական նորմեր, որոնք տոնում են ավտոմատացման սխալների հայտնաբերումը

Ֆիզիկական փոփոխություններ, որոնք օգնում են:

• Պահպանեք հասանելիությունը ոչ ավտոմատացված այլընտրանքներին (ֆիզիկական քարտեզներ, հաշվիչներ)
• Ցուցադրեք հիշեցումներ աշխատանքային տարածքներում ավտոմատացման սահմանափակումների մասին
• Պահեք ստուգման ռեսուրսները հեշտությամբ հասանելի

Սոցիալական կառույցներ, որոնք հակազդում են կանխակալությանը:

• Սահմանեք գործընկերային վերանայում զգալի ավտոմատացված որոշումների համար
• Ստեղծեք հոգեբանական անվտանգություն ավտոմատացումը հարցականի տակ դնելու համար
• Ճանաչեք և պարգևատրեք այն դեպքերը, երբ մարդիկ հայտնաբերել են ավտոմատացման սխալներ
• Կիսվեք ավտոմատացման ձախողումների պատմություններով որպես ուսուցման հնարավորություններ

Տեղեկատվական համակարգեր, որոնք պաշտպանում են դրանից:

• Հավանականության ահազանգի էկրաններ (LADs), որոնք ցույց են տալիս հավանականությունը, այլ ոչ թե երկուական ահազանգերը
• Համակարգեր, որոնք գրանցում են ավտոմատացման մարդկային անտեսումները հետագա վերլուծության համար
• Հետադարձ կապի համակարգեր, որոնք տեղեկացնում են օգտատերերին իրենց ճշգրտության/սխալի ցուցանիշի մասին ավտոմատացումն ընդունելիս
• Վահանակներ, որոնք ցույց են տալիս ավտոմատացման ճշգրտության ցուցանիշները

10.4. Երբ դիմել արտաքին օգնության

Որոշումների տեսակներ, որոնց դեպքում պետք է խորհրդակցեք ուրիշների հետ:

• Բարձր ռիսկային որոշումներ (ֆինանսական, բժշկական, իրավական, անվտանգության հետ կապված)
• Ձեր փորձաքննության տիրույթից դուրս որոշումներ
• Երբ ավտոմատացումը հակասում է ձեր ինտուիցիային, բայց դուք անորոշ եք
• Կրկնվող որոշումներ, որտեղ դուք երբեք չեք ստուգել ավտոմատացումը

Ումից խնդրել օգնություն:

• Ոլորտի փորձագետներից, ովքեր հասկանում են ավտոմատացման սահմանափակումները
• Գործընկերներից, ովքեր զգացել են ավտոմատացման ձախողումներ
• Թերահավատներից, ովքեր մարտահրավեր կնետեն առաջարկությանը
• Անկախ կողմերից, ովքեր շահագրգռված չեն ավտոմատացված որոշման մեջ

Ինչպես ձևակերպել հետադարձ կապի հարցումները:

• «Համակարգը խորհուրդ է տալիս X: Կարո՞ղ եք օգնել ինձ սթրես-թեստի ենթարկել սա:»
• «Նախքան ես ընդունեմ այս ավտոմատացված արդյունքը, ի՞նչ պետք է ստուգեմ:»
• «Ահա թե ինչ է ասում ավտոմատացումը. սա համընկնո՞ւմ է ձեր անկախ գնահատականի հետ:»

Նշաններ, որ ձեզ արտաքին տեսանկյուն է պետք:

• Դուք տևական ժամանակ ընդունել եք ավտոմատացված առաջարկություններ առանց ստուգման
• Ընթացիկ որոշման խաղադրույքները սովորականից բարձր են
• Դուք ձեզ անհարմար եք զգում առաջարկի կապակցությամբ, բայց չեք կարողանում ձևակերպել ինչու
• Ավտոմատացումը կիրառվում է նոր իրավիճակի նկատմամբ

11. Գործնական վարժություններ

Վարժություն 1. Ստուգման մարտահրավեր

• Նպատակը: Զարգացնել ավտոմատացված արդյունքների ստուգման սովորություն
• Պահանջվող ժամանակը: Օրական 10 րոպե 2 շաբաթվա ընթացքում
• Անհրաժեշտ նյութեր: Ձեր սովորական ավտոմատացված գործիքները (GPS, որոնման համակարգ, ուղղագրության ստուգում, հաշվիչ)
• Բարդության մակարդակ: Սկսնակ
• Հրահանգներ:
  1. Ամեն օր բացահայտեք 3 ավտոմատացված առաջարկություն, որ ստանում եք
  2. Յուրաքանչյուրի համար տրամադրեք 2 րոպե արդյունքը անկախ աղբյուրով ստուգելու համար
  3. Գրանցեք՝ արդյոք ավտոմատացումը ճիշտ էր, մասամբ ճիշտ, թե սխալ
  4. Նշեք, թե որքան ժամանակ պահանջվեց ստուգման համար՝ համեմատած այն ժամանակի հետ, որը դուք կծախսեիք սխալն ուղղելու վրա
  5. Շաբաթվա վերջում հաշվարկեք ձեր ավտոմատացման իրական ճշգրտության մակարդակը
• Մտորումների հարցեր:
  • Որքա՞ն հաճախ էր ավտոմատացումը սխալ կամ մասամբ սխալ:
  • Ո՞ր տեսակի առաջարկություններն էին ամենահուսալին: Ամենաքիչ հուսալի՞ն:
  • Ինչպե՞ս է ձեր ստուգման ջանքը համեմատվում սխալների հնարավոր արժեքի հետ:
• Հաճախականություն: Ամեն օր 2 շաբաթվա ընթացքում, այնուհետև շաբաթական ընտրովի ստուգումներ

Վարժություն 2. Ձեռքով աշխատանքի շաբաթ

• Նպատակը: Վերականգնել կապը ձեր անկախ դատողության ունակության հետ
• Պահանջվող ժամանակը: Մեկ շաբաթ
• Անհրաժեշտ նյութեր: Ձեր սովորական ավտոմատացված գործիքների այլընտրանքներ (ֆիզիկական քարտեզներ, ձեռքով հաշվարկ, սրբագրման հմտություններ)
• Բարդության մակարդակ: Միջին
• Հրահանգներ:
  1. Ընտրեք մեկ ավտոմատացված գործիք, որի վրա մեծապես ապավինում եք
  2. Պարտավորվեք չօգտագործել այն մեկ շաբաթվա ընթացքում (կամ օգտագործել այն միայն որպես պահուստ)
  3. Կատարեք առաջադրանքները ձեռքով՝ օգտագործելով ձեր սեփական դատողությունն ու հմտությունները
  4. Ամեն օր գրանցեք փորձի մասին. ի՞նչն էր ավելի դժվար, ի՞նչն էր ավելի հեշտ
  5. Շաբաթվա վերջում մտածեք, թե ինչ կարողություններ եք պահպանել ընդդեմ կորցրածների
• Մտորումների հարցեր:
  • Ո՞ր առաջադրանքներն էիք դուք լիովին ունակ կատարել առանց ավտոմատացման:
  • Որտե՞ղ իսկապես կարոտեցիք ավտոմատացման օգնությունը:
  • Ինչպե՞ս փոխվեց ձեր վստահությունը ձեր սեփական դատողության նկատմամբ:
• Հաճախականություն: Եռամսյակային, փոխելով տարբեր գործիքներ

Վարժություն 3. Նախնական հանձնառության մեթոդ

• Նպատակը: Նվազեցնել կատարման սխալները՝ նախքան ավտոմատացումից օգտվելը անկախ դատողություններ ձևավորելով
• Պահանջվող ժամանակը: 5 րոպե յուրաքանչյուր որոշման համար
• Անհրաժեշտ նյութեր: Թուղթ կամ նշումների հավելված
• Բարդության մակարդակ: Բարձր
• Հրահանգներ:
  1. Նախքան ավտոմատացված գործիքի դիմելը, գրի առեք ձեր նախնական դատողությունը
  2. Նշեք ձեր վստահության մակարդակը (ցածր/միջին/բարձր)
  3. Փաստաթղթավորեք, թե ինչ տեղեկատվության վրա եք հիմնում ձեր դատողությունը
  4. Միայն դրանից հետո խորհրդակցեք ավտոմատացման հետ
  5. Համեմատեք ձեր դատողությունը ավտոմատացված արդյունքի հետ. գրանցեք համաձայնությունները և անհամաձայնությունները
• Մտորումների հարցեր:
  • Որքա՞ն հաճախ էր ձեր անկախ դատողությունը համընկնում ավտոմատացման հետ:
  • Երբ դուք համաձայն չէիք, ո՞վ էր ավելի հաճախ ճիշտ լինում:
  • Ինչպե՞ս նախապես պարտավորվելը փոխեց ձեր հարաբերությունները ավտոմատացված արդյունքի հետ:
• Հաճախականություն: Բոլոր նշանակալի որոշումների համար

Ամենօրյա պրակտիկա

«5 վայրկյանի դադար»

Նախքան ցանկացած ավտոմատացված առաջարկ ընդունելը, դադար տվեք 5 վայրկյան և հարցրեք. «Կա՞ որևէ պատճառ, որ սա կարող է սխալ լինել»: Կարճ դադարն ընդհատում է ավտոմատ ընդունման ռեակցիան և ստեղծում է տարածք քննադատական գնահատման համար:

• Առաջարկվող տևողությունը. 5 վայրկյան յուրաքանչյուր ավտոմատացված մուտքագրման համար
• Օրվա լավագույն ժամանակը. Շարունակաբար ողջ օրվա ընթացքում
• Ինչպես հետևել առաջընթացին. Պահպանեք արված դադարների հաշվառում; նշեք այն դեպքերը, երբ դադարը ստիպեց ձեզ հարցականի տակ դնել կամ ստուգել

Շաբաթական մարտահրավեր

«Թերահավատի աուդիտ»

Ամեն շաբաթ ընտրեք ձեր կյանքի մի ոլորտ, որտեղ դուք մեծապես ապավինում եք ավտոմատացմանը (GPS, էլ. փոստի զտիչներ, որոնման վարկանիշներ, ԱԲ օգնություն): Անցկացրեք այդ շաբաթվա 5-10 ավտոմատացված որոշումների համակարգված աուդիտ:

• Սպասվող արդյունքներ 4 շաբաթ անց. Չափաբերված ըմբռնում այն մասին, թե որտեղ է ձեր ավտոմատացումը հուսալի ընդդեմ սխալականի; բարելավված ստուգման սովորություններ; կրճատված կույր վստահություն
• Օրագրային հուշումներ մտորումների համար.
  • «Ավտոմատացման ճշգրտության վերաբերյալ ո՞ր ենթադրությանն է մարտահրավեր նետել այս աուդիտը:»
  • «Եթե ես ստիպված լինեի գումար խաղադրույք կատարել, որ այս առաջարկը ճիշտ է, որքա՞ն կդնեի:»
  • «Ի՞նչ ստուգման քայլ կարող եմ ավելացնել իմ առօրյային, որը կորսար իմ գտած սխալները:»

12. Հատուկ լսարանների համար

Ղեկավարների և մենեջերների համար

Ինչպես է այս կանխակալությունն ազդում առաջնորդության արդյունավետության վրա:

• Ղեկավարները, ովքեր անքննադատորեն ընդունում են ավտոմատացված վերլուծությունները, կարող են բաց թողնել կարևոր տեղական իրականությունները
• Կատարողականի ավտոմատացված չափանիշները կարող են կեղծ վստահություն ստեղծել թիմի առողջության վերաբերյալ
• Ալգորիթմական կանխատեսումների վրա հիմնված ռազմավարական որոշումները կարող են հաշվի չառնել աննախադեպ պայմանները

Հատուկ ռազմավարություններ կազմակերպչական համատեքստերի համար:

• Մոդելավորեք համապատասխան թերահավատություն՝ հրապարակայնորեն հարցականի տակ դնելով ավտոմատացված առաջարկությունները
• Ստեղծեք հոգեբանական անվտանգություն աշխատակիցների համար՝ ավտոմատացմանը մարտահրավեր նետելու համար
• Սահմանեք հստակ պատասխանատվություն, որը չի ցրվում «համակարգն այն խորհուրդ տվեց» արտահայտությամբ
• Ներդրեք վերապատրաստման մեջ, որն ընդգծում է դատողությունը, այլ ոչ միայն գործիքի իմացությունը

Թիմային միջամտություններ:

• Իրականացրեք «սատանայի փաստաբանի» դերեր հատկապես ավտոմատացումը հարցականի տակ դնելու համար
• Պահանջեք բազմաթիվ անկախ գնահատականներ նախքան բարձր ռիսկային ավտոմատացված առաջարկություններն ընդունելը
• Թիմային հանդիպումներում կիսվեք ավտոմատացման ձախողումների պատմություններով որպես ուսուցման հնարավորություններ
• Տոնեք այն դեպքերը, երբ թիմի անդամները նկատել են ավտոմատացման սխալներ

Իրականացվելիք որոշումների կայացման գործընթացներ:

• Pre-mortems (նախնական վերլուծություններ). «Եթե այս ավտոմատացված առաջարկը հանգեցներ աղետի, ի՞նչ սխալ կգնար:»
• Կարմիր թիմային գործընթաց (Red teaming). Հանձնարարեք որևէ մեկին փաստարկներ բերել ավտոմատացված առաջարկի դեմ
• Չափաբերման նիստեր. Համեմատեք անցյալի ավտոմատացված կանխատեսումները իրական արդյունքների հետ

Ծնողների և մանկավարժների համար

Ինչպես սովորեցնել երեխաներին այս կանխակալության մասին:

• Բացատրեք, որ համակարգիչները օգտակար գործիքներ են, բայց միշտ չեն ճիշտ
• Ներկայացրեք հարցեր տալու սովորությունը. «Ինչպե՞ս համակարգիչը իմացավ դա: Կարո՞ղ է այն սխալվել:»
• Ցույց տվեք ավտոմատացման սխալներ առօրյա կյանքում (օրինակ՝ վատ ավտոմատ ուղղումներ, անիմաստ որոնման արդյունքներ)
• Խրախուսեք երեխաներին մոտավորապես հաշվել մաթեմատիկական պատասխանները նախքան հաշվիչ օգտագործելը

Թվային գրագիտության հմտություններ զարգացնելու համար:

• Սովորեցրեք որոնման համակարգի արդյունքների անկախ ստուգում
• Քննարկեք, թե ինչպես են ալգորիթմները որոշում, թե ինչ բովանդակություն ցույց տալ սոցիալական մեդիայում
• Խաղացեք «գտիր սխալը» ԱԲ-ի կողմից ստեղծված տեքստով կամ պատկերներով
• Ցույց տվեք, թե ինչպես պետք է օգտագործել բազմաթիվ աղբյուրներ թվային «փաստը» հաստատելու համար

Մշակողների և դիզայներների համար

Ինչպես նախագծել ավելի անվտանգ համակարգեր:

• Խուսափեք կեղծ որոշակիությունից ձեր ինտերֆեյսներում
• Օգտագործեք հավանականության ահազանգի էկրաններ (LADs), որոնք ցույց են տալիս հավանականությունը պարզ համոզմունքի փոխարեն
• Ներդրեք ճանաչողական հարկադրական գործառույթներ (cognitive forcing functions), որոնք պահանջում են վերլուծություն նախքան առաջարկի բացահայտումը
• Նախագծեք համակարգեր, որոնք «անկում են ապրում նրբագեղորեն» (fail gracefully), երբ անորոշ են՝ թողնելով դատողությունը մարդուն

13. Մշակութային համատեքստ

Ավտոմատացման կանխակալությունը միատեսակ չի դրսևորվում բոլոր մշակույթներում.

• Իշխանության հեռավորություն (Power Distance): Մշակույթները, որոնք ունեն բարձր իշխանության հեռավորություն (հարգանք հեղինակության նկատմամբ), հակված են ավելի մեծ ավտոմատացման կանխակալության: Համակարգչին վերաբերվում են որպես վերադաս իշխանության, և դրա արդյունքները հարցականի տակ դնելը անհարմար է զգացվում:
• Անորոշությունից խուսափում: Մշակույթները, որոնք մեծապես խուսափում են անորոշությունից, կարող են ավելի շատ ապավինել ավտոմատացված համակարգերին՝ անվտանգության և օբյեկտիվության ընկալվող երաշխիքների համար:
• Տեխնոլոգիական օպտիմիզմ ընդդեմ թերահավատության: Հասարակությունները տարբերվում են տեխնոլոգիական լուծումների նկատմամբ իրենց բազային վստահությամբ: Այն երկրները, որոնք ունեն վերջին տեխնոլոգիաների արագ ընդունման պատմություն, կարող են ավելի մեծ խոցելիություն դրսևորել այս կանխակալության նկատմամբ:
• Անհատապաշտություն ընդդեմ կոլեկտիվիզմի: Անհատապաշտական մշակույթները կարող են ավելի շատ արժևորել անկախ դատողությունը՝ պոտենցիալ մեղմացնելով կանխակալությունը, մինչդեռ կոլեկտիվիստական մշակույթները կարող են ավելի պատրաստակամ լինել ենթարկվելու «համակարգին»:

14. Ազդեցությունները ԱԲ-ի և ապագայի համար

Արհեստական բանականության, մասնավորապես Մեծ լեզվական մոդելների (LLM) արագ զարգացումը փոխում է ավտոմատացման կանխակալության բնապատկերը.

• Սոցիալական վստահության կողոպտում: Ի տարբերություն ավանդական համակարգիչների, որոնք ցուցադրում էին թվեր և հրամաններ, LLM-ները հաղորդակցվում են բնական լեզվով, հաճախ մարդանման վստահությամբ: Սա միացնում է էվոլյուցիոն սոցիալական վստահության մեխանիզմները, որոնք նախատեսված չեն մեքենաների հետ փոխազդելու համար:
• Հալյուցինացիաների ընդունում: LLM-ները կարող են ստեղծել «հալյուցինացիաներ» (հորինված տեղեկատվություն), որոնք կառուցվածքային և շարահյուսական առումով կատարյալ են: Առանց ավանդական ազդանշանների, որոնցով մարդիկ սովորաբար ճանաչում են սուտը (վարանումներ, անհետևողականություն, նյարդայնություն), հալյուցինացիաները խիստ համոզիչ են դառնում, ինչը հանգեցնում է աննախադեպ մակարդակի ավտոմատացման կանխակալության:
• Միկրո-ավտոմատացման որոշումներ: Քանի որ ԱԲ-ն ինտեգրվում է առօրյա գործիքներին (էլ. փոստի պատասխաններ, կոդի գեներացում, փաստաթղթերի ամփոփում), մարդիկ օրական հարյուրավոր փոքր ավտոմատացված որոշումներ են կայացնում, ինչը դարձնում է զգոն ստուգումն անիրագործելի:
• Սև արկղի անթափանցիկություն: Ի տարբերություն հին ավտոմատացված համակարգերի, որոնց կանոնները կարող էին աուդիտի ենթարկվել, խորը ուսուցման մոդելները (deep learning models) գործում են որպես «սև արկղեր»: Նույնիսկ մշակողները միշտ չէ, որ կարող են բացատրել, թե ինչու է մոդելը որոշակի արդյունք տվել: Սա կտրուկ մեծացնում է Ստուգման բարդությունը (Verification Complexity)՝ ավտոմատացման կանխակալության հիմնական շարժիչ ուժը:
• Գիտելիքի դեգրադացիա: Քանի որ մարդիկ ավելի ու ավելի են ապավինում ԱԲ-ին տեղեկատվության որոնման և սինթեզի համար, նրանք կարող են կորցնել հիմնարար գիտելիքների բազան, որն անհրաժեշտ է ԱԲ-ի արդյունքներն արդյունավետորեն ստուգելու համար:

15. Առասպելներ և թյուրիմացություններ

16. Փորձագետների կարծիքներ

«Ավտոմատացման կանխակալությունը հանդես է գալիս որպես «զգոն տեղեկատվության որոնման և մշակման էվրիստիկ փոխարինող»՝ ճանաչողական «կարճ ճանապարհ, որը վաղաժամ դադարեցնում է իրավիճակի գնահատումը»»: — Լինդա Սկիտկա, Քեթլին Մոզիեր և Մարկ Բուրդիկ, 1999

«Վստահությունը այն վերաբերմունքն է, որ գործակալը կօգնի հասնել անհատի նպատակներին անորոշությամբ և խոցելիությամբ բնութագրվող իրավիճակում»: — Ջոն Դ. Լի և Կատրինա Ա. Սի, 2004

«Օգտատերերը հոժարակամորեն ընդունել են համակարգի սխալները՝ չնայած դրան հակասող էական ապացույցներին՝ նախապատվությունը տալով մեքենայի դատողությանը ռազմի դաշտի իրականությանը»: — Պաշտպանական գիտության խորհրդի զեկույց Patriot հրթիռների եղբայրասպանությունների վերաբերյալ, 2005

«Անձնակազմը գտնվում էր «օղակից դուրս» և չէր կարողանում հասկանալ, թե ինչ գրողի տարած էր անում ավտոմատացումը»: — FAA-ի մարդկային գործոնների վերլուծություն Թռիչք 447-ի վերաբերյալ, մեջբերված զեկույցում

«LLM-ների սխալ առաջարկությունները զգալիորեն նվազեցնում են բժիշկների ախտորոշիչ կատարողականությունը՝ առաջացնելով ավտոմատացման կանխակալություն»: — 2025 թվականի պատահական կլինիկական փորձարկում ԱԲ-ի աջակցությամբ ախտորոշման վերաբերյալ

«Երբ մարդիկ պատերազմ են սկսում, նրանք դա չեն սկսում միայն հինգ հրթիռներով»: — Փոխգնդապետ Ստանիսլավ Պետրով, բացատրելով խորհրդային միջուկային վաղ նախազգուշացման համակարգը անտեսելու իր որոշումը, 1983

17. Հիմնական հետևություններ

1. Ավտոմատացման կանխակալությունը համընդհանուր է և խորը արմատավորված: Այն բխում է զարգացած ճանաչողական արդյունավետության մեխանիզմներից, որոնք լավ էին ծառայում մարդկանց տեխնոլոգիայից առաջ, բայց ստեղծում են վտանգավոր խոցելիություններ անկատար ավտոմատացված համակարգերի վրա կիրառելիս:

2. Երկու տեսակի սխալները բնորոշում են այն: Բացթողման սխալներ (խնդիրների բացթողում, քանի որ ավտոմատացումը չի ահազանգել) և կատարման սխալներ (ակտիվորեն հետևելով սխալ ավտոմատացված առաջարկներին): Կատարման սխալներն ավելի մտահոգիչ են, քանի որ դրանք ներկայացնում են դատողության ակտիվ հանձնում:

3. Հուսալիությունը վտանգ է ստեղծում: Պարադոքսը. որքան ավելի հուսալի է դառնում ավտոմատացումը, այնքան ավելի վտանգավոր են դառնում մարդկային սխալները, երբ ավտոմատացումը ձախողվում է: «Մարդկային պահուստային» ենթադրությունը մաթեմատիկորեն սխալ է խիստ հուսալի համակարգերի համար:

4. Հետևանքները գրված են պատմության մեջ: Սկսած խոցված ինքնաթիռներից մինչև անօրինական բանտարկություններ, ավտոմատացման կանխակալությունը արժեցել է կյանքեր, ազատություն և միլիարդավոր դոլարներ: Սրանք տեսական ռիսկեր չեն:

5. Վերապատրաստումը միայնակ բավարար չէ: Համակարգի դիզայնն ավելի կարևոր է, քան անհատական կամքի ուժը: Հավանականության ահազանգի էկրանները, ճանաչողական հարկադրական գործառույթները և աշխատանքային հոսքի սոցիոտեխնիկական դիզայնը ավելի արդյունավետ են, քան մարդկանց ասելը, որ «ավելի շատ փորձեն»:

6. Վստահությունը պետք է չափաբերվի, ոչ թե առավելագույնի հասցվի: Նպատակը ոչ թե ավտոմատացմանը չվստահելն է, այլ վստահությունը իրական հնարավորություններին համապատասխանեցնելը:

7. ԱԲ դարաշրջանը մեծացնում է ռիսկերը: Մեծ լեզվական մոդելները հաղորդակցվում են բնական լեզվով՝ միացնելով խորապես արմատավորված սոցիալական վստահության մեխանիզմները: «Հալյուցինացիաների ընդունումը» ներկայացնում է ավտոմատացման կանխակալության նոր և հզոր դրսևորում:

18. Լրացուցիչ ռեսուրսներ

Ակադեմիական հոդվածներ

• Skitka, L. J., Mosier, K. L., & Burdick, M. (1999). Does automation bias decision-making? International Journal of Human-Computer Studies, 51(5), 991–1006.
• Parasuraman, R., & Manzey, D. H. (2010). Complacency and bias in human use of automation: An attentional integration. Human Factors, 52(3), 381–410.
• Lee, J. D., & See, K. A. (2004). Trust in automation: Designing for appropriate reliance. Human Factors, 46(1), 50–80.
• Lyell, D., & Coiera, E. (2017). Automation bias and verification complexity: A systematic review. Journal of the American Medical Informatics Association, 24(2), 423–431.
• Goddard, K., Roudsari, A., & Wyatt, J. C. (2012). Automation bias: A systematic review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association, 19(1), 121–127.

Գրքեր

• Parasuraman, R., & Mouloua, M. (Eds.). (1996). Automation and Human Performance: Theory and Applications. Lawrence Erlbaum Associates.
• Wickens, C. D., & Hollands, J. G. (2000). Engineering Psychology and Human Performance (3rd ed.). Prentice Hall.
• Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.
• Reason, J. (1990). Human Error. Cambridge University Press.
• Lee, J. D., Wickens, C. D., Liu, Y., & Boyle, L. N. (2017). Designing for People: An Introduction to Human Factors Engineering (3rd ed.). CreateSpace.

Գրքի գլուխներ

• Mosier, K. L., & Skitka, L. J. (1996). Human decision makers and automated decision aids: Made for each other? In R. Parasuraman & M. Mouloua (Eds.), Automation and Human Performance (pp. 201–220). Lawrence Erlbaum Associates.

19. Ամփոփիչ քարտ

20. Օգտագործված տերմինների բառարան

21. Քննարկման հարցեր

Գրքի ակումբների, լսարանների կամ ինքնամտորման համար.

1. Զեկույցում նշվում է, որ «որքան ավելի հուսալի է մեքենան, այնքան ավելի վտանգավոր է դառնում մարդ օպերատորի սխալվելու հավանականությունը»: Արդյո՞ք այս պարադոքսը լուծելի է, թե՞ այն մարդ-ավտոմատացում համագործակցության բնորոշ սահմանափակում է:

2. Ստանիսլավ Պետրովը հաջողությամբ դիմակայեց ավտոմատացման կանխակալությանը և պոտենցիալ կանխեց միջուկային պատերազմը: Ի՞նչ անձնական հատկանիշներ, ուսուցում կամ հանգամանքներ նրան հնարավորություն տվեցին դա անել, երբ մյուսները (ինչպես Patriot-ի օպերատորները) չկարողացան:

3. Մեծ Բրիտանիայի փոստային բաժանմունքի Horizon սկանդալը ցույց տվեց, որ ավտոմատացման կանխակալությունը շարունակվում է 15+ տարի ինստիտուցիոնալ մասշտաբով: Ի՞նչ համակարգային փոփոխություններ կպահանջվեն ապագայում նման ինստիտուցիոնալ ավտոմատացման կանխակալությունը կանխելու համար:

4. Քանի որ ԱԲ լեզվական մոդելները դառնում են ավելի բարդ, նրանք հաղորդակցվում են նույն իմաստային ուղիներով, որոնք մարդիկ օգտագործում են ճշմարտությունը փոխանցելու համար: Արդյո՞ք սա ԱԲ-ի ավտոմատացման կանխակալությունը հիմնովին տարբերում է նախորդ ձևերից: Արդյո՞ք առկա մեղմացման ռազմավարությունները բավարար են:

5. Արդյո՞ք պետք է լինի իրավական պատասխանատվություն, երբ մարդիկ հետևում են սխալ ավտոմատացված առաջարկություններին: Ինչպե՞ս ենք մենք հավասարակշռում պատասխանատվությունը մարդ օպերատորի, կազմակերպության և ավտոմատացման վաճառողի միջև: