Автоматжуулалтын төөрөгдөл

Товчхондоо

1. Товч хураангуй

Автоматжуулалтын төөрөгдөл гэдэг нь компютерээс гаргасан зөвлөмжүүдэд өөрсдийн дүгнэлт эсвэл бусад мэдээллийн эх сурвалжаас илүү итгэх хандлага юм—тэр ч байтугай компютер илт буруу байсан ч хамаагүй. Машин бидэнд ямар нэг зүйл хэлэх үед бид ихэвчлэн үүнийг баталгаажуулалтгүйгээр үнэн гэж үздэг бөгөөд үндсэндээ шүүмжлэлт сэтгэлгээгээ алгоритмд бууж өгч байна гэсэн үг юм. Энэхүү сэтгэхүйн товчлол нь танин мэдэхүйн эрчим хүчийг хэмнэх үүднээс үүсэж хөгжсөн боловч төгс бус автоматжуулсан системд ашиглагдах үедээ аюултай болж, нисэх хүчин, эрүүл мэнд, хууль эрх зүйн үйл явц, өдөр тутмын шийдвэр гаргахад алдаа гарахад хүргэдэг.

2. Шинжлэх ухааны үндэслэл

2.1. Нээлт ба түүх

Нисэхийн хүрээлэлд "автоматжуулалтад тайвшрах" талаарх ам дамжсан нотолгоонууд хэдэн арван жилийн турш оршин байсан ч автоматжуулалтын төөрөгдлийн албан ёсны шинжлэх ухааны судалгаа нь 1990-ээд оны сүүлээр эхэлсэн. Линда Скитка (Linda Skitka), Кэтлин Мозиер (Kathleen Mosier), Марк Бурдик (Mark Burdick) нарын 1999 оны "Автоматжуулалт шийдвэр гаргахад нөлөөлдөг үү?" (Does automation bias decision-making?) хэмээх түүхэн судалгаа нь энэ үзэгдлийг зүгээр нэг ядаргаа эсвэл ур чадваргүй байдлаас ангид, танин мэдэхүйн өвөрмөц төөрөгдөл болохыг ялгаж салгасан юм. Олон улсын хүн-компютерийн харилцан үйлчлэлийн сэтгүүл (International Journal of Human-Computer Studies)-д нийтлэгдсэн энэхүү өгүүлэл нь хүн-компютерийн харилцан үйлчлэлийн судалгааны чиг хандлагыг үндсээр нь өөрчилсөн.

Уг ойлголт нь автоматжуулсан системүүд найдвартай хэдий ч хүний алдааны шинэ төрлүүдийг бий болгодог гэсэн өсөн нэмэгдэж буй ухамсараас үүдэлтэй. Эртний нисэхийн ослууд нисгэгчид авто-нисгэгчийн системээс аюултай хэмжээнд хамааралтай болж байгааг харуулсан боловч эрдэмтэд нарийн туршилтын судалгаа хийх хүртэл энэхүү хамаарлыг тоолж, тодорхойлж чадаагүй юм.

1999 оноос хойш бидний ойлголт мэдэгдэхүйц хувьсан өөрчлөгдсөн. Судлаачид автоматжуулалтын төөрөгдлийг үүнтэй холбоотой боловч ялгаатай ойлголт болох автоматжуулалтын тайвшралаас (automation complacency) салгаж авч үзэх болсон. Энэ салбар нь нисэх хүчнээс эхлээд эрүүл мэнд, өөрөө явагч тээврийн хэрэгсэл, хууль эрх зүйн систем, хамгийн сүүлд хиймэл оюун ухаан болон Том хэлний загварууд (LLMs) хүртэл өргөжсөн. Үүсгэгч хиймэл оюун ухааны өсөлт нь энэхүү төөрөгдлийн шинэ илрэлүүдийг, тэр дундаа "хий үзэгдлийг хүлээн зөвшөөрөх" (hallucination acceptance) буюу үнэмшилтэй сонсогдож байгаа боловч зохиомол хиймэл оюун ухааны үр дүнгүүдэд итгэх хандлагыг нэвтрүүлсэн.

Судалгааны гол чухал үйл явдлуудад:

• 1999: Скитка, Мозиер, Бурдик нарын үндэслэл тавьсан туршилтын судалгаа
• 2004: Ли ба Сигийн итгэлцлийн шалгалт тохируулгын хүрээ (trust calibration framework)
• 2010: Парасураман ба Манзей нарын "Анхаарлын нэгдэл" (Attentional Integration) тойм нь тайвшралыг төөрөгдлөөс ялгаж салгасан
• 2017: Лайелл ба Койера нарын "Баталгаажуулалтын нарийн төвөгтэй байдал" (Verification Complexity) загвар
• 2023–2025: LLM-ээр өдөөгдсөн автоматжуулалтын төөрөгдөл ба хий үзэгдлийг хүлээн зөвшөөрөх тухай судалгааны тэсрэлт

2.2. Гол судлаачид

2.3. Түүхэн судалгаанууд

"Автоматжуулалт шийдвэр гаргахад нөлөөлдөг үү?" (Скитка, Мозиер ба Бурдик, 1999)

Судлаачид хүний операторууд автоматжуулсан шийдвэр гаргахад дэмжлэг үзүүлэх системийн тусламжтайгаар системийн төлөв байдлыг хэрхэн хянаж байгааг туршилтаар шалгахын тулд бага нарийвчлалтай нислэгийн симуляцийн даалгаврыг зохион бүтээжээ. Оролцогчид хэмжигчүүдийг хянах, симуляцийг "нисгэх" даалгавар авсан. Туршилтын загвар нь найдвартай боловч төгс бус автомат хяналтын туслахыг нэвтрүүлж, итгэлцэл болон алдааны огтлолцол дээрх хүний зан үйлийг ажиглах боломжийг судлаачдад олгосон байна.

Гол үр дүнгүүд:

• Автоматжуулсан туслахтай оролцогчид гарын авлагын операторуудтай харьцуулахад сонор сэрэмжтэй мэдээлэл хайх үйл ажиллагаанд оролцох магадлал хамаагүй бага байсан.
• Автоматжуулалт нь хүний анхаарлыг зүгээр л нөхсөнгүй—энэ нь түүнийг үр дүнтэйгээр орлуулсан.
• Автомат туслах нь буруу үйлдэл санал болгоход, түүхий өгөгдөл нь илт буруу болохыг харуулж байсан ч гэсэн операторуудын нэлээд хувь нь тэрхүү зөвлөмжийг дагасан байна.
• Судалгаагаар алдааны хоёр төрлийг тодорхойлсон: орхигдуулах алдаа (автоматжуулалт сэрэмжлүүлээгүй тул үйл явдлыг орхих) болон гүйцэтгэлийн алдаа (буруу автомат зөвлөмжийг дагах).

Зохиогчид автоматжуулалтын төөрөгдөл нь "сонор сэрэмжтэй мэдээлэл хайх, боловсруулах эвристик орлуулагч", "нөхцөл байдлын үнэлгээг хугацаанаас нь өмнө зогсоодог" танин мэдэхүйн "товчлол" болж ажилладаг гэж дүгнэжээ.

Санах ойн гажуудлын судалгаа (Мозиер, Дараагийн судалгаа)

Нисгэгчдийг хамарсан дараагийн судалгаагаар автоматжуулалтын төөрөгдөлд автсан хүмүүсийн 67% нь хожим нь уг үйл явдлын "хуурамч санах ой"-г харуулсан байна. Тэд автоматжуулалтын буруу шийдвэрийг дэмжсэн дохиог түүхий өгөгдөл дээр харсан гэж дурссан бөгөөд эдгээр дохио нь хэзээ ч бодит байдал дээр байгаагүй юм. Энэ нь автоматжуулалтын төөрөгдөл нь ойлголтыг өнгөрсөн цаг хугацаанд өөрчилж чаддаг болохыг харуулж байна; тархи нь автоматжуулалтын дүгнэлтийг хүлээн зөвшөөрч, үүнийгээ батлахын тулд нотлох баримтуудыг зохиомол байдлаар бий болгодог.

Итгэлцлийн шалгалт тохируулгын судалгаа (Ли ба Си, 2004)

Автоматжуулалтад итгэх итгэлийг "тодорхой бус байдал, эмзэг байдлаар тодорхойлогддог нөхцөл байдалд төлөөлөгч нь хувь хүний зорилгод хүрэхэд тусална гэсэн хандлага" гэж тодорхойлсон. Итгэлцлийн гурван үндсийг тодорхойлсон: Гүйцэтгэл (түүхэн найдвартай байдал), Үйл явц (алгоритмуудыг ойлгох) болон Зорилго (зохион бүтээгчийн санаа). Үйл явцын ойлголтгүйгээр зөвхөн Гүйцэтгэлд найдах нь захын тохиолдлуудын үед гамшгийн төөрөгдөлд хүргэдэг болохыг харуулсан.

Баталгаажуулалтын нарийн төвөгтэй байдлын системчилсэн тойм (Лайелл ба Койера, 2017)

Даалгавар нь хангалттай нарийн төвөгтэй байвал автоматжуулалтын төөрөгдөл нь нэг даалгаварт орчинд ч маш их тархдаг болохыг харуулсан. Баталгаажуулалтын нарийн төвөгтэй байдлын (Verification Complexity) тухай ойлголтыг танилцуулсан: автоматжуулалтын төөрөгдөл үүсэх магадлал нь автоматжуулалтын гаралтыг баталгаажуулахад шаардагдах танин мэдэхүйн хүчин чармайлттай шууд пропорциональ байна. Энэхүү загвар нь орчин үеийн "хар хайрцаг" (black box) хиймэл оюун ухааны системийг ойлгоход маш чухал юм.

2.4. Мэдрэл судлалын үндэслэл

Автоматжуулалтын төөрөгдлийн мэдрэл судлалын үндэслэл нь тархины эрчим хүч хэмнэх үндсэн механизмуудтай холбоотой байдаг:

Танин мэдэхүйн ачаалал ба тархины урд талын бор гадаргын хэсэг (Prefrontal Cortex): Тархи бол энерги хэмнэдэг эрхтэн юм. Шийдвэр гаргах, баталгаажуулах гэх мэт гүйцэтгэх үүрэг хариуцдаг тархины урд талын бор гадаргын хэсэгт бодисын солилцооны ихээхэн нөөц шаардлагатай байдаг. Автоматжуулалт нь үнэмшилтэй хариулт өгөх үед тархины анхдагч горим нь өндөр эрчим хүч шаарддаг баталгаажуулалтын үйл явцыг оролцуулахгүйгээр үүнийг шууд хүлээн зөвшөөрөх явдал байдаг.

"Танин мэдэхүйн харамч" механизм: Анх Фиске ба Тэйлор (1984) нарын дэвшүүлсэн энэхүү зарчим нь хүмүүс танин мэдэхүйн хүчин чармайлтыг багасгахын тулд хувьслын хувьд сэдэлжсэн байдаг гэж үздэг. Орчин нөхцөл нь зөвшөөрч байгаа үед тархи эвристик боловсруулалт руу (сэтгэхүйн товчлол) шилждэг. Автоматжуулалт нь "супер-эвристик" болж ажиллах замаар үүнийг ашигладаг.

Анхаарлын сүлжээ ба Сонор сэрэмжийн бууралт: Парасураманы тархины дүрслэлийг ашиглан хийсэн нейроэргономикийн судалгаа нь хяналтын даалгавраас тархи хэзээ салж байгааг илрүүлжээ. Найдвартай автоматжуулсан системийг идэвхгүй хянах үед анхаарлын сүлжээ (ялангуяа нурууны анхаарлын сүлжээ) цаг хугацааны явцад идэвхжил нь буурдаг—үүнийг "сонор сэрэмжийн бууралт" гэнэ.

Санах ойн зохиомол байдал: Автоматжуулалтаас үүдэлтэй алдааны дараа нисгэгчдийн 67% нь хуурамч санах ойтой байсан нь санах ойн нэгтгэлийн үйл явц үүнд оролцдог болохыг харуулж байна. Тархи автоматжуулсан дүгнэлтийг хүлээн зөвшөөрөх үед гиппокампын санах ойн системүүд нь нэгтгэх явцдаа дэмжих "нотолгоог" бий болгож, алдаатай шийдвэрийг уялдаа холбоотой хүүрнэлд оруулдаг байж магадгүй.

Допамины шагналын замууд: Автоматжуулалтад итгэж, зөв байх нь шагналын замыг өдөөдөг. Энэхүү эерэг бататгал нь автоматжуулалтыг хүлээн зөвшөөрөх эвристикийг цаг хугацааны явцад улам хүчтэй болгож, үүнийг үгүйсгэхэд улам бүр хэцүү болгодог.

3. Хувьслын гарал үүсэл

Автоматжуулалтын төөрөгдөл нь технологийн өмнөх орчинд амьд үлдэх чадварыг нэмэгдүүлэхийн тулд хувьсан өөрчлөгдсөн танин мэдэхүйн механизмын буруу хэрэглээг илэрхийлдэг.

Хомсдолтой ертөнц дэх эрчим хүчний хэмнэлт: Бидний өвөг дээдэс калори маш үнэ цэнэтэй орчинд амьдарч байсан. Тархи нь биеийн энергийн ойролцоогоор 20%-ийг зарцуулдаг. Хувьсал нь амьд үлдэхийн тулд бие махбодийн үйл ажиллагаанд энергиэ хэмнэхийн зэрэгцээ "хангалттай сайн" шийдвэр гаргадаг танин мэдэхүйн товчлолуудыг илүүд үзсэн. Танин мэдэхүйн ажлыг найдвартай эх сурвалжид шилжүүлэх нь дасан зохицох нэг хэлбэр байсан.

Нийгмийн хүндлэл ба Мэргэшил: Хүмүүс мэргэжилтнүүд (ахмадууд, чадварлаг анчид, эдгээгчид) рүү хандах нь амьд үлдэх давуу талыг олгодог нийгмийн бүлгүүдэд хувьсан хөгжсөн. Бид мэдээллийн найдвартай эх сурвалжийг тодорхойлж, тэдэнд найдах эвристикийг хөгжүүлсэн. Автоматжуулсан системүүд, ялангуяа 99% найдвартай байдаг системүүд нь эдгээр адилхан дагаж мөрдөх механизмуудыг идэвхжүүлдэг.

Хэрэгсэлд итгэх итгэл нь амьд үлдэх шалгуур болох нь: Өөрийн хэрэглүүрүүдэд итгэх нь хувьслын хувьд чухал байсан. Жад нь зөв нисэх эсэхэд байнга эргэлздэг анчин саажилтад орох байсан. Хувьсал нь найдвартай багаж хэрэгсэлд итгэх итгэлийг сонгосон. Орчин үеийн автоматжуулалт нь энэхүү гүн гүнзгий хэрэгсэлд итгэх механизмыг булаан авч байна.

Алдаа юу эсвэл Онцлог уу? Автоматжуулалтын төөрөгдөл бол үндсэндээ буруу хэрэглэгдэж буй онцлог юм. Танин мэдэхүйн үр ашгийн стратеги нь санал хүсэлт шууд ирдэг, үр дагавар нь пропорциональ байдаг байгалийн орчинд сайн ажилладаг. Харин алдаа ховор боловч сүйрлийн аюултай, санал хүсэлт хойшлогддог, үр дагавар нь тэгш хэмгүй байдаг өндөр эрсдэлтэй технологийн орчинд энэ нь гамшгийн хэмжээнд бүтэлгүйтдэг.

Байгаль орчны үл тохирол: Энэхүү төөрөгдөл нь дасан зохицоход хэрэгтэй байсан орчин нь орчин үеийн технологийн нөхцөл байдлаас эрс ялгаатай байдаг. Чулуун зэвсэгтэй харьцахад ашигтай байсан эвристик нь цөмийн реактор, нисэх онгоц, эмнэлгийн оношилгоог хянадаг системд хэрэглэгдэх үед аюултай болдог. Бидний танин мэдэхүйн архитектур нь найдвартай байдал-аюулын парадоксыг зохицуулахаар хөгжөөгүй: машин хэдий чинээ найдвартай байна, хүний алдаа төдий чинээ аюултай болдог.

4. Энэ төөрөгдөл хэрхэн илэрдэг вэ

4.1. Өдөр тутмын амьдралд

• GPS навигаци: Жолооч нар чиглэлийг эсэргүүцсэн харааны нотолгоог үл харгалзан GPS-ийн зааварчилгааг дагаж нуур руу, хаалттай зам руу, эсвэл тохиромжгүй замаар явдаг. Навигацийн системийн эрх мэдэл нь шууд мэдрэхүйн ажиглалтыг дарж гардаг.

• Үг үсгийн алдаа шалгах болон Дүрмийн хэрэгслүүд: Зохиолчид автомат засвар эсвэл дүрмийн саналыг баталгаажуулалтгүйгээр хүлээн авч, эцсийн баримт бичигт алдаа оруулдаг. Ногоон зөв тэмдэг нь баталгаажуулалтын тамга болдог.

• Ухаалаг гэрийн төхөөрөмжүүд: Хувийн тав тух, эсвэл гэр бүлийн онцгой нөхцөл байдлыг харгалзан үзэлгүйгээр ухаалаг термостатын эрчим хүчний зөвлөмжийг хүлээн авах.

• Цахим зөвлөмжүүд: Тодорхой сонголтууд яагаад санал болгогдож байгааг асуулгүйгээр худалдан авалт, үзвэр үйлчилгээ, эсвэл нийгмийн харилцааны алгоритмд суурилсан зөвлөмжийг шүүмжлэлгүйгээр хүлээн авах.

• Тооны машинаас хамааралтай байх: Тооцооллын үр дүн бодитой эсэхийг эрүүл ухаанаар шалгахгүйгээр тооны машины гаралтыг хүлээн авах, тэр ч байтугай баримжаалаад бодоход л илэрхий алдаа харагдахуйц энгийн тооцоолол дээр ч мөн адил.

4.2. Ажлын байранд

• Хүснэгтэд хэт итгэх: Excel дээрх томьёоны үр дүнг суурь тооцооллыг шалгахгүйгээр хүлээн авч, санхүүгийн загвар болон тайланд тархсан алдааг бий болгох.

• Автомат хуваарь гаргах: Багийн динамик, аялах хугацаа, эсвэл хувь хүний ажлын хэв маяг гэх мэт хүний хүчин зүйлийг тооцоогүй хиймэл оюун ухаанаар үүсгэсэн хуваарийг дагах.

• Хүний нөөцийн сонгон шалгаруулах програм хангамж: Ажилд авах менежерүүд зөвхөн анкет шалгах автомат системд найдаж, алгоритмын муу тохирол гэж тэмдэглэсэн шаардлага хангасан нэр дэвшигчдийг алгасах, эсвэл алгоритмын илүүд үзсэн шаардлага хангаагүй хүмүүсийг хүлээн авах.

• Гүйцэтгэлийн аналитик: Ажилтны хувь нэмрийн чанарын талыг тусгаж чадаагүй автоматжуулсан гүйцэтгэлийн хэмжүүрт хэт найдах.

• Цахим шуудангийн шүүлтүүр: Спам шүүлтүүр чухал харилцаа холбоог буруу ангилснаас болж тэдгээрийг алдах ба шүүгдсэн мессежүүдийг тогтмол баталгаажуулдаггүй.

• Автомат тайлангууд: Системээс гаргасан тайлангуудыг хэвийн бус байдал, алдааг шалгалгүйгээр түгээж, "систем ингэж хэлсэн" учраас үнэн зөв гэж үзэх.

4.3. Бизнес ба Маркетингт

• Алгоритмын арилжаа: Санхүүгийн компаниуд хүний хяналтгүйгээр арилжааны алгоритмд найдах нь огцом уналт (flash crashes) болон гинжин уналтуудад хүргэдэг.

• Динамик үнэ тогтоох: Компаниуд онцгой байдал, нийлүүлэлтийн тасалдлын үед хэрэглэгчдийг түлхэн холдуулдаг автомат үнийн тогтолцоог нэвтрүүлж, брэндийн нэр хүндэд сөргөөр нөлөөлдөг.

• Маркетингийн автоматжуулалт: Хүн ам зүйн эсвэл зан үйлийн өдөөгчүүд буруу ажилласны улмаас зохисгүй автомат мессеж илгээх.

• Хэрэглэгчийн үйлчилгээний чатботууд: Бизнесүүд тусгүй давталтад гацсан бухимдсан хэрэглэгчдийг хянахгүйгээр чатботын харилцан үйлчлэлийг хангалттай гэж үздэг.

• Бараа материалын менежмент: Жижиглэн худалдаачид орон нутгийн өөрчлөлт, улирлын өөрчлөлт, эсвэл удахгүй болох үйл явдлуудыг тооцдоггүй автомат захиалгын системд итгэдэг.

• Луйврыг илрүүлэх: Банкууд луйврыг хоёуланг нь алдах (орхигдуулах алдаа) ба хууль ёсны гүйлгээг тэмдэглэж (хуурамч эерэгүүд, үүнийг шалгалгүйгээр хүлээн авдаг).

4.4. Улс төр ба Хэвлэл мэдээлэлд

• Олон нийтийн сүлжээний алгоритмууд: Иргэдийн ертөнцийг үзэх үзэл нь тэдний асуудаггүй, ойлгодоггүй контент санал болгох алгоритмаар төлөвшдөг.

• Баримт шалгах хэрэгслүүд: Сэтгүүлчид автомат баримт шалгагчид баталгаажуулалтгүйгээр найдаж, алдааг тараах эсвэл нарийн төвөгтэй мэдэгдлүүдийг алдаж болзошгүй.

• Санал асуулгын нэгтгэл: Улс төрийн тайлбарлагчид алгоритмын санал асуулга нэгтгэгчийг загварын хязгаарлалт, таамаглалыг үл харгалзан эрх мэдэлтэй гэж үздэг.

• Контентын хяналт: Автоматжуулсан контентын хяналтын шийдвэрийг зөв гэж хүлээн зөвшөөрч, хууль ёсны үг хэллэгийг дарангуйлах эсвэл хор хөнөөлтэй контентыг үргэлжлүүлэхийг зөвшөөрдөг.

• Сонгуулийн технологи: Сонгогчид болон албан тушаалтнууд цахим санал хураалт, тооллогын системд хангалттай баталгаажуулах механизмгүйгээр итгэдэг.

• Урьдчилан таамаглах цагдаагийн ажиллагаа: Хууль сахиулах байгууллага нь бодит эрсдэл гэхээсээ илүү түүхэн өрөөсгөл хандлагыг тусгаж болох алгоритмын таамаглалд үндэслэн нөөцөө байршуулдаг.

4.5. Эрүүл мэндэд

• Эмнэлзүйн шийдвэр гаргахад дэмжлэг үзүүлэх систем (CDSS): 2025 оны санамсаргүй байдлаар хийсэн эмнэлзүйн туршилт нь "LLM-ийн алдаатай зөвлөмжүүд нь автоматжуулалтын төөрөгдөл үүсгэх замаар эмч нарын оношилгооны гүйцэтгэлийг мэдэгдэхүйц бууруулдаг" болохыг тогтоожээ. Мэргэшсэн эмч нар хүртэл оношлогоог хий үзэгдэл болгодог машинуудад бууж өгдөг.

• Цахим эрүүл мэндийн бүртгэл: Системийн хэт их анхааруулгаас үүдэлтэй дохиоллын ядаргаа нь эмнэлгийн эмч нарыг бүх сэрэмжлүүлэг, түүний дотор чухал дохиог үл тоомсорлоход хүргэдэг. Эсрэгээрээ, EHR системийн зөвлөмжийг эмнэлзүйн баталгаажуулалтгүйгээр хүлээн авах.

• Эмнэлгийн дүрс оношилгооны AI: Рентген судлаачид AI-ийн тэмдэглэсэн олдворуудыг бие даасан баталгаажуулалтгүйгээр хүлээн зөвшөөрөх эсвэл үгүйсгэж, хорт хавдрыг алдах эсвэл хоргүй олдворуудыг хэтрүүлэн оношлох магадлалтай.

• Эмийн харилцан үйлчлэлийг шалгагчид: Эм зүйчид өвчтөний хувийн нөхцөл байдлын талаархи эмнэлзүйн дүгнэлтгүйгээр автоматжуулсан эмийн харилцан үйлчлэлийн анхааруулгыг үгүйсгэх эсвэл хүлээн авах.

• Амин үзүүлэлтийн мониторууд: Сувилагч, эмч нар "хэвийн" автоматжуулсан амин чухал үзүүлэлтүүдтэй зөрчилдөж буй эмнэлзүйн ажиглалтыг үл тоомсорлодог.

• Оношлогооны алгоритмууд: Өвчтөний танилцуулга нь хүний зөн совингоо шаарддаг ердийн бус тохиолдол байсан ч алгоритмын оношлогооны замыг дагаж мөрдөх.

4.6. Санхүү болон Хөрөнгө оруулалтад

• Робо-Зөвлөхүүд: Хөрөнгө оруулагчид алгоритмд тусгагдаагүй хувийн нөхцөл байдал, эрсдэлийг тэсвэрлэх өөрчлөлт, эсвэл амьдралын үйл явдлуудыг тооцолгүйгээр автоматжуулсан багцын зөвлөмжийг дагаж мөрддөг.

• Зээлийн үнэлгээ: Зээлдүүлэгчид хувийн нөхцөл байдал эсвэл зээлийн тайлангийн алдааг шалгалгүйгээр зөвхөн автомат зээлийн оноонд үндэслэн өргөдлийг хүлээн авах эсвэл татгалзах.

• Эрсдэлийн үнэлгээний загварууд: Санхүүгийн байгууллагууд 2008 оны санхүүгийн хямралын үеэр гамшигт өртөж бүтэлгүйтсэн Value-at-Risk болон бусад автомат эрсдэлийн загварт итгэж байв.

• Алгоритмын арилжааны шийдвэрүүд: Хувь хүний хөрөнгө оруулагчид үндсэн стратеги эсвэл зах зээлийн нөхцөл байдлыг ойлгохгүйгээр алгоритмын арилжааны дохиог хуулбарладаг.

• Автомат санхүүгийн төлөвлөлт: Инфляци, өгөөж, эсвэл амьдралын хугацааны талаарх таамаглалд эргэлзэхгүйгээр програм хангамжийн тэтгэврийн төсөөлөл, хадгаламжийн зөвлөмжийг хүлээн авах.

• Луйврын дохио: Байнга хуурамч эерэг дохио гардаг тул жинхэнэ луйврын дохиог үл тоомсорлох, эсвэл бүх тэмдэглэгдсэн гүйлгээг мөрдөн байцаалтгүйгээр луйвар гэж хүлээн авах.

5. Бодит амьдрал дээрх кэйс судалгаанууд

Кэйс судалгаа 1: Эх оронч пуужингийн өөр хоорондоо харвасан ослууд (2003)

• Нөхцөл байдал: Иракийн эрх чөлөө ажиллагааны үеэр АНУ-ын Армийн Patriot пуужингийн систем нь гар удирдлагаас эхлээд бүрэн автомат хүртэл янз бүрийн горимоор ажиллаж байв. Иракийн баллистик пуужингаас айх айдас бүхий өндөр аюул заналхийлсэн орчин нь системийг тулаанд орох төлөвт илүүтэй чиглүүлсэн тохиргоонд хүргэсэн.

• Юу болсон бэ: Найрсаг галын (friendly fire) хоёр аймшигт осол гарсан: Их Британийн Хааны Агаарын Цэргийн Хүчний Tornado GR4 болон АНУ-ын Тэнгисийн Цэргийн Хүчний F/A-18 Hornet онгоцыг устгасан. Хоёр багийнхан амь үрэгдсэн. Хоёр тохиолдолд хоёуланд нь Patriot-ийн радарын алгоритм нь өөрийн нисэх онгоцыг орж ирж буй Радарын Эсрэг Пуужин (ARM) гэж буруу ангилсан байна.

• Төөрөгдөл хэрхэн ажилласан бэ: Систем нь буруу ангиллаа хүний операторуудад баримт болгон танилцуулсан. Хэдийгээр операторуудад бусад үзүүлэлтүүдийг (агаарын хурд, өндөр, Найз эсвэл Дайсан таних) ашиглан байг баталгаажуулах хэдхэн секунд байсан ч тэд үүнийг үр дүнтэй хийж чадаагүй юм. Батлан Хамгаалахын Шинжлэх Ухааны Зөвлөлийн тайланд хэрэглэгчид "машины дүгнэлтийг тулалдааны талбарын бодит байдлаас илүүд үзэж, үүнтэй зөрчилдөх нотлох баримтууд байсаар байтал системийн алдааг дуртайяа хүлээн зөвшөөрсөн" болохыг тогтоожээ.

• Үр дагавар: Цэргийн дөрвөн албан хаагч амь үрэгдсэн. Энэхүү тайлан нь төөрөгдөл нь зөвхөн хувь хүн биш харин байгууллагын шинжтэй байсныг тодорхойлсон—операторуудыг системд итгэхэд сургасан; технологийн эргэн тойронд байгаа "алдаа гаргадаггүй гэх соёл" нь "хүний хориг"-ийг (human veto) ихэвчлэн онолын түвшинд байлгасан гэсэн үг юм.

• Авсан сургамж: Автоматжуулалтын төөрөгдлийг сургалт, соёл, системийн дизайнаар дамжуулан байгууллагад суулгаж болно. Хүний оролцооны олон давхаргууд хэрхэн нэгэн зэрэг бүтэлгүйтсэнийг "Швейцарь бяслаг"-ийн (Swiss Cheese) загвар харуулсан, учир нь давхарга бүр автоматжуулалтыг зөв гэж үзсэн.

Кэйс судалгаа 2: Их Британийн Шуудангийн Horizon Скандиал (1999–2015)

• Нөхцөл байдал: Fujitsu-ийн хөгжүүлсэн Horizon мэдээллийн технологийн систем нь Их Британийн Шуудангийн нягтлан бодох бүртгэлийг удирдах зорилгоор нэвтэрсэн. Бараг тэр даруйд нь дэд шуудангийн эрхлэгчид (sub-postmasters) дансандаа тайлбарлах аргагүй дутагдал гарч байгааг мэдээлж эхлэв.

• Юу болсон бэ: Шуудангийн газрын удирдлага болон Британийн шүүхүүд "компютер найдвартай" гэсэн хуулийн таамаглалын дагуу ажиллаж байсан нь автоматжуулалтын төөрөгдлийн кодлогдсон хэлбэр байв. Дэд шуудангийн эрхлэгчид систем алдаатай гэж мэдэгдэхэд тэднийг хулгайн хэрэгт буруутгасан. Зуу зуун шударга иргэдийн мэдүүлгийг Horizon лог (бүртгэл)-ийн төлөө системтэйгээр үл тоомсорлосон.

• Төөрөгдөл хэрхэн ажилласан бэ: Компютерийн гаралтыг хүний үгүйсгэлээс ангид, ариун дагшин үнэн гэж үзсэн. "Автомат бус эх сурвалжаас ирсэн зөрчилдөөнтэй мэдээлэл" буюу хүний мэдүүлгийг өөртөө ашигтай худал хуурмаг эсвэл ур чадваргүй байдал гэж үзэн хэрэгсэхгүй болгосон. Менежерүүд болон шүүгчид олон жилийн турш тасралтгүйгээр комиссын үүднээс автоматжуулалтын төөрөгдөл гаргасан.

• Үр дагавар: 700 гаруй хүн хилсээр ял шийтгүүлж, дампуурч, шоронд хоригдсон. Гэрлэлтүүд сүйрч, карьерүүд устаж, хэд хэдэн дэд шуудангийн эрхлэгчид амиа хорлосон. Хожим нь уг систем алдаагаар дүүрэн байсан нь батлагдсан. Энэ нь Их Британийн түүхэн дэх хамгийн өргөн цар хүрээтэй шүүхийн алдаа юм.

• Авсан сургамж: Автоматжуулалтын төөрөгдөл нь зөвхөн секундын доторх хариу үйлдэл биш—энэ нь байгууллагын тасралтгүй төөрөгдөл байж болно. Компютерийн найдвартай байдлыг баталдаг хууль эрх зүйн болон институцийн тогтолцоо нь хувь хүмүүст эсэргүүцэх бараг боломжгүй системчилсэн өрөөсгөл байдлыг бий болгодог.

Кэйс судалгаа 3: Air France-ийн Нислэг 447 (2009)

• Нөхцөл байдал: Атлантын далай дээгүүр нисэж байх үед Airbus A330 онгоцны питот хоолойнууд (агаарын хурдны мэдрэгч) мөсөн талстаар бөглөрч, нислэгийн компютерийг агаарын хурдны зөв өгөгдөлгүй болгосон. Авто нисгэгч унтарч, олон жилийн турш өндөр автоматжуулсан нислэгт дадсан нисгэгчдэд удирдлагыг шилжүүлэв.

• Юу болсон бэ: Уналтаас урьдчилан сэргийлдэг "нислэгийн дугтуйн хамгаалалт" (flight envelope protection)-д дадсан нисгэгчид гэнэт эдгээр хамгаалалт байхгүй "Альтернатив хууль" (Alternate Law) горимд оржээ. Зөрчилдөөнтэй дохиололд төөрөлдсөн (уналтын анхааруулга 75 удаа дуугарсан) нислэг үйлдэж байсан нисгэгч жолоодлогыг хойш нь татсан нь хамгаалалтгүй нислэгийн горимд уналт үүсгэдэг маневр юм.

• Төөрөгдөл хэрхэн ажилласан бэ: Багийнхан автоматжуулалтын нөхцөл байдал үндсээрээ өөрчлөгдсөн гэдэгт итгэх чадваргүйгээсээ болж зовж байв. Тэдний сэтгэцийн загвар хэвийн автомат ажиллагаатай холбоотой байсан тул тэд цэвэр аэродинамикийн бодит байдлыг (онгоц унаж байсан) үл тоомсорлосон. FAA-ийн дүн шинжилгээнд дурдсанаар, багийнхан "үйл явцаас гарсан" бөгөөд "автоматжуулалт яг юу хийгээд байгааг" ойлгож чадахгүй байсан. Тэд үндсэндээ автоматжуулалт тэднийг аварна гэж хүлээж байсан—энэ нь сүйрэл хүртэл үргэлжилсэн эвристик хамаарал юм.

• Үр дагавар: Хөлөг дээр байсан бүх 228 хүн нас барсан. Энэхүү сүйрэл нь "автоматжуулалтын гэнэтийн байдал"-д хүргэдэг автоматжуулалтын төөрөгдөл болон гарын авлагын танин мэдэхүйд шилжих чадваргүй байдлын тухай тод кэйс судалгаа хэвээр байна.

• Авсан сургамж: Автоматжуулалтад хэт найдах нь гарын авлагын ур чадварыг доройтуулж, автоматжуулалт бүтэлгүйтсэн үед нисгэгчид сэргэж чадахгүй түвшинд хүргэдэг. Хүмүүсийг танин мэдэхүйн үйл явцаас системтэйгээр хассан тохиолдолд "хүн нөөцлөх" таамаглал алдаатай болдог.

Түүхэн жишээ: Станислав Петров (1983)

Автоматжуулалтын төөрөгдлийг бүрэн ойлгохын тулд түүнийг амжилттай эвдсэн ховор тохиолдлуудыг судлах ёстой. 1983 оны 9-р сарын 26-нд ЗХУ-ын цөмийн дохиоллын систем (Око) АНУ-аас тив алгасах таван баллистик пуужин хөөргөсөн тухай мэдээлжээ.

Жижүүрийн офицер, дэд хурандаа Станислав Петров энэ дохиог хуурамч гэж дүгнэжээ. Түүний үндэслэл нь нөхцөл байдлын болон хүний шинж чанартай байв: "Хүмүүс дайн эхлүүлэхдээ зөвхөн таван пуужингаар эхлүүлдэггүй." Тэрээр мөн шинэ хиймэл дагуулын технологид үл итгэж байв. Петров энэхүү анхааруулгыг дээд командлалд дамжуулахаас татгалзаж, цөмийн хариу цохилт өгөхөөс сэргийлжээ.

Петровын амжилт нь түүний үл итгэх байдал болон салбарын туршлагатай холбоотой байв—тэрээр улс төрийн болон стратегийн нөхцөл байдал (хүний тагнуул) нь мэдрэгчийн өгөгдөлтэй (автомат тагнуул) зөрчилдөж байгааг мэдэж байсан. Тэрээр Patriot-ийн операторуудын ашиглаж чадаагүй "хүний хориг"-ийг ашигласан. Энэ хэрэг нь автоматжуулалтын төөрөгдлийг эвдэхийн тулд автомат гарцууд үнэмшилгүй байгааг таних эсэргүүцэх зориг болон салбарын мэдлэг аль аль нь шаардлагатайг харуулж байна.

6. Энэ төөрөгдлийн үнэ цэнэ (хор хөнөөл)

6.1. Хувийн хор хөнөөл

• Шүүмжлэлт сэтгэлгээний доройтол: Автоматжуулсан системд байнга хүндэтгэлтэй хандах нь баталгаажуулах болон бие даасан дүн шинжилгээ хийх танин мэдэхүйн булчинг сулруулдаг. Цаг хугацаа өнгөрөх тусам хувь хүмүүс автомат удирдамжгүйгээр ажиллах чадвар мууддаг.

• Ур чадварын алдагдал: Автоматжуулсан хэрэгсэлд ихээхэн найддаг мэргэжилтнүүдийн ур чадвар буурч болзошгүй. Гараар нисэх нь ховор нисгэгчид, үргэлж хиймэл оюун ухааны тусламж ашигладаг рентген судлаачид, гараар хэзээ ч тооцоолол хийдэггүй нягтлан бодогчид өөрсдийгөө мэргэжилтэн болгодог чадвараа алддаг.

• Шийдвэрийн саажилт: Автоматжуулсан систем доголдох эсвэл боломжгүй үед хүмүүс шийдвэр гаргах чадваргүй мэт санагдаж, эгзэгтэй мөчид саажилтанд хүргэж болзошгүй.

• Хуурамч итгэл: Автоматжуулсан үр дүнд итгэх нь баталгаагүй итгэлтэй байдлыг бий болгож, автоматжуулалт буруу байх хувилбаруудад хангалтгүй бэлтгэлтэй байхад хүргэдэг.

• Харилцааны хурцадмал байдал: Хувийн нөхцөл байдалд автоматжуулсан зөвлөмжид (болзох апп, нийгмийн сүлжээний зөвлөмжүүд) хэт их найдах нь хүний жинхэнэ дүгнэлт, холбоог орлуулж болзошгүй.

6.2. Мэргэжлийн хор хөнөөл

• Карьерийн хариуцлага: Автоматжуулсан зөвлөмжийг дагаж алдаа гаргасан мэргэжилтнүүд сахилгын арга хэмжээ, алдаатай ажиллагааны нэхэмжлэл, эсвэл эрүүгийн хариуцлага хүлээж болзошгүй—Мата ба Авианка (Mata v. Avianca) хэрэг дээр AI-ийн хий үзэгдэлтэй хууль эрх зүйн урьдчилсан нөхцөлүүдийг иш татсан өмгөөлөгчид хориг арга хэмжээ авсантай адил.

• Нэр хүндийн хохирол: Автоматжуулалтаас үүдэлтэй алдаа гаргадаг байгууллагууд (Их Британийн Шуудан зэрэг) нь ажилд авах, түншлэл тогтоох, олон нийтийн итгэлцэлд нөлөөлдөг байнгын нэр хүндийн хохирол амсдаг.

• Ур чадварын хатингаршил: Автоматжуулалт нь ердийн тохиолдлуудыг шийдвэрлэдэг тул бүхэл бүтэн мэргэжлийн нийгэмлэгүүд хамтын ур чадварын доройтлыг амсаж, дадлагажигчдыг нарийн төвөгтэй эсвэл ердийн бус нөхцөл байдалд бэлтгэлгүй болгож болзошгүй.

• Инновацийн зогсонги байдал: "Систем хэрхэн ажилладаг"-т хэт итгэх нь мэргэжилтнүүдэд үйл явцад эргэлзэх эсвэл сайжруулалт хийхэд саад болдог.

• Муу үр дүн: Автоматжуулалтын төөрөгдлөөс шууд улбаатай эмнэлгийн буруу оношлогоо, хилс ял шийтгэл, санхүүгийн алдагдал болон үйл ажиллагааны доголдол.

6.3. Нийгмийн хор хөнөөл

• Системийн эрсдэлийн хуримтлал: Бүхэл бүтэн салбарууд автоматжуулсан системд найдах үед алдаанууд нь бие даасан байхаа больж, харилцан хамааралтай болдог. Ганц алгоритмын алдаа нь бүхэл бүтэн салбараар нэгэн зэрэг тархаж болно.

• Ардчиллын элэгдэл: Улс төрийн яриа хэлцэл, контентын харагдац, мэдээллийн хүртээмжийг тодорхойлдог алгоритмын системүүдийг ямар ч асуултгүйгээр хүлээн зөвшөөрөх нь мэдээлэлтэй ардчилсан оролцоог сулруулж болзошгүй.

• Шүүхийн тогтолцооны авлига: Компютерийн найдвартай байдлыг (Horizon-ийн дуулиантай адил) баталдаг хууль эрх зүйн тогтолцоо нь хувь хүмүүст эсэргүүцэх бараг боломжгүй бүтцийн шударга бус байдлыг бий болгодог.

• Аюулгүй байдлын доройтол: Өөрөө явагч тээврийн хэрэгсэл, автоматжуулсан агаарын хөдөлгөөний удирдлага болон бусад чухал системүүдийн үндэс болсон "хүн нөөцлөх" аюулгүй байдлын таамаглал нь үндсэндээ алдаатай байдаг. Хүмүүс урт хугацааны идэвхгүй хяналтын үед сонор сэрэмжээ хадгалж чадахгүй.

• Эдийн засгийн тасалдал: Огцом уналтууд, алгоритмын цуврал уналтууд, харилцан хамааралтай алдаа гаргадаг автомат системүүд нь эдийн засгийн тогтворгүй байдлыг үүсгэж болно.

6.4. Статистикийн нөлөө

• Нисэх хүчин: Автомат туслахтай нисгэгчид гараар хянаж байгаа хүмүүсээс хамаагүй илүү системийн гажигийг алддаг болохыг судалгаа харуулж байна. Air France 447-ийн багийнхан уналтын 75 анхааруулгыг үл тоомсорлосон.

• Эрүүл мэнд: Судалгаагаар хиймэл оюун ухааны алдаатай зөвлөмжүүд нь эмчийн оношлогооны нарийвчлалыг ихээхэн бууруулдаг болохыг харуулж байна. Сэрүүлгийн ядаргаа нь эмч нарыг автоматжуулсан анхааруулгын 49-96% -ийг үл тоомсорлоход хүргэдэг.

• Санах ойн гажуудал: Автоматжуулалтын төөрөгдөлд автсан нисгэгчдийн 67% нь хожим нь үйл явдлын тухай хуурамч дурсамжтай байсан нь ослын мөрдөн байцаалт, суралцах үйл явцыг хүндрүүлдэг.

• Хууль эрх зүй: Horizon скандиал нь 700 гаруй хүнийг хилсээр шийтгэсэн бөгөөд энэ нь Их Британийн түүхэн дэх шүүхийн хамгийн том алдаа юм.

• Цэрэг арми: Ирак дахь найрсаг галын ослууд нь их хэмжээний зөрчилдөөнтэй нотлох баримтуудыг үл харгалзан системийн алдааг хүлээн зөвшөөрөх хүсэлтэй байгааг харуулсан.

7. Далд ашиг тусууд

Автоматжуулалтын төөрөгдөл нь цэвэр сөрөг биш юм—суурь танин мэдэхүйн механизм нь чухал зорилгуудтай байсан:

• Танин мэдэхүйн үр ашиг: Танин мэдэхүйн даалгавруудыг найдвартай гадаад эх сурвалжид шилжүүлэх чадвар нь оюун санааны нөөцийг бусад сорилтуудад чөлөөлдөг. Автоматжуулалт зөв үед (ихэнх тохиолдолд) түүний гаралтыг хүлээн авах нь үнэхээр үр дүнтэй байдаг.

• Тууштай байдал: Автоматжуулсан системүүд ижил шалгуурыг жигд хэрэглэдэг. Тэдэнд найдах нь шийдвэр гаргах дахь хүний хувьсах байдал болон зарим төрлийн өрөөсгөл хандлагыг бууруулдаг.

• Хурд: Цаг хугацаа чухал үед автоматжуулсан зөвлөмжийг удаан хугацаагаар баталгаажуулахгүйгээр хурдан хүлээн авах чадвар нь амь насыг аварч чадна—автоматжуулалт зөв байгаа нөхцөлд.

• Мэргэшлийг өргөтгөх: Автоматжуулалт нь мэргэжлийн бус хүмүүст кодлогдсон туршлагаас ашиг хүртэх боломжийг олгодог. Эмнэлзүйн шийдвэр гаргахад дэмжлэг үзүүлэх системийг ашиглаж буй залуу эмч мэргэжилтнүүдийн хэдэн арван жилийн турш олж авсан мэдлэгийг авах боломжтой.

• Түгшүүр буурах: Тодорхой бус нөхцөл байдалд автоматжуулсан зөвлөмжийг төвөггүй авах нь шийдвэр гаргах түгшүүр, танин мэдэхүйн ачааллыг бууруулж, шийдвэрийн чанар өөрчлөгдөөгүй ч сайн сайхан байдлыг сайжруулдаг.

• Цар хүрээ: Орчин үеийн олон систем хүмүүс автоматжуулсан үр дүнг хүлээн авахгүйгээр зүгээр л ажиллах боломжгүй байв. Хүн имэйл бүрийг спам эсэхийг, санхүүгийн гүйлгээ бүрийг луйвар эсэхийг, нийгмийн сүлжээний нийтлэл бүрийг зөрчил эсэхийг шалгах нь боломжгүй юм.

Тохиролцоо нь тодорхой байна: Автоматжуулалтын төөрөгдөл нь зөвхөн (1) автоматжуулалт буруу, (2) эрсдэл өндөр, (3) хүн алдааг барьж чадах байсан үед л асуудал үүсгэдэг. Автоматжуулалтын төөрөгдлийг бүрмөсөн арилгах нь боломжгүй бөгөөд хүсээд байх зүйл биш юм—энэ нь автоматжуулалтын ашиг тусыг үгүйсгэхүйц боломжгүй сонор сэрэмжийг шаардана. Зорилго нь тэг итгэлцэл биш, харин шалгалт тохируулгатай итгэлцэл юм.

8. Өөрийгөө үнэлэх: Танд энэ төөрөгдөл байна уу?

8.1. Анхааруулах шинж тэмдгүүдийн хяналтын хуудас

• Би ихэвчлэн GPS-ийн зааврыг зорьж буй газарт минь утга учиртай эсэхийг шалгалгүйгээр хүлээн зөвшөөрдөг
• Би үг үсгийн алдаа шалгах, дүрмийн хэрэгслүүдийн саналыг хяналгүйгээр итгэдэг
• Тооны машин хариу гаргах үед би энэ нь боломжийн эсэхийг баримжаалж үздэггүй
• Би хайлтын системийн эхний хуудасны үр дүнг яагаад ингэж эрэмбэлэгдсэнийг нь бодолгүйгээр хүлээн зөвшөөрдөг
• Би шалгаагүйнхээ улмаас буруу болж хувирсан автомат зөвлөмжийг дагаж байсан
• Програм хангамж алдааны мессеж өгөх үед би юу буруу болсон талаар програм хангамжийн зөв гэж боддог
• Миний ердийн автомат хэрэгслүүд байхгүй үед би даалгавраа биелүүлэхийн тулд тэмцдэг
• Миний дүгнэлт өөр байсан ч автомат зөвлөмжийг давах нь надад эвгүй санагддаг
• Би "гэхдээ систем ингэж хийхийг хэлсэн" гэж хэлээд муу үр дүнг зөвтгөж байсан
• Би AI чатботын мэдээллийн үнэн бодит байдлыг шалгалгүйгээр түүний гаралтад итгэдэг

Оноо:

• 0-2 чагталсан: Өртөмтгий байдал бага
• 3-5 чагталсан: Дунд зэргийн өртөмтгий
• 6-8 чагталсан: Өндөр өртөмтгий
• 9-10 чагталсан: Маш өндөр өртөмтгий

8.2. Өөрөө эргэцүүлэн бодох асуултууд

1. Автомат зөвлөмжийн дагуу гаргасан саяхны шийдвэрээ бодоорой. Та үйлдэл хийхээсээ өмнө тэрхүү зөвлөмжийн аль нэг хэсгийг баталгаажуулсан уу? Яагаад тийм, эсвэл яагаад үгүй вэ?

2. Автоматжуулалт буруу байсан ч та үүнийг дагаж байсан үеэ санаж байна уу? Өөрийнхөө дүгнэлтэд итгэхэд тань юу саад болсон бэ?

3. ChatGPT гэх мэт хиймэл оюун ухааны хэрэгслийг ашиглахдаа та өгсөн мэдээллийн үнэн зөв байдлыг хэрхэн шалгадаг вэ? Та өмнө нь алдаа олж байсан уу?

4. Хэрэв таны үндсэн автомат хэрэгслүүд (GPS, үг үсгийн алдаа шалгагч, хайлтын систем, тооны машин) долоо хоногийн турш ажиллахгүй байсан бол таны ажлын урсгал хэрхэн өөрчлөгдөх байсан бэ?

5. Таны хамт олон, найз нөхөд, эсвэл гэр бүлийнхэн чинь таныг өөрөө гаргаж чадах шийдвэрээ технологид хэт найдаж байна гэж хэлж байсан уу?

8.3. Түргэн оношлогооны хувилбар

Хувилбар: Та чухал тайлангийн төсөл боловсруулахад туслах AI туслах ашиглаж байна. AI нь таны аргументийг төгс дэмжих нэгэн статистикийг өгнө: "Судалгаанаас үзэхэд энэхүү хандлагыг хэрэгжүүлсэн байгууллагуудын 78% нь үр дүн 40%-иар сайжирсан байна." Статистик нь үнэмшилтэй сонсогдож, таны хүүрнэлд сайн тохирно. Та цагийн шахалтанд орсон байна.

Та хэрхэн хариу үйлдэл үзүүлэх вэ?

• А) Статистикийг шууд оруулна—энэ нь эрх мэдэлтэй сонсогдож байгаа бөгөөд AI өмнө нь найдвартай байсан → Өндөр өртөмтгий
• Б) Статистикийг оруулах боловч баталгаажуулалтгүйгээр "судалгаа харуулж байна" гэх мэт хамгаалалтын хэллэг нэмнэ → Дунд зэргийн өртөмтгий
• В) Үүнийг оруулахын өмнө статистикийг баталгаажуулахын тулд эх сурвалжийг нь хайж, эцсийн хугацаагаа өөрчлөх шаардлагатай болж магадгүйг хүлээн зөвшөөрнө → Өртөмтгий байдал бага

9. Энэ төөрөгдлийг бусдаас илрүүлэх нь

9.1. Зан үйлийн үзүүлэлтүүд

Хэл ярианы ажиглагдах шинж тэмдгүүд:

• "Систем хэлж байна" эсвэл "алгоритм зөвлөж байна" гэж байнга иш татаж зөвтгөх
• Автомат зөвлөмжийг давахыг хүсэх үед эвгүйрхэж байгаагаа илэрхийлэх
• Өөрсдийн мэргэшлийн хүрээн дэх шийдвэр гаргахад "компютер юу гэж байгааг шалгая" гэсэн хандлага гаргах

Шийдвэр гаргах үйл явц дахь хэв маягууд:

• Автомат зөвлөмжүүдийг асуултгүйгээр тууштай дагах
• Автомат хэрэгсэл байхгүй үед шийдвэр гаргахад хүндрэлтэй байх
• Өөрсдийн баталгаажуулах үйл явцыг шалгахын оронд системийн алдааг буруутгах

Биеийн хэлэмжийн дохионууд:

• Биечлэн ярилцаж байхдаа ч баталгаажуулахын тулд дэлгэц рүү эргэх
• Автомат зөвлөмжийн эсрэг ажиллахыг хүсэх үед биеийн хурцадмал байдал үүсэх
• Автоматжуулсан систем нь тэдний шийдвэрийг баталгаажуулах үед тайвшрах

Харилцан ярианы давтагдах сэдвүүд:

• Технологийн нарийвчлалд өндөр итгэлтэй байгаагаа илэрхийлэх
• Автоматжуулалтын алдааны талаарх санаа зовнилыг ховор тохиолддог захын тохиолдол гэж багасгах
• "Объектив" алгоритмуудтай харьцуулахад хүний дүгнэлтийг "төөрөгдөлтэй" гэж үгүйсгэх

9.2. Харилцан ярианы улаан тугууд

Хүмүүс энэ төөрөгдөлд орохдоо юу гэж хэлдэг вэ:

• "Компютер алдаа гаргадаггүй"
• "Би зүгээр л системийн санал болгосныг дагаж байна"
• "Өгөгдөл нь ... харуулж байна" (өгөгдлийг шалгахгүйгээр)
• "Би яагаад хиймэл оюун ухаанд эргэлзэх ёстой гэж? Энэ нь сая сая жишээн дээр сургагдсан"
• "Энэ зөв байх ёстой—гаралт ямар итгэлтэй байгааг хараач"

Тэдний гаргадаг маргааны төрлүүд:

• Системийн өмнөх найдвартай байдлыг одоогийн нарийвчлалын баталгаа болгон ашиглах
• Зөрчилдсөн мэдээллийг "гажиг" эсвэл "хэрэглэгчийн алдаа" гэж үгүйсгэх
• Автоматжуулалтын гаралтыг магадлалын тооцоолол гэхээсээ илүү бодит баримт мэт үзэх

Тэдний зайлсхийдэг асуултууд:

• "Энэ системийн хязгаарлалтууд юу вэ?"
• "Ямар нөхцөл байдалд энэ зөвлөмж буруу байж болох вэ?"
• "Хэрэв надад энэ автомат хэрэгсэл байхгүй байсан бол би юу гэж шийдэх байсан бэ?"

9.3. Нөхцөл байдлын өдөөгчүүд

Энэ төөрөгдлийг идэвхжүүлдэг нөхцөл байдал:

• Баталгаажуулалтад саад болдог цаг хугацааны шахалт
• Олон даалгавраас үүдэлтэй танин мэдэхүйн өндөр ачаалал
• Ядаргаа эсвэл шийдвэр гаргах ядаргаа
• Баталгаажуулалт нь тусгай мэдлэг шаарддаг үед
• Өмнө нь автоматжуулалт найдвартай байсан үед

Байгаль орчны хүчин зүйлс:

• Автоматжуулалт, үр ашгийг тэмдэглэдэг ажлын байрны соёл
• Шүүмжээс илүүтэй процедурыг дагаж мөрдөхийг онцолсон сургалтын хөтөлбөрүүд
• Автоматжуулалт буруу байсан үед харуулах санал хүсэлтийн гогцоо дутмаг байх
• Итгэлцлийн түвшний талаарх ил тод байдалгүйгээр зохион бүтээгдсэн системүүд

Эмзэг байдлыг нэмэгдүүлдэг сэтгэл хөдлөлийн төлөв байдал:

• Стресс ба түгшүүр (тодорхой байдлыг хайх)
• Хэт ачаалал (танин мэдэхүйн тусламж хайх)
• Хуурамчлагчийн хам шинж (өөртөө итгэхээс илүү "мэргэжилтэн" системд итгэх)
• Тав тух, тайвшрал (ажил хэрэг сайн бүтэж байгаа үед)

Төөрөгдлийг өсгөдөг нийгмийн нөхцөл байдал:

• Автоматжуулалтад эргэлзэх нь ажлыг удаашруулдаг мэт санагдах бүлгийн орчин
• Автоматжуулалт нь удирдлагын шийдвэрийг төлөөлдөг шатлалууд
• Автоматжуулалтыг "шилдэг туршлага" гэж үздэг мэргэжлийн нөхцөл

Нөхцөл байдлыг дордуулдаг цаг хугацааны дарамтууд:

• Баталгаажуулах боломж олгодоггүй эцсийн хугацаа
• Бодит цагийн шийдвэрүүд (арилжаа, эмнэлгийн яаралтай тусламж, нисэх)
• Хувь хүний хяналт хийх боломжгүй их хэмжээний боловсруулалт

10. Танин мэдэхүйн төөрөгдлийг арилгах стратегиуд

10.1. Шуурхай арга техникүүд

Автомат зөвлөмжийг хүлээн авахаас өмнө хийх хурдан сэтгэцийн шалгалтууд:

• "Энэ гаралт үнэрийн шалгалтыг давж байна уу?" Зөвлөмж нь зөн совингийн хувьд утга учиртай эсэхийг түр зогсож бодож үзээрэй.
• "Буруу байхын төлөөс нь юу вэ?" Өндөр эрсдэл нь илүү их баталгаажуулалтыг шаарддаг.
• "Энэ нь системийн сайн хийж чаддаг зүйл мөн үү?" Автоматжуулалт нь салбарын хязгаарлалттай байдаг.

Тухайн мөчид өөрөөсөө асуух асуултууд:

• "Би энэ автоматжуулалтгүйгээр юу гэж шийдэх байсан бэ?"
• "Ямар нотлох баримт энэ зөвлөмжтэй зөрчилдөж байна вэ?"
• "Системийн итгэлцлийн түвшин хэд вэ, энэ нь тодорхой бус байдлыг илэрхийлж байна уу?"
• "Би хамгийн сүүлд хэзээ автомат зөвлөмжийг баталгаажуулсан бэ?"

Төөрөгдлийг эвдэх хэв маягийн тасалдлууд:

• Хүлээн авахаасаа өмнө автоматжуулалт буруу байж болох нэг шалтгааныг чангаар хэлэх
• Цааш үргэлжлүүлэхийн өмнө нэг өөр эх сурвалжийг шалгах
• Зөвлөмж авах, үйлдэл хийх хооронд богино хугацааны "хөргөх" хугацаа тогтоох
• Шийдвэрийг авч үзэхийн тулд дэлгэцнээс биеэрээ эргэж харах

Энгийн дүрэм:

• 5 секундын дүрэм: Хүлээн авахаасаа өмнө өөр хувилбаруудыг дор хаяж 5 секунд бодож үзэх
• "100 дахин үр дагавар" дүрэм: Хэрэв буруу байх нь баталгаажуулах хүчин чармайлтаас 100 дахин үнэтэй байвал баталгаажуул
• "Скептик хүнд тайлбарлах" дүрэм: Автоматжуулалтад итгэдэггүй хүнд энэ шийдвэрээ хамгаалж чадах уу?

10.2. Урт хугацааны стратегиуд

Цаг хугацааны явцад хөгжүүлэх зуршлууд:

• Ур чадвараа хадгалахын тулд автомат тусламжгүйгээр даалгавруудыг тогтмол дадлага хийх
• Өөрийн барьж авсан автоматжуулалтын алдааны бүртгэл хөтлөх (энэ нь алдаа гарах магадлалыг тодорхой болгодог)
• Санамсаргүй түүврийг шалгах замаар автомат зөвлөмжүүдийг үе үе аудит хийх
• Баталгаажуулалтыг нэмэлт зүйл гэж үзэхээс илүүтэйгээр стандарт ажлын урсгалдаа оруулах

Шаардлагатай сэтгэлгээний өөрчлөлтүүд:

• Автоматжуулалтыг "үнэний хөдөлгүүр" бус "магадлалын үнэлгээч" гэж үзэх
• Тохиромжтой үл итгэх байдлыг үл итгэлцэл биш, мэргэжлийн байдал гэж хүлээж авах
• Автоматжуулалт доголдох тохиолдолд үүнийг зохицуулах нь хүний үүрэг гэдгийг хүлээн зөвшөөрөх
• Баталгаажуулалт нь дэмий үрсэн хүчин чармайлт биш, харин үнэ цэнэтэй зүйл гэдгийг хүлээн зөвшөөрөх

Хэрэгжүүлэх систем, үйл явц:

• Автомат үйлдлүүдийн өмнө бие даасан баталгаажуулалт шаарддаг хяналтын хуудсыг бий болгох
• Автоматжуулалтын алдааг олох нь хэн нэгний ажил байх "улаан баг"-ийн (red team) үйл явцыг бий болгох
• Хүний анхан шатны үнэлгээний дараа автоматжуулалтын саналыг хүлээж авдаг ажлын урсгалыг төлөвлөх
• Автоматжуулалт буруу байсан үед хэрэглэгчдэд мэдээлдэг санал хүсэлтийн гогцоог бий болгох

Дадлага хийх, бэхжүүлэх ур чадварууд:

• Салбарын мэргэшил (ингэснээр та үнэмшилгүй үр дүнг таньж чадна)
• Сэтгэхүйн баримжаа, эрүүл ухааны шалгалт
• Эх сурвалжийг баталгаажуулах болон судалгааны ур чадвар
• Метатанин мэдэхүй—өөрийн танин мэдэхүйн үйл явцыг ухамсарлах

10.3. Хүрээлэн буй орчны дизайн

Энэ төөрөгдлийг багасгахын тулд орчноо хэрхэн зохион байгуулах вэ:

• Автоматжуулалтыг тодорхой бус байдлаа илэрхийлдэг байхаар тохируулах (магадлалын хүрээ, итгэлцлийн интервал)
• Ашиглахын өмнө хязгаарлалтыг хүлээн зөвшөөрөхийг шаарддаг интерфейсийг зохион бүтээх
• Автомат зөвлөгөө болон үйлдэл хооронд физик эсвэл түр зуурын тусгаарлалт бий болгох
• Автоматжуулалтын алдааг барьж авсныг тэмдэглэдэг байгууллагын хэм хэмжээг тогтоох

Тустай физик өөрчлөлтүүд:

• Автомат бус өөр хувилбаруудад хандах хандалтыг хадгалах (физик газрын зураг, тооны машин)
• Ажлын хэсгүүдэд автоматжуулалтын хязгаарлалтын талаарх сануулгыг байрлуулах
• Баталгаажуулах нөөцийг бэлэн байлгах

Төөрөгдлийг эсэргүүцэх нийгмийн бүтэц:

• Автоматжуулсан чухал шийдвэрүүдэд хөндлөнгийн хяналт тогтоох
• Автоматжуулалтад эргэлзэх сэтгэл зүйн аюулгүй байдлыг бий болгох
• Автоматжуулалтын алдааг хүмүүс барьж авсан тохиолдлуудыг үнэлж урамшуулах
• Автоматжуулалтын бүтэлгүйтлийн түүхийг суралцах боломж болгон хуваалцах

Үүнээс хамгаалдаг мэдээллийн системүүд:

• Хоёртын дохиоллын оронд магадлалыг харуулдаг Магадлалын Дохиоллын Дэлгэц (LADs)
• Дараа нь дүн шинжилгээ хийх зорилгоор хүн автоматжуулалтыг давсан үйлдлүүдийг бүртгэдэг системүүд
• Хэрэглэгчид автоматжуулалтыг хүлээн авах үеийн тэдний онох/алдах харьцааг мэдээлдэг санал хүсэлтийн систем
• Автоматжуулалтын нарийвчлалын түвшинг харуулсан хяналтын самбар

10.4. Хэзээ гадны санал авах вэ

Бусадтай зөвлөлдөх ёстой шийдвэрийн төрлүүд:

• Өндөр эрсдэлтэй шийдвэрүүд (санхүү, эмнэлгийн, хуулийн, аюулгүй байдалтай холбоотой)
• Таны мэргэшлийн чиглэлээс гадуурх шийдвэрүүд
• Автоматжуулалт таны зөн совинтой зөрчилдөж, та эргэлзэж байгаа үед
• Та автоматжуулалтыг хэзээ ч баталгаажуулж байгаагүй давтагдах шийдвэрүүд

Хэнээс тусламж хүсэх вэ:

• Автоматжуулалтын хязгаарлалтыг ойлгодог салбарын мэргэжилтнүүд
• Автоматжуулалтын доголдлыг мэдэрсэн хамт олон
• Зөвлөмжийг эсэргүүцэх эргэлзэгчид
• Автомат шийдвэрт хувийн ашиг сонирхолгүй бие даасан талууд

Санал хүсэлт авах хүсэлтийг хэрхэн томьёолох вэ:

• "Систем X-ийг санал болгож байна. Та үүнийг стресс-тест хийхэд тусалж чадах уу?"
• "Энэ автомат гаралтыг хүлээн авахаасаа өмнө би юуг шалгах ёстой вэ?"
• "Автоматжуулалт ингэж хэлж байна—энэ нь таны бие даасан үнэлгээтэй нийцэж байна уу?"

Танд гадны хэтийн төлөв хэрэгтэй байгаагийн шинж тэмдгүүд:

• Та урт хугацааны турш автомат зөвлөмжийг баталгаажуулалтгүйгээр хүлээн авсан
• Одоогийн шийдвэрийн эрсдэл ердийнхөөс өндөр байна
• Зөвлөмж танд эвгүй санагдаж байгаа ч яагаад гэдгийг нь тайлбарлаж чадахгүй байна
• Автоматжуулалтыг цоо шинэ нөхцөл байдалд ашиглаж байна

11. Практик дасгалууд

Дасгал 1: Баталгаажуулалтын сорилт

• Зорилго: Автомат үр дүнг баталгаажуулах зуршлыг бий болгох
• Шаардагдах хугацаа: 2 долоо хоногийн турш өдөр бүр 10 минут
• Шаардлагатай материал: Таны ердийн автомат хэрэгслүүд (GPS, хайлтын систем, үг үсгийн алдаа шалгагч, тооны машин)
• Хүндрэлийн түвшин: Анхан шат
• Заавар:
  1. Өдөр бүр хүлээн авдаг 3 автомат зөвлөмжийг тодорхойл
  2. Тус бүрийн хувьд бие даасан эх сурвалж ашиглан гаралтыг баталгаажуулахын тулд 2 минутыг зарцуул
  3. Автоматжуулалт зөв, хэсэгчлэн зөв, эсвэл буруу байсан эсэхийг тэмдэглэ
  4. Баталгаажуулахад хэр хугацаа зарцуулсан, мөн алдааг засахад хэр их цаг зарцуулах байсантай нь харьцуулан тэмдэглэ
  5. Долоо хоногийн эцэст өөрийн автоматжуулалтын бодит нарийвчлалын түвшинг тооцоол
• Эргэцүүлэх асуултууд:
  • Автоматжуулалт хэр олон удаа буруу эсвэл хэсэгчлэн буруу байсан бэ?
  • Ямар төрлийн зөвлөмжүүд хамгийн найдвартай байсан бэ? Хамгийн найдваргүй нь?
  • Таны баталгаажуулах хүчин чармайлт алдааны болзошгүй зардалтай хэрхэн харьцуулагдсан бэ?
• Давтамж: 2 долоо хоногийн турш өдөр бүр, дараа нь долоо хоног бүр түүврийн шалгалт хийх

Дасгал 2: Гарын авлагын долоо хоног

• Зорилго: Бие даасан дүгнэлт гаргах чадвараа дахин холбох
• Шаардагдах хугацаа: Нэг долоо хоног
• Шаардлагатай материал: Таны ердийн автомат хэрэгслийн хувилбарууд (физик газрын зураг, гараар тооцоолох, алдаа шалгах чадвар)
• Хүндрэлийн түвшин: Дунд шат
• Заавар:
  1. Маш их найддаг нэг автомат хэрэгслийг сонго
  2. Үүнийг нэг долоо хоногийн турш ашиглахгүй байх (эсвэл зөвхөн нөөц болгон ашиглах) үүрэг хүлээ
  3. Өөрийн дүгнэлт, ур чадвараа ашиглан даалгавруудыг гараар гүйцэтгэ
  4. Туршлагын талаар өдөр бүр тэмдэглэл хөтөл—юу илүү хэцүү байсан, юу илүү хялбар байсан
  5. Долоо хоногийн эцэст та ямар чадвараа хадгалсан болон юу алдсан талаар эргэцүүлэн бод
• Эргэцүүлэх асуултууд:
  • Та ямар ажлыг автоматжуулалтгүйгээр төгс хийж чадаж байсан бэ?
  • Та автоматийн тусламжийг хаана үнэхээр үгүйлсэн бэ?
  • Таны өөрийн дүгнэлтэд итгэх итгэл хэрхэн өөрчлөгдсөн бэ?
• Давтамж: Улирал тутам, өөр өөр хэрэгслүүдийг ээлжлэн солих

Дасгал 3: Урьдчилан амлалт өгөх арга

• Зорилго: Эхлээд бие даасан дүгнэлт гаргах замаар комиссын алдааг бууруулах
• Шаардагдах хугацаа: Шийдвэр бүрт 5 минут
• Шаардлагатай материал: Цаас эсвэл тэмдэглэлийн апп
• Хүндрэлийн түвшин: Гүнзгий шат
• Заавар:
  1. Автомат хэрэгслээс зөвлөгөө авахаасаа өмнө урьдчилсан дүгнэлтээ бич
  2. Итгэлцлийн түвшингээ тэмдэглэ (бага/дунд/өндөр)
  3. Дүгнэлтээ ямар мэдээлэлд үндэслэж байгаагаа баримтжуул
  4. Зөвхөн үүний дараа л автоматжуулалттай зөвлөлд
  5. Өөрийн дүгнэлтийг автомат гаралттай харьцуул—санал нийлж буй болон зөрж буйг бүртгэ
• Эргэцүүлэх асуултууд:
  • Таны бие даасан дүгнэлт хэр олон удаа автоматжуулалттай нийцсэн бэ?
  • Санал зөрөх үед хэн нь илүү олон удаа зөв байсан бэ?
  • Эхлээд өөрийн шийдвэрээ гаргах нь автомат гаралттай харилцах харилцааг тань хэрхэн өөрчилсөн бэ?
• Давтамж: Бүх чухал шийдвэрүүдэд

Өдөр тутмын дадлага

"5 секундын түр зогсолт"

Аливаа автомат зөвлөмжийг хүлээн авахаасаа өмнө 5 секунд түр зогсоод: "Энэ нь буруу байж болох ямар нэг шалтгаан байна уу?" гэж асуугаарай. Энэхүү богино хугацааны саатал нь автоматаар хүлээн авах хариу үйлдлийг тасалдуулж, шүүмжлэлтэй үнэлгээ хийх орон зайг бий болгодог.

• Санал болгож буй хугацаа: Автомат оролт бүрт 5 секунд
• Өдрийн хамгийн тохиромжтой цаг: Өдрийн турш тасралтгүй
• Явцыг хэрхэн хянах вэ: Түр зогссон тоогоо бүртгэх; түр зогсолт нь таныг асуулт тавих эсвэл баталгаажуулахад хүргэсэн тохиолдлуудыг тэмдэглэ

Долоо хоногийн сорилт

Эргэлзэгчийн аудит

Долоо хоног бүр автоматжуулалтад ихээхэн найддаг амьдралынхаа нэг салбарыг сонгоорой (GPS, цахим шуудангийн шүүлтүүр, хайлтын эрэмбэ, хиймэл оюун ухааны тусламж). Тэр долоо хоногийн 5-10 автомат шийдвэрт системчилсэн аудит хий.

• 4 долоо хоногийн дараа хүлээгдэж буй үр дүн: Таны автоматжуулалт хаана найдвартай болон хаана алдаа гаргадаг болохыг тохируулсан ойлголттой болох; сайжруулсан баталгаажуулах зуршил; сохор итгэл буурах
• Эргэцүүлэн бодоход зориулсан тэмдэглэлийн асуултууд:
  • "Энэ аудит автоматжуулалтын нарийвчлалын талаарх ямар таамаглалд эргэлзээ төрүүлсэн бэ?"
  • "Хэрэв би энэ зөвлөмж зөв гэдэгт мөнгөөр мөрийцөх байсан бол хэр ихийг тавих байсан бэ?"
  • "Миний олсон алдааг барьж чадах ямар баталгаажуулах алхмыг би өөрийнхөө хэвшилд нэмж болох вэ?"

12. Тодорхой үзэгчдэд зориулсан

Удирдагчид болон Менежерүүдэд

Энэ төөрөгдөл нь манлайллын үр нөлөөнд хэрхэн нөлөөлдөг вэ:

• Автоматжуулсан аналитикийг шүүмжлэлгүйгээр хүлээн авдаг удирдагчид газар дээрх чухал бодит байдлыг алдаж болзошгүй
• Автоматжуулсан гүйцэтгэлийн хэмжүүр нь багийн эрүүл мэндийн талаар хуурамч итгэлийг бий болгож болзошгүй
• Алгоритмын таамаглалд үндэслэсэн стратегийн шийдвэрүүд нь урьд өмнө хэзээ ч байгаагүй нөхцөл байдлыг тооцож чадахгүй байж магадгүй

Байгууллагын нөхцөл байдалд зориулсан тусгай стратегиуд:

• Автомат зөвлөмжүүдэд олон нийтийн өмнө эргэлзэх замаар зохистой үл итгэх байдлын үлгэр дуурайлал үзүүлэх
• Ажилтнуудад автоматжуулалтыг эсэргүүцэх сэтгэл зүйн аюулгүй байдлыг бий болгох
• "Систем үүнийг санал болгосон" гэж сарнидаггүй тодорхой хариуцлагыг бий болгох
• Зөвхөн хэрэгсэл ашиглах ур чадварыг бус, харин дүгнэлт гаргах чадварыг чухалчилдаг сургалтанд хөрөнгө оруулах

Багт суурилсан арга хэмжээнүүд:

• Автоматжуулалтад эргэлзэхэд зориулсан "чөтгөрийн өмгөөлөгч"-ийн дүрийг хэрэгжүүлэх
• Өндөр эрсдэлтэй автомат зөвлөмжийг хүлээн авахаас өмнө олон бие даасан үнэлгээ шаардах
• Багийн уулзалтууд дээр автоматжуулалт доголдож байсан түүхүүдийг суралцах боломж болгон хуваалцах
• Багийн гишүүд автоматжуулалтын алдааг илрүүлсэн тохиолдлуудыг тэмдэглэх

Хэрэгжүүлэх шийдвэр гаргах үйл явцууд:

• Үйл явдлын өмнөх үнэлгээ (Pre-mortems): "Хэрэв энэ автомат зөвлөмж гамшигт хүргэсэн бол юу нь буруу болсон бэ?"
• Улаан баг (Red teaming): Автомат зөвлөмжийн эсрэг маргах хэн нэгнийг томилох
• Шалгалт тохируулгын хуралдаан: Өнгөрсөн автомат таамаглалуудыг бодит үр дүнтэй харьцуулах

Эцэг эхчүүд болон Сурган хүмүүжүүлэгчдэд

Хүүхдүүдэд энэ төөрөгдлийн талаар хэрхэн заах вэ:

• Компютер бол тустай хэрэгсэл боловч үргэлж зөв байдаггүй гэдгийг тайлбарлах
• Насанд нь тохирсон жишээнүүдийг ашиглах (үг үсгийн алдаа шалгагч, GPS-ийн алдаа)
• Эрүүл үл итгэх байдлыг үл итгэлцэл биш, оюун ухаан гэж хүлээж авахыг заах

Насанд нь тохирсон тайлбарууд:

• Бага насны хүүхдүүд (5-8): "Компютер зарим зүйлд ухаалаг байдаг ч тэнэг алдаа гаргаж чаддаг. Үргэлж шалгаж байгаарай!"
• Ахлах насны хүүхдүүд (9-12): "Апп, вэбсайтууд бидэнд туслах програмуудыг ашигладаг ч эдгээр програмууд бүх зүйлийг мэддэггүй. Бид бас өөрсдөө сэтгэцгээе."
• Өсвөр насныхан: "Хиймэл оюун ухаан болон алгоритмууд хүчирхэг ч хязгаартай байдаг. Ухаалаг байна гэдэг нь тэдэнд хэзээ итгэх, хэзээ баталгаажуулахаа мэддэг байхыг хэлнэ."

Залуу оюун ухааныг хамгаалах стратегиуд:

• Тооны машин ашиглахын зэрэгцээ тооцоолох дадлыг дэмжих
• Автомат туслахуудыг ашиглахаасаа өмнө хүүхдүүдээр даалгаврыг нь хийлгэх
• Мэдээ болон өдөр тутмын амьдралд технологийн буруу байсан жишээг ярилцах
• Эцэг эхийн хувиар баталгаажуулах зан үйлийг үлгэрлэн харуулах

Ангид эсвэл гэртээ хийх үйл ажиллагаа:

• Тооны машины үр дүн, GPS-ийн чиглэл, эсвэл AI-аар үүсгэсэн контенттой "Алдааг ол" тоглоом тоглох
• Автомат хайлтын үр дүнг баталгаажуулах шаардлагатай судалгааны төслүүд
• Хиймэл оюун ухааны урлаг, бичвэр, эсвэл зөвлөмжийн шүүмжлэлт үнэлгээ

Эрүүл мэндийн мэргэжилтнүүдэд

Энэ төөрөгдлийн эмнэлзүйн үр дагавар:

• Эмнэлзүйн шийдвэр гаргах дэмжлэгт хэт найдах нь буруу оношлогоонд хүргэж болзошгүй
• Сэрүүлгийн ядаргаа нь аюултай дутуу хамаарлыг бий болгодог
• AI оношлогооны хэрэгслүүд нь ердийн бус танилцуулгад муу ажиллаж магадгүй

Өвчтөнтэй харилцах стратеги:

• Автомат хэрэгслүүд хэзээ оношлогоонд мэдээлэл өгч байгааг тайлбарлах (ил тод байдал нь зохих итгэлийг бий болгодог)
• Автомат үр дүнг тайлбарлахад эмнэлзүйн дүгнэлтийн үүргийг онцлох
• Өвчтөнүүдийн ашиглаж болох эрүүл мэндийн апп-ууд болон AI шинж тэмдэг шалгагчдын хязгаарлалтын талаар ярилцах

Оношлогооны анхаарах зүйлс:

• Шийдвэрийн дэмжлэгтэй зөвлөлдөхөөс өмнө ялгавартай оношлогоог бүрдүүлэх
• Автоматжуулалтыг эцсийн хариулт биш, олон мэдээллийн нэг хэсэг болгон ашиглах
• Автомат гаралт нь эмнэлзүйн илрэлтэй таарахгүй байх үед онцгой эргэлзээтэй хандах

Эмчилгээний төлөвлөлтийн үр нөлөө:

• Автомат тунгийн тооцоолуур нь жин болон бөөрний үйл ажиллагааны баталгаажуулалтыг шаарддаг
• Эмчилгээний протоколын зөвлөмжүүд нь хувь хүний өөрчлөлтийг тооцохгүй байж болно
• Өвчтөнд хамаарах хүчин зүйлүүд нь алгоритмын зөвлөмжөөс давуу байж болно

Ёс зүйн анхаарах зүйлс:

• Хариуцлагыг автоматжуулалтад шилжүүлэх боломжгүй
• Мэдээлэлтэй зөвшөөрөл нь оношлогоонд AI ашиглаж байгааг илчлэх шаардлагатай байж магадгүй
• Автоматжуулалтаас үл хамааран мэргэжлийн дүгнэлт хамгийн чухал хэвээр байна

Санхүүгийн мэргэжилтнүүдэд

Хөрөнгө оруулалтын тусгай хэрэглээ:

• Алгоритмын арилжааны зөвлөмжүүд нь хүний эрүүл ухааны шалгалтыг шаардсаар байна
• Өнгөрсөн хугацааны гүйцэтгэл нь ирээдүйн үр дүнг баталгаажуулахгүй
• Урьд өмнө хэзээ ч байгаагүй зах зээлийн нөхцөл байдалд загварууд гамшигт өртөж бүтэлгүйтэж болно

Үйлчлүүлэгчтэй харилцах стратеги:

• Багцын менежмент дэх автоматжуулалтын үүргийг тайлбарлах
• Алгоритм юу хийж чадах, юу хийж чадахгүй талаар зохих хүлээлтийг бий болгох
• Эрсдэлийн загварчлал болон урьдчилан таамаглах хязгаарлалтын талаар ярилцах

Эрсдэлийн менежментийн үр дагавар:

• Автомат эрсдэлийн хэмжүүрүүд (VaR гэх мэт) нь мэдэгдэж буй алдааны горимтой байдаг
• Хямралын үед хамаарлууд өөрчлөгдөж, загварын таамаглалыг эвдэж болно
• Захын эрсдэлтэй хувилбаруудад хүний дүгнэлт зайлшгүй шаардлагатай

Зохицуулалтын анхаарах зүйлс:

• Алгоритмын зөвлөгөөг дагаснаар итгэмжлэгдсэн үүрэг хангагдахгүй
• Автомат зөвлөмжийг хүн хянасныг баримт бичигт тусгасан байх ёстой
• Нийцлийн системүүд бүрэн автоматжуулалт биш, харин хүний хяналтыг шаарддаг

13. Бусад төөрөгдлүүдтэй харилцан үйлчлэх нь

Энэхүү төөрөгдлийг өсгөдөг төөрөгдлүүд

Энэ төөрөгдлийг эсэргүүцдэг төөрөгдлүүд

Нийтлэг төөрөгдлийн гинж

Автоматжуулалт-Баталгаажуулалт-Санах ойн гинж: Автоматжуулалтын төөрөгдөл → Баталгаажуулах төөрөгдөл → Санах ойн гажуудал → Батлагдсан автоматжуулалтын төөрөгдөл

Хэн нэгэн автомат зөвлөмжийг хүлээн авах үед (автоматжуулалтын төөрөгдөл) тэд үүнийг батлах мэдээллийг сонгож анзаарч эхэлдэг (баталгаажуулах төөрөгдөл). Цаг хугацаа өнгөрөхөд санах ой нь автомат шийдвэрийг дэмжихийн тулд үйл явдлуудыг дахин сэргээж, бүр нотлох баримтуудыг зохиодог (санах ойн гажуудал). Энэхүү хуурамч нотлох баримт нь өнгөрсөн автомат шийдвэрүүдийг байснаас нь илүү найдвартай мэт харагдуулж, ирээдүйн автоматжуулалтын төөрөгдлийг улам хүчтэй болгодог.

Цувралыг таслах нь: Гол хөндлөнгийн цэг нь анхны хүлээн авалтын өмнө байдаг. Автоматжуулалтыг харахаасаа өмнө бие даасан дүгнэлт гаргах үүрэг хүлээх нь эхний зангууг эвддэг. Зөрчилдсөн нотлох баримтыг тодорхой баримтжуулахыг шаардах нь сонгомол анхаарал хандуулахаас сэргийлдэг. Автомат таамаглалыг үр дүнтэй харьцуулах тогтмол аудит нь санах ойн гажуудлыг засдаг.

14. Соёлын хэтийн төлөв

Соёл хоорондын автоматжуулалтын төөрөгдлийн судалгаа нь бүх нийтийн онцлог шинж чанарууд болон мэдэгдэхүйц ялгааг хоёуланг нь илрүүлдэг:

Нийтлэг талууд:

• Суурь танин мэдэхүйн механизмууд (эрчим хүчний хэмнэлт, эвристик боловсруулалт) судлагдсан бүх соёлд илэрдэг
• "Танин мэдэхүйн харамч" нөлөө нь соёлын гарал үүслээс үл хамааран ажилладаг
• Өндөр найдвартай байдал нь итгэлцэлд хүргэж, нийтээр баталгаажуулалтыг бууруулдаг

Соёлын ялгаанууд:

Бүс нутгийн судалгааны онцлог:

• Япон (Ишигуро): Роботуудад итгэх нийгмийн итгэл болон хүншүүлэх нөлөөнд анхаарал хандуулах; хүн-машины зохицолтой харилцан үйлчлэлд соёлын анхаарал хандуулсан өндөр технологийн хэрэглээ
• Өмнөд Солонгос (KAIST): Тайлбарлах боломжтой AI-г соёлын үнэт зүйл гэж үзэх; ил тод байдлын хүлээлт нь сохор автоматжуулалтын итгэлийг бууруулж болно
• Хятад (Цинхуа): Харилцан ярианы AI-ийн аюулгүй байдал болон хэрэглэгчийн өрөөсгөл хандлагыг бэхжүүлдэг зуйрганасан AI хариултаас урьдчилан сэргийлэх судалгааны онцлог
• Герман (TU Berlin, TU Darmstadt): Сэрүүлгийн дизайн болон үйлчилгээний роботтой харилцах харилцааны инженерийн чиглэл; соёлын нарийвчлал нь баталгаажуулалтын хэм хэмжээнд нөлөөлж магадгүй
• АНУ: Хувь хүний түвшний танин мэдэхүйн сэтгэл судлал болон нисэх/батлан хамгаалах хэрэглээнд анхаарал хандуулах

Соёл хоорондын үр дагавар:

• Хуваалцсан автомат системийг ашигладаг олон улсын багууд өөр өөр анхдагч итгэлцлийн түвшинтэй байж болно
• Үндэстэн дамнасан байгууллагууд автоматжуулалтын интерфейсийг зохион бүтээхдээ соёлын өөрчлөлтийг анхаарч үзэх хэрэгтэй
• Дэлхийн AI системүүд өөр өөр зах зээлд итгэлцлийн шалгалт тохируулгын өөр хандлагыг шаардаж магадгүй

15. Буруу ойлголтууд

16. Мэргэжилтний ойлголтууд

"Автоматжуулалтын төөрөгдөл нь 'сонор сэрэмжтэй мэдээлэл хайх, боловсруулах эвристик орлуулагч'—нөхцөл байдлын үнэлгээг хугацаанаас нь өмнө зогсоодог танин мэдэхүйн 'товчлол' болж ажилладаг." — Линда Скитка, Кэтлин Мозиер & Марк Бурдик, 1999

"Итгэлцэл бол тодорхой бус байдал, эмзэг байдлаар тодорхойлогддог нөхцөл байдалд төлөөлөгч нь хувь хүний зорилгод хүрэхэд тусална гэсэн хандлага юм." — Жон Д. Ли & Катрина А. Си, 2004

"Хэрэглэгчид машины дүгнэлтийг тулалдааны талбарын бодит байдлаас илүүд үзэж, үүнтэй зөрчилдөх нотлох баримтууд байсаар байтал системийн алдааг дуртайяа хүлээн зөвшөөрсөн." — Patriot Пуужингийн Ослын талаарх Батлан Хамгаалахын Шинжлэх Ухааны Зөвлөлийн Тайлан, 2005

"Багийнхан 'үйл явцаас гарсан' бөгөөд автоматжуулалт яг юу хийгээд байгааг ойлгож чадахгүй байв." — Нислэг 447-ийн FAA-ийн Хүний Хүчин Зүйлийн Шинжилгээ, тайланд дурдсанаар

"LLM-ийн алдаатай зөвлөмжүүд нь автоматжуулалтын төөрөгдөл үүсгэх замаар эмч нарын оношилгооны гүйцэтгэлийг мэдэгдэхүйц бууруулдаг." — 2025 оны AI-Тусламжтай Оношлогооны Санамсаргүй Эмнэлзүйн Туршилт

"Хүмүүс дайн эхлүүлэхдээ зөвхөн таван пуужингаар эхлүүлдэггүй." — Дэд хурандаа Станислав Петров, 1983 онд ЗХУ-ын цөмийн эрт сэрэмжлүүлэх системийг давах шийдвэрээ тайлбарлахдаа

17. Гол санаанууд

1. Автоматжуулалтын төөрөгдөл нь нийтлэг бөгөөд гүн гүнзгий үндэстэй. Энэ нь технологиос өмнө хүмүүст сайнаар үйлчилж байсан хувьссан танин мэдэхүйн үр ашгийн механизмаас үүдэлтэй боловч төгс бус автоматжуулсан системд хэрэглэхэд аюултай эмзэг байдлыг бий болгодог.

2. Хоёр төрлийн алдаа энэ төөрөгдлийг тодорхойлдог: Орхигдуулах алдаа (автоматжуулалт сэрэмжлүүлээгүйн тул асуудлыг алдах) болон гүйцэтгэх алдаа (автоматжуулалтын буруу зөвлөмжийг идэвхтэй дагах). Гүйцэтгэх алдаа нь шүүлтээс идэвхтэйгээр бууж өгч байгааг илтгэдэг тул илүү түгшүүртэй байдаг.

3. Найдвартай байдал нь аюулыг бий болгодог. Парадокс: автоматжуулалт хэдий чинээ найдвартай болно, автоматжуулалт бүтэлгүйтэх үед хүний алдаа төдий чинээ аюултай болдог. Өндөр найдвартай системүүдийн хувьд "хүн нөөцлөх" таамаглал нь математикийн хувьд алдаатай байдаг.

4. Үр дагавар нь түүхэнд бичигдсэн байдаг. Унасан нисэх онгоцноос эхлээд хилсээр шоронд хоригдох хүртэл автоматжуулалтын төөрөгдөл нь хүний амь нас, эрх чөлөө, тэрбум тэрбум долларын хохирол учруулсан. Эдгээр нь онолын эрсдэл биш юм.

5. Зөвхөн сургалт хангалттай биш. Системийн дизайн нь хувь хүний хүсэл зоригоос илүү чухал юм. Магадлалын дэлгэц, танин мэдэхүйг хүчлэх функцууд болон нийгэм-техникийн ажлын урсгалын дизайн нь хүмүүст "илүү их хичээ" гэж хэлэхээс хамаагүй илүү үр дүнтэй байдаг.

6. Итгэлцлийг дээд зэргээр нэмэгдүүлэх биш, харин тохируулах ёстой. Зорилго нь автоматжуулалтад үл итгэх биш харин итгэлийг бодит чадавхитай нь нийцүүлэх явдал юм. Зөвхөн систем юу хийдэг төдийгүй хэрхэн ажилладаг, хаана бүтэлгүйтдэг болохыг ойлгох нь чухал юм.

7. AI-ийн эрин үе эрсдэлийг нэмэгдүүлж байна. Том хэлний загварууд нь байгалийн хэлээр дамжуулан харилцаж, гүн гүнзгий нийгмийн итгэлцлийн механизмыг өдөөдөг. "Хий үзэгдлийг хүлээн зөвшөөрөх"—үнэмшилтэй сонсогдох худал хуурмаг зүйлд итгэх—нь нийгэм дөнгөж л тэмцэж эхэлж буй автоматжуулалтын төөрөгдлийн шинэ бөгөөд хүчтэй илрэлийг харуулж байна.

18. Нэмэлт эх сурвалжууд

Эрдэм шинжилгээний өгүүллүүд

• Skitka, L. J., Mosier, K. L., & Burdick, M. (1999). Does automation bias decision-making? International Journal of Human-Computer Studies, 51(5), 991–1006.
• Parasuraman, R., & Manzey, D. H. (2010). Complacency and bias in human use of automation: An attentional integration. Human Factors, 52(3), 381–410.
• Lee, J. D., & See, K. A. (2004). Trust in automation: Designing for appropriate reliance. Human Factors, 46(1), 50–80.
• Lyell, D., & Coiera, E. (2017). Automation bias and verification complexity: A systematic review. Journal of the American Medical Informatics Association, 24(2), 423–431.
• Goddard, K., Roudsari, A., & Wyatt, J. C. (2012). Automation bias: A systematic review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association, 19(1), 121–127.

Номнууд

• Parasuraman, R., & Mouloua, M. (Eds.). (1996). Automation and Human Performance: Theory and Applications. Lawrence Erlbaum Associates.
• Wickens, C. D., & Hollands, J. G. (2000). Engineering Psychology and Human Performance (3rd ed.). Prentice Hall.
• Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.
• Reason, J. (1990). Human Error. Cambridge University Press.
• Lee, J. D., Wickens, C. D., Liu, Y., & Boyle, L. N. (2017). Designing for People: An Introduction to Human Factors Engineering (3rd ed.). CreateSpace.

Номын бүлгүүд

• Mosier, K. L., & Skitka, L. J. (1996). Human decision makers and automated decision aids: Made for each other? In R. Parasuraman & M. Mouloua (Eds.), Automation and Human Performance (pp. 201–220). Lawrence Erlbaum Associates.

19. Хураангуй карт

20. Ашигласан нэр томьёоны тайлбар

21. Хэлэлцүүлгийн асуултууд

Номын клуб, анги танхим, эсвэл өөрийгөө эргэцүүлэн бодоход зориулав:

1. Тайланд "машин хэдий чинээ найдвартай байна, хүний операторын алдаа гаргах боломж төдий чинээ аюултай болдог" гэж баталж байна. Энэ парадоксыг шийдвэрлэх боломжтой юу, эсвэл энэ нь хүн-автоматжуулалтын хамтын ажиллагааны салшгүй хязгаарлалт уу?

2. Станислав Петров автоматжуулалтын төөрөгдлийг амжилттай эсэргүүцэж, цөмийн дайнаас урьдчилан сэргийлж чадсан. Бусад хүмүүс (Patriot операторууд гэх мэт) чадахгүй байхад түүнд ямар хувийн чанар, сургалт, эсвэл нөхцөл байдал үүнийг хийх боломжийг олгосон бэ?

3. Их Британийн Шуудангийн Horizon скандиал нь автоматжуулалтын төөрөгдөл байгууллагын түвшинд 15-аас дээш жил үргэлжилснийг харуулсан. Ирээдүйд үүнтэй төстэй институцийн автоматжуулалтын төөрөгдлөөс урьдчилан сэргийлэхийн тулд ямар системийн өөрчлөлт хийх шаардлагатай вэ?

4. Хиймэл оюун ухааны хэлний загварууд улам боловсронгуй болохын хэрээр тэдгээр нь хүмүүсийн үнэнийг дамжуулахад ашигладаг семантик сувгаар дамжуулан харилцдаг. Энэ нь AI автоматжуулалтын төөрөгдлийг өмнөх хэлбэрүүдээс үндсээр нь өөр болгодог уу? Одоо байгаа бууруулах стратегиуд хангалттай юу?

5. Хүмүүс автоматжуулсан буруу зөвлөмжийг дагаж мөрдөхөд хуулийн хариуцлага хүлээх ёстой юу? Хүний оператор, байгууллага, автоматжуулалтын борлуулагчдын хоорондын хариуцлагыг бид хэрхэн тэнцвэржүүлэх вэ?