Valimimahutuse eiramine

Lühiülevaade

1. Kiire kokkuvõte

Me usume instinktiivselt, et väike andmevalim peaks nägema välja täpselt samasugune nagu laiem populatsioon, millest see on võetud. Kui kümme mündiviset ei näita täiuslikku 50/50 jaotust, näeme mustreid, seeriaid või ebaõiglust, selle asemel et tunnistada väikeste arvude loomulikku varieeruvust. See paneb meid tegema piiratud andmete põhjal enesekindlaid järeldusi, nägema juhuslikus müras tähendusrikkaid trende ja alahindama kvantiteedi üliolulist rolli statistilises usaldusväärsuses.

2. Teadus selle taga

2.1. Avastamine ja ajalugu

Valimimahutuse eiramise ametlik tuvastamine sai alguse 1970. aastate psühholoogia kognitiivsest revolutsioonist. 1971. aastal avaldasid Amos Tversky ja Daniel Kahneman ajakirjas Psychological Bulletin artikli "Belief in the Law of Small Numbers" ("Usk väikeste arvude seadusesse"), pakkudes välja, et inimese intuitsioon toimib nii, nagu kehtiks suurte arvude seadus ka väikeste arvude puhul. Kolm aastat hiljem, oma 1974. aasta pöördelises Science artiklis "Judgment under Uncertainty: Heuristics and Biases", kodifitseerisid nad selle nähtuse formaalselt spetsiifilise kognitiivse kalduvusena laiema esinduslikkuse heuristiku raames.

Selle intellektuaalsed juured ulatuvad matemaatilise tõenäosusteooriani, täpsemalt Gerolamo Cardano ja Jacob Bernoulli suurte arvude seaduse varaste sõnastusteni. Kuid psühholoogilisele uurimusele selle kohta, miks inimesed süstemaatiliselt seda matemaatilist printsiipi rikuvad, rajas teed Kahnemani ja Tversky koostöö.

Meie arusaam on alates 1970. aastatest märkimisväärselt arenenud. Max Plancki Instituudi "ökoloogilise ratsionaalsuse" koolkond, mida juhib Gerd Gigerenzer, on vaidlustanud algse tõlgenduse, väites, et see kalduvus võib osaliselt olla probleemide esitamisviisi tulemus. Kui statistiline teave sõnastatakse ümber loomulike sagedustena, mitte abstraktsete tõenäosustena, paraneb sooritus dramaatiliselt.

2.2. Peamised uurijad

2.3. Märgilised uuringud

Haiglaprobleem (Tversky & Kahneman, 1974)

Selles kanoonilises eksperimendis lugesid osalejad: "Teatud linna teenindab kaks haiglat. Suuremas haiglas sünnib iga päev umbes 45 beebit ja väiksemas umbes 15. Teatavasti on umbes 50% kõigist beebidest poisid. Kuid täpne protsent varieerub päevast päeva. Ühe aasta jooksul märkis kumbki haigla üles päevad, mil enam kui 60% sündinud beebidest olid poisid. Kummast haiglast arvate, et sündis rohkem selliseid päevi?"

Tulemused olid rabavad: 56% üliõpilastest valis "Umbes sama palju", 22% valis suurema haigla ja ainult umbes 22% tuvastas õigesti väiksema haigla. Õige vastus on väiksem haigla, sest väiksemad valimid on volatiilsemad ja tekitavad tõenäolisemalt äärmuslikke kõrvalekaldeid keskmisest. Osalejad pidasid valimi suurust ebaoluliseks, eeldades, et 50% suhe kehtib võrdselt hoolimata sellest, kas valim on 15 või 45.

Pikkuse hindamise eksperiment (Tversky & Kahneman, 1974)

Osalejad hindasid tõenäosust leida üldpopulatsioonist võetud 10, 100 ja 1000 mehe hulgast keskmine pikkus üle 6 jala (183 cm). Loogiliselt võttes on 1000 mehe leidmine, kelle keskmine on üle 6 jala, peaaegu võimatu, samas kui 10 mehe keskmise pikkuse leidmine on lihtsalt ebatõenäoline. Ometi andsid katsealused kõigile kolmele valimisuurusele sama tõenäosuse. Hinnates valimeid pelgalt nende kirjelduse ("mehed") põhjal, ignoreerisid osalejad täielikult suuremate arvude stabiliseerivat jõudu.

Mammograafia probleem (Gigerenzer jt, 1995)

Kui arstidel paluti hinnata rinnavähi tõenäosust positiivse mammogrammi korral, kasutades protsente (tundlikkus=90%, valepositiivne=9%, levimus=1%), vastas õigesti vaid 10-15%. Kui sama probleem esitati loomulike sagedustena ("10-l naisel 1000-st on vähk..."), tõusis täpsus 46-67%-ni. See näitas, et valimi suuruse väljatoomine nimetajas parandas statistilist arutlemist drastiliselt.

"Kuuma käe" uuring (Gilovich, Vallone, & Tversky, 1985)

Analüüsides Philadelphia 76ersi ja Boston Celticsi viskeandmeid, ei leidnud teadlased statistilisi tõendeid "kuumade" seeriate kohta peale selle, mis on oodatav juhuslikkuse tõttu. Mängija viskeandmed ei erinenud matemaatiliselt mündivisete jadast. Mängijate, treenerite ja fännide universaalne usk "kuuma käesse" osutus kognitiivseks illusiooniks, mille tekitas mustrite tajumine juhuslikes väikestes valimites.

2.4. Neuroloogiline baas

See kalduvus toimib läbi selle, mida psühholoogid Keith Stanovich, Richard West ja Daniel Kahneman nimetasid "Süsteem 1" mõtlemiseks—kiired, automaatsed, intuitiivsed kognitiivsed protsessid, mis seavad kiiruse ja sidususe ettepoole matemaatilisest täpsusest. Statistiliste tõendite hindamisel töötleb Süsteem 1 sarnasusi ja mustrituvastust, selle asemel et kaasata aeglasemad ja rohkem pingutust nõudvad Süsteem 2 protsessid, mis on vajalikud õigeks statistiliseks arutlemiseks.

Aju mustrituvastuse ahelad, mis on evolutsioneerunud ohu kiireks hindamiseks ja põhjuslikeks järeldusteks, otsivad andmetes automaatselt tähendusrikast struktuuri. Need ahelad ei tee vahet suurtel ja väikestel valimitel; nad reageerivad teabe pindmistele omadustele (proportsioonid, näilised mustrid), mitte usaldusväärsuse metaandmetele (valimi suurus, dispersioon).

Prefrontaalne ajukoor, mis vastutab täidesaatvate funktsioonide ja matemaatilise mõtlemise eest, suudab Süsteem 1 hinnanguid tühistada, kuid see nõuab teadlikku pingutust, statistilist väljaõpet ja kognitiivseid ressursse. Ajapuuduse, kognitiivse koormuse või emotsionaalse erutuse tingimustes domineerivad Süsteem 1 vaikesätted ning valimi suurus jääb tähelepanuta.

3. Evolutsiooniline päritolu

Inimese meel on arenenud navigeerima keerulises, mürarikkas ja ohtlikus maailmas, kus andmeid oli napilt ja kõhkluse hind oli surm. Pleistotseeni keskkonnas pidid meie eellased tegema kiireid üldistusi piiratud tähelepanekute põhjal: üksainus kohtumine kiskja või mürgise marjaga õigustas universaalset vältimisreeglit.

See evolutsiooniline tööriistakast seadis mustrituvastuse ja kiired järeldused matemaatilisest täpsusest ettepoole. Võime teha laiahaardelisi järeldusi väikeste valimite põhjal oli selge kohanemiseelis—ootamine "statistiliselt olulise" valimi kiskjatega kohtumistest enne põgenemisotsuse tegemist oleks olnud saatuslik.

Kuid see sama kognitiivne kohanemine, mis tagas ellujäämise andmevaestes esivanemate keskkondades, avaldub meie kaasaegses andmerikkas maailmas sügava puudusena. Me elame nüüd maailmas, mida juhivad stohhastilised protsessid, tõenäosuslikud tulemused ja massiivsed andmestikud, ometi on meie intuitsioon endiselt kangekaelselt kinni väikese valimi loogikas.

Seda kalduvust võib vaadelda pigem evolutsioonilise omadusena kui veana: see oli kalibreeritud keskkondade jaoks, kus (1) valimid olidki olemuslikult väikesed, (2) valepositiivsed tulemused (mustrite nägemine seal, kus neid pole) olid vähem kulukad kui valenegatiivsed (tõeliste ohtude märkamata jätmine) ja (3) kohene tegutsemine trumpas üle statistilise täpsuse.

4. Kuidas see kalduvus avaldub

4.1. Igapäevaelus

Igapäevastes otsustes kipume väikesi valimeid pidevalt üle tõlgendama. Pärast uue restorani ühekordset külastamist ja keskpärast toitu järeldame, et "see koht on halb", selle asemel, et tunnistada, et oleme proovinud vaid ühte rooga ühel õhtul. Kohtumine kellegagi teatud linnast või ametikohalt käivitab üldistused, mis põhinevad sellel ühelainsal kohtumisel.

Me hindame naabruskondade turvalisust käputäie anedootide põhjal, kujundame arvamusi toodetest kolme Amazoni arvustuse põhjal ja järeldame, et meie mehaanik on ebaaus, tuginedes ühele ebaselgele remondile. Me näeme sõbra edukat dieeti ja eeldame, et see töötab ka meil, ignoreerides tuhandeid individuaalseid variatsioone, mis tulemusi määravad.

Suhetes kujundab partneri mõnepäevane käitumine meie hinnangu tema iseloomule. Lapse kehv tulemus ühel kontrolltööl paneb vanemaid järeldama, et ta "on matemaatikas halb". Mõni edukas ennustus paneb meid uskuma, et oleme head tuleviku prognoosijad.

4.2. Töökohal

Professionaalne keskkond võimendab valimi suuruse eiramise kulusid. Juhid hindavad töötajate tulemuslikkust mõne vaadeldud intsidendi, mitte süstemaatiliste andmete põhjal. Värbamisotsused toetuvad lühikestele intervjuudele—käitumise tillukesele valimile—, kuid neid käsitletakse lõplike hinnangutena.

Kvartaalsed tulemused, mis esindavad vaid kolme kuud (väike valim ettevõtte trajektoorist), juhivad suuri strateegilisi otsuseid. Uus algatus, mis näitab kahel esimesel kuul alatulemust, tühistatakse enne, kui dispersioon jõuab stabiliseeruda. Juhte, kes saavutavad varase edu, peetakse "visionäärideks", samas kui neid, kes seisavad silmitsi varajaste tagasilöökidega, sildistatakse läbikukkujateks, sõltumata tulemuste tegelikust jaotusest.

Tulemuslikkuse hindamised kaaluvad sageli hiljutisi sündmusi ebaproportsionaalselt palju, pidades viimaseid nädalaid terve aasta esinduslikuks. Koolitusprogramme hinnatakse tõhusaks või ebatõhusaks esimese kohordi põhjal, ignoreerides loomulikku varieeruvust gruppide vahel.

4.3. Äris ja turunduses

New Coke'i katastroof näitab ilmekalt, kuidas ettevõtted selle kalduvuse ohvriks langevad. Coca-Cola viis läbi ligi 200 000 pimedat maitsetesti, leides ülekaaluka eelistuse oma magusamale uuele valemile. Need olid aga "lonksutestid"—tilluke valim kogu joogi tarbimise kogemusest. Ühes lonksus reageerib aju suurele magususele positiivselt. Terves purgis muutub seesama magusus läägeks. Coke'i juhid eeldasid, et lonksuvalim esindab terve purgi kogemust, mis viis massilise tarbijate mässuni.

Ford Edseli läbikukkumine demonstreerib ajalist valimimahutuse eiramist. Ford viis aastatel 1955-1956 läbi põhjalikke uuringuid, mis näitasid, et ameeriklased soovisid suuri ja edevaid autosid. Nad käsitlesid seda ajas piiratud valimit püsiva tõena. Aastaks 1958, kui auto turule toodi, oli turg liikunud väiksemate autode suunas ja Edselist sai turundusliku läbikukkumise sünonüüm.

Ettevõtted toovad rutiinselt turule tooteid 8-12 inimesega fookusgruppide põhjal, A/B testidega, mis kestavad pigem päevi kui nädalaid, ja pilootprogrammidega mitteesinduslikel turgudel. Turunduskampaaniate ulatust suurendatakse esialgsete vastamismäärade põhjal, mis pole veel stabiliseerunud.

4.4. Poliitikas ja meedias

1936. aasta Literary Digesti küsitluskatastroof illustreerib, kuidas massiivsed, kuid kallutatud valimid ebaõnnestuvad. Ajakiri küsitles 2,4 miljonit inimest ja ennustas, et Alfred Landon võidab Franklin Roosevelti. Nad eeldasid, et kvantiteet tagab täpsuse, eirates tõsiasja, et nende valim (mis oli koostatud autoregistrite ja telefoniraamatute põhjal) jättis süstemaatiliselt välja majanduskriisi aegsed valijad, kellel puudusid need jõukuse tunnused. George Gallup ennustas tulemust õigesti, kasutades vaid 50 000 inimesest koosnevat esinduslikku valimit.

Kaasaegne küsitlusmaastik on endiselt kimpus valimi suuruse tõlgendamisega. Meedia raporteerib hingetult veamäära piires olevatest küsitluste kõikumistest kui olulistest nihetest. Pundid teevad varajaste valimistulemuste põhjal kaugeleulatuvaid järeldusi, pidades väikesi valimeid prognoosivateks. Kahtlevate valijate fookusgruppidest saavad narratiivi kujundavad hetked, kuigi nad esindavad statistilist müra.

Poliitilised arvamused kujunevad käputäie anedootide põhjal immigrantidest, toetusesaajatest või politseinikest, kusjuures igat lugu käsitletakse kui esinduslikku näidet miljonite mitmekesiste isikute kohta.

4.5. Tervishoius

Neeruvähi kaart pakub silmatorkava meditsiinilise näite. Statistikud Howard Wainer ja Harris Zwerling näitasid, et madalaima neeruvähimääraga maakonnad on valdavalt maapiirkonnad ja hõredalt asustatud. Intuitiivne narratiiv: maaelu ennetab vähki läbi värske õhu ja puhta eluviisi. Seejärel näitasid nad, et ka kõrgeima vähimääraga maakonnad on valdavalt maapiirkonnad ja hõredalt asustatud. Ühine tegur pole elustiil, vaid väike rahvaarv—500 elanikuga maakonnas viib üksainus diagnoos määra riigi tippu, null juhtumit kukutab selle aga põhja.

Arstid kipuvad üle tõlgendama haruldaste haiguste positiivseid testitulemusi, jättes arvestamata baasmäärad ja valimi suurused. Kolme kõrgendatud näiduga patsiendile diagnoositakse krooniline haigus, mis võib tegelikult peegeldada pelgalt mõõtmisvarieeruvust. Ravi tõhusust hinnatakse käputäie patsientide põhjal, mitte randomiseeritud kontrollitud uuringutest.

Rahvatervise ametnikud jahivad "vähiklastreid" ja "tervisetsoone", mis on lihtsalt väikese rahvaarvu statistilised anomaaliad. Ressursse jaotatakse valesti äärmuslike väärtuste põhjal, mis suuremate valimite korral taanduksid keskmisele.

4.6. Rahanduses ja investeerimises

Ellujääja erapoolikus (Survivorship Bias) kujutab endast kahjulikku valimi suuruse eiramise vormi finantsturgudel. Kui investorid analüüsivad investeerimisfondide tootlust viimase 10 aasta jooksul, vaatavad nad ainult neid fonde, mis on endiselt olemas—ellujääjaid. Ebaõnnestunud ja likvideeritud fondid puuduvad valimist, mis paisutab kunstlikult näilist keskmist tootlust. Investor võib näha 8% keskmist tootlust ja järeldada, et aktiivne juhtimine toimib, samas kui "surnud" fondide kaasamine näitaks tootlust 4% või madalamat.

Investorid jooksevad fondide järel 3-5-aastase ajaloo põhjal, käsitledes seda väikest ajalist valimit tõendina püsivast oskusest. Richard Thaleri uuringud näitavad, et investorid ekstrapoleerivad kasumiuudiste väikestest valimitest liiga palju: kolme kvartali jagu ootuste ületamist käsitletakse struktuurse paremusena, mis viib hinnad irratsionaalsele tasemele.

Robert Shiller dokumenteeris, et turuhinnad kõiguvad palju rohkem, kui alusnäitajad seda õigustaksid. See "liigne volatiilsus" tuleneb sellest, et investorid käsitlevad lühiajalisi uudiseid—väikest valimit ettevõtte pikaajalisest tulevikust—kui lõplikku teavet selle püsiva väärtuse kohta.

5. Reaalelu juhtumiuuringud

Juhtumiuuring 1: Replikatsioonikriis psühholoogias

• Kontekst: Aastakümneid tegutsesid psühholoogiauuringud väikeste valimitega (sageli N=20 või N=40 tingimuse kohta). "Jõupoosimise" uuring (Carney, Cuddy, & Yap, 2010) väitis, et kaks minutit "jõulises" poosis seismine põhjustas hormonaalseid muutusi ja suurendas riskivalmidust. Valimi suurus oli 42 osalejat.

• Mis juhtus: Uuring avaldati prestiižses ajakirjas, see pälvis massilist meediatähelepanu ja sünnitas TED-kõne, mida vaadati miljoneid kordi. Teadusringkond aktsepteeris N=42 kui piisavat peenete hormonaalsete mõjude tuvastamiseks.

• Kalduvus tegevuses: Teadlased, toimetajad ja retsensendid—kannatades just selle kalduvuse all, mida Tversky ja Kahneman kirjeldasid—uskusid, et väikesed valimid on piisavalt tugevad peenete mõjude tuvastamiseks. Nad nägid müras mustrit.

• Tagajärjed: Kui hiljem püüti läbi viia suuremahulisi replikatsioone N=200+, kadusid hormonaalsed mõjud täielikult. Open Science Collaboration (2015) kordas 100 psühholoogiauuringut ja leidis, et vähem kui pooli neist suudeti edukalt reprodutseerida. Peamine süüdlane oli toetumine liiga väikeste valimitega uuringutele.

• Õppetunnid: "Võitja needus" teaduslikus publitseerimises tähendab, et avaldatakse need uuringud, millel on liialdatud mõju suurused, mis juhtumisi ületasid statistilise olulisuse künniseid. Tõelised mõjud ilmnevad alles suurte valimitega. Psühholoogia on sellest ajast alates kehtestanud reforme, mis nõuavad suuremaid valimeid ja uuringute eelregistreerimist.

Juhtumiuuring 2: New Coke'i katastroof

• Kontekst: 1985. aastal seisis Coca-Cola silmitsi Pepsi järjest suureneva turusurvega "Pepsi Challenge" pimedate maitsetestide kaudu. Siseuuringud näitasid, et magusam Pepsi võitis lonkshaaval võrdlusi.

• Mis juhtus: Coca-Cola viis läbi ligi 200 000 pimedat maitsetesti, leides ülekaaluka eelistuse magusamale uuele valemile. Nende andmete põhjal asendasid nad oma sajandivanuse valemi "New Coke'iga".

• Kalduvus tegevuses: Need olid "lonksutestid"—tilluke valim terve joogi tarbimise kogemusest. Juhid eeldasid, et see mikrovalim esindab kogu tarbimiskogemust. Lonksus on magusus meeldiv; terves purgis muutub see ülekaalukaks.

• Tagajärjed: Tarbijate mäss oli kohene ja äge. 79 päeva jooksul tõi Coca-Cola algse valemi tagasi nime "Coca-Cola Classic" all. Ettevõte kaotas miljoneid ja sai pikaajalist brändikahju.

• Õppetunnid: "Valim" peab vastama "populatsioonile", mida see esindab. Lonks ei ole purk, nii nagu üks poekülastus ei ole kliendilojaalsus. Analüüsiüksus peab vastama reaalmaailma käitumisele.

Ajalooline näide: 1936. aasta Literary Digesti küsitlus

Ajakiri Literary Digest viis läbi midagi, mis tundus küsitluste kuldstandardina: välja saadeti 10 miljonit ankeeti, tagasi tuli 2,4 miljonit. Nad ennustasid, et Landon võidab Roosevelti 57% häältega. Roosevelt võitis 61%.

Digesti toimetajad uskusid, et massiivne valimi suurus tagab täpsuse. Mida nad ei mõistnud, oli see, et nende valimiraamistik—telefoniraamatud ja autoregistrite nimekirjad—jättis süstemaatiliselt välja madalama sissetulekuga valijad, kes toetasid ülekaalukalt Roosevelti New Deal'i poliitikat. George Gallup, kasutades õiget tõenäosuslikku valimit vaid 50 000 vastajaga, ennustas tulemust õigesti.

See juhtum õpetab, et väike, esinduslik valim (n=3000) on lõpmatult usaldusväärsem kui massiivne, kallutatud valim (N=2,4 miljonit). Digest lõpetas ilmumise kaks aastat hiljem, olles ohver oma suutmatusele mõista valimi kvaliteedi ja valimi suuruse vahelist seost.

6. Selle kalduvuse hind

6.1. Isiklikud kulud

Suhted kannatavad, kui hindame partnereid käitumise väikeste valimite põhjal—mõnest halvast päevast saavad tõendid fundamentaalsete iseloomuvigade kohta. Isiklik areng seiskub, kui järeldame pärast piiratud katseid, et me "ei suuda" midagi teha. Karjääripöörded hüljatakse pärast esialgseid tagasilööke, mis esindavad pelgalt loomulikku varieeruvust.

Terviseotsused lähevad valesti, kui hindame ravi tõhusust meie enda ühekordsest kogemusest või mõnest sõprade anedoodist lähtuvalt. Investeerimisportfelle juhitakse valesti, kui ajame taga hiljutisi võitjaid või põgeneme hiljutiste kaotajate eest. Me arendame ebauskusid, uskudes, et mustrid eksisteerivad seal, kus on puhas juhuslikkus.

Psühholoogiline hind hõlmab põhjendamatut enesekindlust ebastabiilsetes järeldustes, millele järgneb segadus, kui ennustused ebaõnnestuvad. Me konstrueerime keerulisi põhjuslikke selgitusi variatsioonidele, mis on puhtalt juhuslikud, ehitades reaalsusest mentaalseid mudeleid, mis ei vasta tegelikele mustritele.

6.2. Professionaalsed kulud

Karjääri edendamine kannatab, kui juhid hindavad meie võimeid valesti piiratud vaatluste põhjal. Head töötajad jäetakse tähelepanuta, sest esmamuljed (käitumise väikesed valimid) ei sobitunud edu stereotüüpidega. Halvad värbamisotsused raiskavad organisatsiooni ressursse ja kahjustavad meeskonnadünaamikat.

Äristrateegiad ebaõnnestuvad, kui need on kalibreeritud pigem varajaste tulemuste kui pikaajaliste trendide järgi. Tooted tuuakse turule enneaegselt või tapetakse varakult mürarikaste andmete põhjal. Turu-uuringud viivad ettevõtteid eksiteele, kui väikesi valimeid käsitletakse esinduslikena.

Rahalised kaotused kuhjuvad, kui investeerimisotsused ajavad taga hiljutist tootlust. Fondijuhid, kes esinesid kolme aasta jooksul hästi, tõmbavad ligi massiliselt sissevoolu, et siis taanduda keskmisele ja valmistada pettumust investoritele, kes eeldasid, et väike valim ennustab tulevast tootlust.

6.3. Ühiskondlikud kulud

Replikatsioonikriis on maksnud miljardeid uurimistoetusi uuringutele, mida ei suudeta reprodutseerida. Meditsiinilisi ravimeetodeid võetakse kasutusele väikeste katsete põhjal, et hiljem näidata suuremates populatsioonides kasuteguri puudumist. Rahvatervise ressursse jaotatakse valesti, et tegeleda statistiliste anomaaliatega väikestes populatsioonides.

Poliitiline diskursus on mürgitatud, kui anedoodid üksikjuhtumite kohta kujundavad poliitilisi arutelusid miljonite inimeste üle. Kriminaalõigussüsteemid moonduvad, kui kõrge profiiliga juhtumid (väikesed valimid) juhivad seadusloomet. Üldsuse usaldus teaduse vastu mureneb, kui tulemused pöörduvad valimite suuruse kasvades.

Turud muutuvad volatiilsemaks, kui fundamentaalnäitajad õigustaksid, luues buumi ja krahhi tsükleid, mis hävitavad rikkust ja majanduslikku stabiilsust. Avalik poliitika vaarub äärmuste vahel, kui poliitikud reageerivad pigem väikestele avaliku arvamuse valimitele kui stabiilsetele eelistustele.

6.4. Statistiline mõju

Uurimistulemused viitavad, et alla N=50 valimiga uuringutel on tõsiselt paisutatud mõju suurused, sageli 100% või enam. Open Science Collaboration leidis, et vaid 36% psühholoogiauuringutest suudeti edukalt kopeerida, kusjuures peamiseks põhjuseks olid liiga väikese võimsusega uuringud.

Rahanduses paisutab ellujääja erapoolikus investeerimisfondide näilist tootlust hinnanguliselt 1-2% aastas—erinevus, mis koguneb miljonite investorite lõikes miljonite dollarite valesti paigutatud pensionisäästudeni.

Arvatakse, et meditsiinilised diagnostikavead, mida juhivad baasmäära eiramine ja valimimahutuse eiramine, mõjutavad aastas 12 miljonit ameeriklast, millest ligikaudu pooltel juhtudel on tagajärjeks kahju.

7. Varjatud kasud

Kalduvus ei ole pelgalt ebakohane—see esindab kompromissi kiiruse ja täpsuse vahel, mis oli optimeeritud esivanemate keskkondade jaoks, kus andmeid oli napilt ja kohene tegutsemine oli hädavajalik.

Kiire õppimine piiratud andmetest: Tõeliselt ohtlikes keskkondades pakub võime teha üldistusi üksikute juhtumite põhjal (üks kohtumine kiskjaga, üks mürgine mari) ilmset ellujäämiseelist. "Statistiliselt oluliste" tõendite ootamine võis olla saatuslik.

Kognitiivne ökonoomia: Kindluse õige kalibreerimine valimi suurusega nõuab Süsteem 2 kaasamist—mis on aeglane, pingutust nõudev ja metaboolselt kulukas. Madalate panustega olukordades pakuvad Süsteem 1 mentaalsed otseteed "piisavalt häid" hinnanguid minimaalse kognitiivse kuluga.

Tegevusele orienteeritus: Kalduvus soodustab otsustavat tegutsemist, mitte halvavat ebakindlust. Paljudes reaalmaailma olukordades on tegutsemine puuduliku info põhjal parem kui oodata kindlust, mis ei saabu kunagi.

Mustrituvastus: Kalduvus näha mustreid väikestes valimites, kuigi sageli ekslik, suudab aeg-ajalt tuvastada tõelisi signaale, mille puhtalt statistilised lähenemised maha magaksid. Valepositiivsete (mustrite nägemine seal, kus neid pole) hind võib teatud valdkondades olla madalam kui valenegatiivsete (tõeliste mustrite märkamata jätmine) oma.

Kalduvuse täielik kõrvaldamine nõuaks pidevat statistilist arvutamist, mis kurnaks kognitiivseid ressursse. Eesmärk ei ole kõrvaldamine, vaid sobiv kalibreerimine—statistilise mõtlemise rakendamine kõrgete panustega olukordades, võimaldades samal ajal heuristikatel toimida madalate panustega kontekstides.

8. Enesehindamine: Kas sinul on see kalduvus?

8.1. Ohumärkide kontrollnimekiri

• Kujundan tugevaid arvamusi restoranide, toodete või teenuste kohta pärast ühekordset kogemust
• Usun spordis, hasartmängudes või investeerimises "kuumadesse seeriatesse" ja "külmadesse perioodidesse"
• Pean üllatavaks, kui münt maandub kolm või enam korda järjest samale küljele
• Eeldan, et lühiajaline investeerimistootlus jätkub ka pikas perspektiivis
• Pean sõprade anekdoote sama oluliseks kui statistilisi tõendeid
• Olen muutnud meelt kellegi iseloomu osas ühe vahejuhtumi põhjal
• Usaldan klientide arvustusi rohkem siis, kui need on ühehäälsed, olenemata sellest, kui vähe neid on
• Tunnen, et väike, hästi valitud valim peaks andma sama tulemuse kui suur
• Muutun mustrite suhtes enesekindlaks pärast seda, kui olen neid näinud vaid kaks või kolm korda
• Ütlen sageli "minuga juhtub alati nii", tuginedes mõnele üksikule korrale

Hindamine:

• 0-2 märgitud: Madal vastuvõtlikkus
• 3-5 märgitud: Mõõdukas vastuvõtlikkus
• 6-8 märgitud: Kõrge vastuvõtlikkus
• 9-10 märgitud: Väga kõrge vastuvõtlikkus

8.2. Eneserefleksiooni küsimused

1. Kui loed, et uus ravim on kliinilistes uuringutes "80% tõhus", kas mõtled instinktiivselt küsida, kui palju patsiente uuringus osales?

2. Kas oled kunagi esimese kahe nädala jooksul loobunud uuest harjumusest, dieedist või rutiinist, sest see "ei töötanud", mõtlemata, kas sa andsid sellele piisavalt aega tulemuste näitamiseks?

3. Kui sõber soovitab arsti, restorani või toodet oma ühe kogemuse põhjal, kui suurt kaalu sa sellele soovitusele annad võrreldes koondarvustustega?

4. Kas oled kunagi tundnud, et juhuslikud sündmused "võlgnevad" sulle pärast teatud seeriat teistsuguse tulemuse (nt mänguautomaat on "valmis" võidu andmiseks)?

5. Kas keegi on kunagi juhtinud tähelepanu sellele, et tegid järeldusi liiga vähese teabe põhjal?

8.3. Kiire diagnostiline stsenaarium

Stsenaarium: Sa uurid kahte investeerimisfondi oma pensionisäästude jaoks. Fond A on tootnud viimase 3 aasta jooksul 15% aastas ja sellel on staar-haldur. Fond B on tootnud viimase 15 aasta jooksul 9% aastas koos keskpärase juhtimisega. Kumma fondi sa valiksid?

• A) Fond A, sest 15% on palju parem kui 9% ja haldur on selgelt osav → Kõrge vastuvõtlikkus
• B) Fond A, aga ma tahaksin näha rohkem ajalugu, enne kui end täielikult siduda → Mõõdukas vastuvõtlikkus
• C) Fond B, sest 15 aasta andmed on usaldusväärsemad kui 3 aasta omad ja erinevus võib olla lihtsalt õnn → Madal vastuvõtlikkus

9. Selle kalduvuse märkamine teistes

9.1. Käitumuslikud näitajad

Jälgi otsustamismustreid: Kas nad teevad tugevaid kohustusi piiratud tõendite põhjal? Kas nad muudavad kiiresti kurssi hiljutiste tulemuste põhjal? Kas nad väljendavad kõrget enesekindlust vaid mõne andmepunkti järel?

Jälgi, kuidas nad räägivad tõenäosusest ja juhusest: Kas nad eeldavad, et juhuslikkus "tasakaalustub" lühiajaliselt? Kas nad näevad tähendusrikkaid mustreid seal, kus tundub olevat müra? Kas nad lükkavad tagasi tulemused kui "juhused", kui need ei vasta ootustele?

Märka reaktsioone anekdootidele versus statistikale: Kas nad annavad elavale isiklikule loole suurema kaalu kui koondandmetele? Kas nad üldistavad üksikutest näidetest universaalseid reegleid?

9.2. Vestluslikud ohumärgid

Fraasid, mida inimesed ütlevad selle kalduvuse all:

• "Seda on juhtunud kolm korda järjest—siin on kindlasti muster"
• "Ma proovisin seda korra ja see ei toiminud, nii et..."
• "Tõenäosused peavad lõpuks võrdsustuma"
• "Mu sõbral oli sellega kohutav kogemus, nii et ma ei prooviks seda kunagi"
• "Viimased kaks kvartalit olid suurepärased, nii et see ettevõte on ilmselgelt hästi juhitud"

Argumentide tüübid, mida nad esitavad:

• Käputäie näidete käsitlemine trendi tõestusena
• Eeldus, et väikesed valimid esindavad täiuslikult populatsiooni omadusi

Küsimused, mida nad väldivad küsimast:

• "Kui paljudel vaatlustel see põhineb?"
• "Mis on valimi suurus?"
• "Kas see võiks olla lihtsalt juhuslik varieeruvus?"

9.3. Situatsioonilised päästikud

Asjaolud, mis seda kalduvust aktiveerivad:

• Ajapuudus, mis sunnib tegema kiireid otsuseid
• Emotsionaalselt laetud olukorrad, kus elavad näited on esil
• Keerulise statistilise teabe esitamine protsentides, mitte sagedusvormingutes
• Valdkonnad, kus tagasiside viibib (investeerimine, värbamine, tervisevalikud)
• Kontekstid, kus anedoodid on kättesaadavamad kui andmed

Keskkonnategurid:

• Infoküllus, mis takistab hoolikat statistilist hindamist
• Kõlakambrid, mis pakuvad kallutatud arvamuste valimeid
• Meedia, mis rõhutab lugusid rohkem kui statistikat

Emotsionaalsed seisundid, mis suurendavad haavatavust:

• Ärevus, mis otsib kindlust igast kättesaadavast tõendist
• Põnevus, mis soodustab liigset enesekindlust varajaste positiivsete signaalide suhtes
• Frustratsioon, mis ajendab mustrite otsimist ebaselgetes olukordades

10. Kognitiivsed kalduvusest vabanemise strateegiad

10.1. Vahetud tehnikad

"N-i" küsimus: Enne mis tahes järelduse tegemist küsi: "Kui suur on valim, millel see põhineb?" Tee valimi suurus enne tulemuste tõlgendamist märgatavaks.

Stabiilsustest: Küsi: "Kas ma eeldaksin, et see tulemus jääb samaks, kui ma kahekordistaksin või kolmekordistaksin valimit?" Kui vastus on ei, hoidu järelduste tegemisest.

Sõnasta ümber sagedusteks: Teisenda protsendid loomulikeks sagedusteks ("80% tõhus" muutub "8 inimesele 10-st"). See kaasab loomulikult valimi suuruse nimetajasse.

Regressioonireegel: Eelda, et äärmuslikud tulemused taanduvad keskmisele. Kui miski tundub ebatavaliselt hea või halb, eelda, et see muutub aja jooksul keskpärasemaks.

Otsi baasmäärasid: Enne spetsiifiliste tõendite hindamist tee kindlaks, mis tavaliselt populatsioonis juhtub. Kasuta seda ankurpunktina.

10.2. Pikaajalised strateegiad

Statistiline kirjaoskus: Investeeri baasstatistika ja tõenäosusteooria haridusse. Dispersiooni, standardvea ja usaldusvahemike mõistmine annab kontseptuaalse raamistiku, et tunda ära, millal valimi suurus on oluline.

Arenda välja skeptilisuse harjumus: Treeni end automaatselt kahtlema väikese valimiga leitud tulemuste usaldusväärsuses. Muuda küsimus "Kas see on piisav andmehulk?" instinktiivseks.

Jälgi oma ennustusi: Pea arvestust piiratud andmete põhjal tehtud järelduste kohta ja kontrolli, kas need pidasid aja jooksul paika. See annab isiklikku tagasisidet su kalibreerimise kohta.

Uuri klassikalisi näiteid: Tutvu kanooniliste juhtumitega (haiglaprobleem, neeruvähi kaart), et need tuleksid uute olukordade hindamisel meelde.

10.3. Keskkonna kujundamine

Integreeri valimi suurus otsustusprotsessidesse: Loo organisatoorsed reeglid, mis nõuavad minimaalset valimi suurust enne järelduste tegemist. Rakenda ooteperioode enne varajaste tulemuste põhjal tegutsemist.

Kasuta visuaalseid tööriistu: Loo armatuurlauad, mis näitavad, kuidas usaldusvahemikud väikeste valimite puhul laienevad. Muuda ebakindlus visuaalselt märgatavaks.

Nõua sagedusformaate: Kohusta organisatsioonisiseses suhtluses esitama tõenäosusi loomulike sagedustena koos selgelt väljatoodud nimetajatega.

Loo "kuradi advokaate": Määra meeskonnaliikmeid spetsiaalselt vaidlustama, kas valimi suurused õigustavad enesekindluse taset. Institutsionaliseeri skeptitsism.

10.4. Millal otsida välist sisendit

Kõrgete panustega otsused: Igasugune oluline valik (suured investeeringud, värbamine, meditsiinilised ravimeetodid), mis põhineb piiratud andmetel, õigustab statistilist konsultatsiooni.

Kui tunned end kindlalt: Paradoksaalsel kombel peaks väikestest valimitest tulenev tugev enesekindlus käivitama välise ülevaatuse. Küsi: "Kas minu kindlus on andmetega õigustatud?"

Valdkonnaeksperdid: Statistikud, andmeteadlased ja uurijad saavad anda tõendite tugevuse kalibreeritud hinnanguid. Sõnasta palve nii: "Arvestades, et N=X, kui kindel peaksin ma selles leius olema?"

Kui mustrid ilmuvad kiiresti: Kui näed selget mustrit pärast vaid paari vaatlust, konsulteeri kellegagi, kes on tulemusest vähem huvitatud, et hinnata, kas see tõenäoliselt püsib.

11. Praktilised harjutused

Harjutus 1: Mündiviske eksperiment

• Eesmärk: Arendada intuitsiooni väikeste valimite varieeruvuse kohta
• Vajalik aeg: 20 minutit
• Vajalikud materjalid: Münt, paber, pliiats
• Raskusaste: Algaja
• Juhised:
  1. Viska münti 10 korda ja märgi üles "kulli" esinemise protsent.
  2. Korda seda 10 korda, luues 10 valimit, igas 10 viset.
  3. Pane tähele protsentide ulatust (tõenäoliselt ulatub see 20%-st kuni 80%-ni).
  4. Nüüd viska münti 100 korda ja märgi üles protsent.
  5. Korda seda teise 100 viske seeriaga.
  6. Võrdle 10-viskeliste ja 100-viskeliste valimite varieeruvust.
• Refleksiooniküsimused:
  • Kui üllatunud sa olid väikeste valimite varieeruvusest?
  • Kas mõni 10-viskeline seeria tundus "võltsitud", isegi kui teadsid, et münt on aus?
  • Kuidas on 100-viskeliste protsendid omavahel võrreldavad?
• Sagedus: Üks kord, seejärel pöördu tagasi alati, kui vajad meeldetuletust.

Harjutus 2: Arvustuste analüüs

• Eesmärk: Harjutada enesekindluse kalibreerimist vastavalt valimi suurusele reaalsetes otsustes
• Vajalik aeg: 30 minutit
• Vajalikud materjalid: Interneti-ühendus
• Raskusaste: Kesktase
• Juhised:
  1. Otsi tootekategooriat, mida võiksid osta (kõrvaklapid, raamatud, restoranid).
  2. Leia kolm asja: üks 5 arvustusega, üks 50 arvustusega ja üks 500 arvustusega.
  3. Märgi igaühe puhul keskmine hinne ja loe mitut arvustust.
  4. Pane kirja, kui kindlalt sa tunned end iga hinnangu täpsuses.
  5. Mõtle: Kui palju muudaks üks uus äärmuslik arvustus iga keskmist?
• Refleksiooniküsimused:
  • Kas sa tundsid end loomulikumalt kindlamalt reitingutes, kus oli rohkem arvustusi?
  • Kuidas mõjutas arvustuste jaotus (kõik 5-tärnilised vs segased) sinu enesekindlust?
  • Mis oleks miinimumvalimi suurus, et sa reitingut usaldaksid?
• Sagedus: Iga kuu, kasutades erinevaid tootekategooriaid.

Harjutus 3: Ajalooline järeltestimine

• Eesmärk: Kogeda, kuidas väikese valimiga tehtud järeldused aja jooksul ebaõnnestuvad
• Vajalik aeg: 45 minutit
• Vajalikud materjalid: Ajaloolised aktsiaandmed või spordistatistika (tasuta veebis saadaval)
• Raskusaste: Edasijõudnutele
• Juhised:
  1. Vali 10 aktsiat või sportlast, kelle andmed hõlmavad vähemalt 10 aastat.
  2. Vaata ainult esimest andmeaastat. Tuvasta 3 parimat sooritajat.
  3. Ennusta, et nad on parimad sooritajad ka teisel aastal.
  4. Kontrolli 2. aasta tulemusi. Mitu neist jäi esikolmikusse?
  5. Nüüd vaata 5 aasta keskmisi. Tuvasta 3 parimat sooritajat.
  6. Kontrolli järgneva 5 aasta tulemusi. Võrdle täpsust.
• Refleksiooniküsimused:
  • Kuidas ennustas lühiajaline sooritus pikaajalisi tulemusi?
  • Mis seletab sinu täheldatud regressiooni keskmisele?
  • Kuidas see muudaks sinu investeerimis- või panustamisstrateegiat?
• Sagedus: Kord kvartalis.

Igapäevane praktika

Märka iga päev üht järeldust, mille teed piiratud andmete põhjal. Enne selle omaksvõtmist küsi: "Kui paljudel vaatlustel see põhineb?" ja "Mida ma järeldaksin, kui mul oleks 10 korda rohkem andmeid?" Piisab vaid valimi suuruse probleemi märgistamisest—sa ei pea oma järeldust muutma, vaid lihtsalt märkama piirangut.

• Soovitatav kestus: 2 minutit
• Parim aeg päevas: Õhtune refleksioon
• Kuidas edusamme jälgida: Pea väikses märkmikus igapäevaste vaatluste nimekirja.

Iganädalane väljakutse

Kord nädalas leia uudisteartikkel või sotsiaalmeedia postitus, mis viitab statistikale. Uuri algallikat ja tee kindlaks valimi suurus. Kirjuta lühike märge selle kohta, kas järeldused on tõendite tugevusega õigustatud.

• Oodatavad tulemused 4 nädala pärast: Loomulik skeptitsism raporteeritud leidude suhtes; automaatne tähelepanu valimi suurusele.
• Päeviku juhised refleksiooniks:
  • Mis oli kõige üllatavam valimi suurus, mille ma sel nädalal avastasin?
  • Kuidas muutis valimi suuruse teadmine minu arusaama leiust?
  • Kas ma muutun oma esialgses skeptitsismis kalibreeritumaks?

12. Konkreetsetele sihtrühmadele

Juhtidele ja mänedžeridele

Juhid teevad regulaarselt kõrgete panustega otsuseid piiratud andmete põhjal: kvartaalsed tulemused, varajane toote tagasiside, intervjuude muljed, pilootprogrammide tulemused. Valimi suuruse eiramise kulud mitmekordistuvad organisatsiooni tasandil.

Spetsiifilised strateegiad:

• Kehtesta minimaalsed vaatlusperioodid enne järeldamist, kas algatused on edukad või ebaõnnestunud
• Nõua valimi suuruse raporteerimist kõigis sisemistes uuringutes ja analüütikas
• Loo otsustusraamistikud, mis võtavad sõnaselgelt arvesse väikestest valimitest tulenevat ebakindlust
• Näita eeskuju statistilise alandlikkusega: muuda avalikult järeldusi, kui uued andmed muudavad pilti
• Koosta statistiliste teadmistega meeskondi, kes suudavad vaidlustada liiga enesekindlaid tõlgendusi

Meeskonnapõhised sekkumised:

• Määra olulistel koosolekutel "valimimahutuse advokaadi" roll
• Loo normid usaldusväärsuse kalibreerimise ümber: "Arvestades seda N-i, kui kindlad me peaksime olema?"
• Viige läbi lahkamisi varasemate otsuste osas, mis tehti piiratud andmetega

Lastevanematele ja haridustöötajatele

Lapsed peavad arendama statistilist intuitsiooni enne formaalset tõenäosusharidust. Eesmärk on kujundada mõtlemisharjumusi, mis seavad kahtluse alla tõendite tugevuse.

Eakohased selgitused:

• Väikesed lapsed: "Kui me oleme midagi proovinud ainult paar korda, ei saa me tegelikult teada, kas see läheb alati nii"
• Vanemad lapsed: Kasuta mänge ja eksperimente (mündivisked, täringuveeretused), et näidata, kuidas väikesed valimid varieeruvad
• Teismelised: Arutle, kuidas sotsiaalmeedia loob eakaaslaste käitumisest ja arvamustest kallutatud valimeid

Tegevused:

• Perekondlikud eksperimendid täringute ja müntidega, et vaadelda dispersiooni
• Arutelud selle üle, mitu katset miski väärib, enne kui järeldada, et see on "hea" või "halb"
• Reklaamiväidete ühine analüüsimine: "Kuidas nad seda teavad?"

Tervishoiutöötajatele

Meditsiinilistel otsustel on elu ja surma tagajärjed, mis muudab valimimahutuse tundlikkuse kriitiliseks. Mammograafiaprobleem näitab, kuidas isegi koolitatud arstid on kimpus statistilise arutlemisega.

Kliinilised järeldused:

• Tunnista, et üksikute patsientide ebatavalised testitulemused võivad olla valimi varieeruvus
• Ole eriti ettevaatlik haruldaste haiguste puhul, kus baasmäärad muudavad valepositiivsed tulemused tõenäoliseks
• Kasuta patsientidele riskide edastamisel sagedusvorminguid

Patsiendikommunikatsiooni strateegiad:

• Selgita, et üksik testitulemus on vaid üks andmepunkt; monitooring aja jooksul annab usaldusväärsemat teavet
• Esita ravimi tõhususe andmed koos selgete valimi suurustega: "500 patsiendiga uuringus..."
• Aita patsientidel mõista, et nende individuaalne kogemus ei pruugi vastata populatsiooni statistikale

Finantsprofessionaalidele

Turud karistavad valimimahutuse eiramist karmilt. Kolmeaastaste saavutuste tagaajamine, kvartaalsetele kasumitele üle reageerimine ja ellujääja erapoolikuse eiramine maksavad investoritele miljardeid aastas.

Investeerimisspetsiifilised rakendused:

• Nõua pikemaid ajaloolisi andmeid enne järeldamist, et halduri oskused on olemas
• Võta fondikategooriate analüüsimisel arvesse ellujääja erapoolikust
• Tunnista, et lühiajaline paremus on kooskõlas juhusliku varieeruvusega

Kliendisuhtluse strateegiad:

• Harida kliente lühiajalise tootluse ebausaldusväärsuse osas
• Esita ajaloolisi andmeid sobivate usaldusvahemikega
• Selgita regressiooni keskmisele: äärmuslikud tulemused tavaliselt leevenevad aja jooksul

Riskijuhtimise järeldused:

• Ehita portfelle eeldusel, et hiljutised võitjad taanduvad
• Nõua uute strateegiate jaoks pikemaid hindamisperioode
• Kaasa väikestest valimitest tulenev ebakindlus riskimudelitesse

13. Interaktsioonid teiste kalduvustega

Kalduvused, mis võimendavad seda

Kalduvused, mis on sellele vastukaaluks

Levinud kalduvuste ahelad

Esinduslikkuse heuristik → Valimimahutuse eiramine → Mänguri eksijäreldus → Pöördumatute kulude eksijäreldus

Selgitus: Alustame tõenäosuse hindamist sarnasuse, mitte valimi usaldusväärsuse põhjal. Kui väikesed valimid kalduvad oodatud mustritest kõrvale, eeldame nende "korrigeerumist", mis viib mänguri eksijärelduseni. Kui nad ei korrigeeru, võime jätkata investeerimist (pöördumatud kulud), uskudes, et "pööre" on peagi käes.

Kuidas katkestada: Sea valimi suurus kahtluse alla esimesel sammul. Küsi "Kas see andmehulk on usaldusväärne?" enne mis tahes põhjusliku tõlgenduse algust.

14. Kultuurilised vaatenurgad

Uuringud selle kalduvuse kultuuriliste variatsioonide kohta on endiselt piiratud, kuid kultuuridevahelisest kognitiivsest psühholoogiast joonistuvad välja mõned mustrid.

Analüütilist mõtlemist rõhutavad kultuurid (mida sageli seostatakse Lääne, individualistlike ühiskondadega) võivad näidata teistsuguseid haavatavusmustreid kui holistilist mõtlemist rõhutavad kultuurid (mida sageli seostatakse Ida-Aasia, kollektivistlike ühiskondadega). Holistilised mõtlejad võivad olla tähelepanelikumad konteksti ja situatsiooniliste tegurite suhtes, mis võib pehmendada äärmuslikke järeldusi väikestest valimitest.

Haridussüsteemid, mis rõhutavad mehhaanilist matemaatilist arvutamist versus kontseptuaalset statistilist arutlemist, mõjutavad tõenäoliselt kalduvuse tõsidust. Sagedusformaadi hüpotees viitab sellele, et tugevama konkreetse, kogemusliku matemaatika traditsiooniga kultuurid võivad sooritada paremini valimi suurusele tundlikke ülesandeid.

Project Implicit'i taoliste institutsioonide (sealhulgas Iisraeli Ben-Gurioni ülikooli ja Harvardi teadlaste) kultuuridevahelised uuringud näitavad, et kuigi kalduvus on universaalne, võib heuristikutele toetumise määr varieeruda sõltuvalt haridussüsteemidest ja kultuurinormidest.

15. Müüdid ja väärarusaamad

16. Ekspertide arvamused

"Inimestel on ekslikud intuitsioonid juhuslikkuse seaduste kohta. Eelkõige peavad nad populatsioonist juhuslikult võetud valimit väga esinduslikuks, see tähendab sarnaseks populatsiooniga kõigis olulistes omadustes." — Amos Tversky & Daniel Kahneman, Science (1974)

"Väike valim, mis on oma koostiselt väga esinduslik populatsiooni suhtes, ei pruugi olla esinduslik statistiliste omaduste, nagu keskmised, dispersioonid või korrelatsioonid, osas." — Amos Tversky & Daniel Kahneman, "Belief in the Law of Small Numbers" (1971)

"Mõistus ei ole loodud arvutama tõenäosusi protsentide kujul, kuid ta suudab 'näha' loomulikke sagedusi." — Gerd Gigerenzer, Max Plancki Inimarengu Instituut

17. Peamised järeldused

1. Dispersioon väheneb valimi suurusega: Seda matemaatilist tõde (σ/√n) rikub inimintuitsioon järjepidevalt. Väikesed valimid on olemuslikult volatiilsed; suured valimid on stabiilsed.

2. Kalduvus on universaalne: Alates tavainimestest kuni Nobeli preemia laureaatideni—kõik näitavad seda kalduvust. Statistiline koolitus vähendab, kuid ei kõrvalda seda.

3. Me näeme müras mustreid: Mõistuse mustrituvastussüsteemid ei võta arvesse valimi usaldusväärsust, pannes meid looma põhjuslikke lugusid juhuslikele kõikumistele.

4. Formaat on oluline: Info esitamine loomulike sagedustena ("10 inimesele 1000-st"), mitte protsentidena, parandab arutlemist drastiliselt, mis viitab sellele, et kalduvus on osaliselt seotud info disainiga.

5. Kulud on tohutud: Replikatsioonikriis, meditsiinilised valediagnoosid, finantsmullid ja turunduskatastroofid võivad kõik tuleneda sellest ühest veast.

6. Kalduvus arenes välja mõjuvatel põhjustel: Andmevaestes esivanemate keskkondades oli kiire üldistamine väikestest valimitest kohanemist soodustav. Probleemi tekitab sobimatus tänapäevaste andmerikaste keskkondadega.

7. Küsi "Mis on N?": Kõige tõhusam sekkumine on valimi suuruse väljatoomine enne järelduste tegemist.

18. Lisamaterjalid

Akadeemilised artiklid

• Tversky, A., & Kahneman, D. (1971). Belief in the law of small numbers. Psychological Bulletin, 76(2), 105-110.
• Tversky, A., & Kahneman, D. (1974). Judgment under uncertainty: Heuristics and biases. Science, 185(4157), 1124-1131.
• Gigerenzer, G., & Hoffrage, U. (1995). How to improve Bayesian reasoning without instruction: Frequency formats. Psychological Review, 102(4), 684-704.
• Gilovich, T., Vallone, R., & Tversky, A. (1985). The hot hand in basketball: On the misperception of random sequences. Cognitive Psychology, 17(3), 295-314.
• Wainer, H., & Zwerling, H. L. (2006). Evidence that smaller schools do not improve student achievement. Phi Delta Kappan, 88(4), 300-303.

Raamatud

• Kahneman, D. (2011). Thinking, Fast and Slow (Kiire ja aeglane mõtlemine). Farrar, Straus and Giroux.
• Gigerenzer, G. (2002). Calculated Risks: How to Know When Numbers Deceive You. Simon & Schuster.
• Thaler, R. H. (2015). Misbehaving: The Making of Behavioral Economics. W. W. Norton & Company.
• Stanovich, K. E. (2009). What Intelligence Tests Miss: The Psychology of Rational Thought. Yale University Press.

Raamatupeatükid

• Kahneman, D., & Tversky, A. (1972). Subjective probability: A judgment of representativeness. In Cognitive Psychology, 3(3), 430-454.

19. Kokkuvõtte kaart

20. Kasutatud terminite sõnastik

21. Aruteluküsimused

Raamatuklubidele, klassiruumidele või eneserefleksiooniks:

1. Mõtle mõnele hiljutisele olulisele otsusele, mille sa tegid. Kui suurele andmemahule see otsus tugines ja kas sa teeksid sama valiku, kui sul oleks kümme korda rohkem infot?

2. Miks sa arvad, et statistiline koolitus ei kõrvalda seda kalduvust täielikult? Mida see paljastab inimese tunnetuse arhitektuuri kohta?

3. Neeruvähi kaart näitas, et nii kõrgeimad KUI KA madalaimad vähimäärad esinevad väikestes maapiirkondades. Kuidas läheneks statistikaharidusega rahvatervise ametnik sellele teisiti kui see, kel seda haridust pole?

4. Gigerenzer väidab, et info esitamine loomulike sagedustena, mitte protsentidena, parandab arutlemist drastiliselt. Miks võib meie meel tulla toime paremini infoga "10 inimesele 1000-st" kui "1%"?

5. Kui see kalduvus oli esivanemate keskkondades kohanemist soodustav, siis mida see viitab selle kohta, kuidas me peaksime sellele lähenema—kas see on midagi, mida tuleb kõrvaldada, või midagi, mida tuleb sobivalt suunata?