Richard Feynmani kohaselt (http://neurotheory.columbia.edu/~ken/cargo_cult.html) on esimene samm teaduse tegemisel mitte petta ennast. Enesepettus tekib näiteks siis, kui uurija soovib saada mingit tulemust (uudset, hästimüüvat) ja tõlgendab andmeid sellele tulemusele soodsalt. Paneb rõhku kooskõlalistele andmetele ja ignoreerib vastuolulisi.
Enesepettuse vältimiseks tuleks katse plaan enne katset üles kirjutada (ja võibolla ka avalikku katsete andmebaasi lisada) ja siis seda plaani järgida. Plaan peaks kirjeldama katset nii, et teised suudaksid ainult plaani kasutades seda katset korrata. Lisaks peaks plaan paika panema tulemuste tõlgendamise juhise. Ehk milliste andmete korral lugeda üks vastus statistiliselt tõenäolisemaks, milliste korral teine. Muidu hakatakse pärast andmete kogumist katse kriteeriume muutma stiilis “see mõõtmistulemus on ebanormaalne, jätame selle andmetest välja”. Väljajättu esineb muidugi sagedamini eelarvamust kummutavate andmete puhul.
Kui seda teaduslikku meetodit rakendada inimeste hindamisel, siis läheb elu raskeks neil, kes pidevalt andeks paluvad ja siis uue sigaduse korraldavad. Andeksandjad mõtlevad ilmselt sagedasti: “Ega ta enam ei tee. Anname talle veel ühe võimaluse.” Kui viimane võimalus oleks tõepoolest üks ja ainus, poleks kahju kuigi suur, aga tegelikkuses kipub neid viimaseid võimalusi üksteisele järgnema päris palju. Selle vältimiseks võiks proovida kirja panna kõik hinnatava inimese olulised sigadused, neile järgnenud tagajärjed, vabandused ja andeksandmised. Mingil hetkel tuleb tahtmine anda mitte rohkem kui üks võimalus veel. Kui see siis kirja panna, on tulevikus raskem endale õigustada veel ühe lisavõimaluse andmist.
Sildiarhiiv: andmed
Koolide ja õpetajate taseme mõõtmisvõimalus Eestis
Koole kiputakse Eestis järjestama riigieksamitulemuste alusel, või liigitama koolikatsete põhjal eliit- ja tavakoolideks. Mõlemad on vastuolulised teemad, aga taset ei mõõda hästi kumbki. Ma pole tuttav empiirilise tööga sel teemal, aga kahtlustan, et keegi pole korralikult mõõtnud koolide taset Eestis.
Kooli taset ei määra mitte alustajate või lõpetajate tulemused, vaid see, kui palju kool õpilasele juurde annab. Lõpetamistaseme ja alustamistaseme vahe on kõige lihtsam näitaja selles vaimus. Loomulikult on tegelik olukord keerulisem – kooli tase võib erineda klassiti (4. klassis õpetatakse halvemini, 5. klassis paremini), õpilaste lõikes (helgemaid päid õpetatakse halvemini, nõrgemaid aidatakse hästi järele), ainetes jne.
Kõige keerulisem on taset mõõta, kui esinevad vastasmõjud õpilaste ja kooli vahel (ühe kooli või õpetaja stiil sobib ühe inimesega, aga ei sobi teisega, teise kooli stiil jälle vastupidi) või võrgustiku mõjusid õpilaste hulgas (inimesed A ja B või B ja C samas klassis takistavad üksteisel õppimist, aga A ja C samas klassis aitavad üksteisel õppida). Võib ka olla, et ühes koolis A ja B aitavad üksteist, teises takistavad, olenevalt õpetamisstiilist. Või A aitab B-d, aga B takistab A-d.
Vaatan, et internetis on vabalt üleval Eesti olümpiaaditulemused eri ainete ja aastate kohta. Andmetes on õpilase nimi, kooli nimi, klass, aasta, vahel ka õpetaja nimi. Tulemused on vahel olümpiaadi eri osade kaupa. Tulemuste nimeline avalikustamine internetis võib olla vastuolus Eesti üsna range andmekaitseseadusega, aga empiiriliseks tööks on see hea.
Iga olümpiaadides rohkem kui ühel aastal mainitud õpilase puhul saab vaadata tema absoluut- ja suhtelist tulemust kõigil osalemiskordadel. Lahutades varasema aasta tulemuse hilisema omast võib näha, kui palju õpilane antud ajavahemikus arenes. Keskmistades üle iga kooli õpilaste saab mõõta, kui hästi üks kool võrreldes teisega olümpiaadidel osalejaid (paremaid õpilasi) õpetab. Kui on mainitud olümpiaadil osaleja õpetajat, saab samamoodi võrrelda õpetajaid. Tulemusi saab eristada ainete ja klasside kaupa.
Eelnev mõõdab kooli või õpetaja keskmist headust paremate õpilaste jaoks erinevates klassides ja ainetes, aga mitte kooli ja õpilase vastasmõjusid või õpilaste omavahelist mõju. Kui õpilased vahetavad koole ja osalevad olümpiaadil enne ja pärast, saab teatud määral ka neid mõjusid hinnata. Ilmselt pole koolivahetajaid piisavalt palju, et selle kohta mingit olulist tulemust saada.
Pikema ajaperioodi andmete saamiseks võib olümpiaadiandmetele lisada ülikoolide lõpetajate andmed (õppeaste, kui mitu aastat läks, cum laude või mitte), mis on samuti vabalt internetis. Kui ma Tartu Ülikooli bakalaureuseõppesse kandideerisin, olid ka vastuvõetute ja vist ka kõigi kandideerijate nimekirjad vabalt saadaval. Hetkel neid internetist ei leidnud, aga kui need on olemas, lisab see veel ühe andmepunkti ja võimaldab mõõta, kui hästi üks või teine kool õpilasi ülikooliks ette valmistab. Selleks tuleb vaadata, milline osa antud koolist ühte ülikooli läinud inimestest lõpetab nominaalajaga või saab cum laude. Saab ka mõõta, kui hästi olümpiaaditulemused ennustavad õppeedukust ülikoolis. See võimaldab otsustada, kas on põhjendatud olümpiaaditulemuse arvestamine vastuvõtul.
Ülikoole võiks sarnaselt võrrelda üliõpilaste teadustööde konkursside tulemuste alusel (samuti vabalt netis), aga probleemiks on väike andmehulk. Õppetoetuse saajate nimekiri näitab kahjuks ainult ülikoolisisest suhtelist järjestust, nii et ülikoolide vahelist võrdlust ei võimalda.