Arhiiv kuude lõikes: April 2013

Arvutiajastu hindamissüsteemist

Tudengi hindamisel ülikoolis on probleem see, et tahaksime teada nii tudengi andekuse ja töökuse kombinatsiooni kui ka aine raskust, aga vaadeldav on ainult üks number – hinne. Kuna hinne H sõltub nii andekusest A kui aine raskusest R (näiteks funktsioonina H=A-R), ei saa andekust ja raskust ainult hinde põhjal eristada. Pole võimalik ühe võrrandi põhjal leida kahte muutujat.

Probleem leeveneb, kui vaadeldav on mitme tudengi hinne mitmes aines. Näiteks kui kaks tudengit, A ja B, võtavad mõlemad aineid C ja D, siis on meil vaatlustena neli hinnet ja tahame leida kahe tudengi andekust ja kahe aine raskust. Seega on meil neli võrrandit nelja tundmatuga ja ülesanne on lahendatav.

Kui tudengid valivad oma ained nii, et maksimeerida oma keskmist hinnet, siis tekib uus probleem – kui ainete raskused või hindamispõhimõtted pole teada, ei saa keskmise hinde põhjal tudengi andekust mõõta. Üks võtab lihtsaid aineid ja saab kõrge keskmise hinde, teine raskeid aineid ja saab madala keskmise hinde, aga andekus on sama. Seda kallutatust on püütud leevendada suhtelise hindamisega, mille korral näiteks parimad 10% aines saavad A, järgmised 20% B jne. Kui aine on raske, saavad kõik tudengid madala absoluutpunktisumma, aga kuna hinne tekib suhtelise punktisumma põhjal (näiteks jagatakse kõigi punktisumma aine parima tulemusega), siis on raske aine keskmine hinne sama, mis lihtsas aines.

Siit tekib aga uus mure, sest tudengid võivad püüda valida aineid, kus ülejäänud tudengid on keskmisest viletsamad. On lihtsam saada teistest paremat tulemust, kui teised on nõrgad. Kui tahame teada tudengi andekust, tuleb hinnet selle kallaku võrra korrigeerida, näiteks võttes arvesse teiste seda ainet võtvate tudengite keskmist hinnet (absoluutset või suhtelist) ülejäänud ainetes. Kui teised on nõrgad, on nende keskmine hinne muudes ainetes madal.

Aga siit tekib järgmine probleem, sest hinnet maksimeerivad tudengid tahavad võtta aineid, kus teised tudengid on keskmisest viletsamad ja võtavad aineid, mis on kas lihtsad või kus teised tudengid on samuti keskmisest viletsamad. Tundub, et iga probleemi lahendades tekib sellest uus probleem, ehk tegu on lõpmatu probleemijadaga. Igal lõplikul hinde korrigeerimise tasemel süsteemi on võimalik manipuleerida, püsides selle korrigeerimistasemest ühe sammu võrra ees – absoluuthinde puhul võttes lihtsaid aineid, suhtelise hinde puhul võttes rumalate tudengitega aineid, teiste hindega korrigeerimise puhul võttes aineid rumalate tudengitega, kes võtavad teisi lihtsaid aineid või teisi aineid rumalate tudengitega.

Kõiki ülaltoodud hindemanipulatsiooni probleeme saab lahendada korraga, tehes kõik korrigeerimised korraga. Sarnane probleem on ammu lahendatud otsingumootorite poolt – kõik veebilehed tahavad näida populaarsed, seega kuidas leida tegelikult populaarseid veebilehti. Üks võimalus oleks lugeda populaarseks need veebilehed, millele viitab palju teisi lehti. Aga siis tekiks veebilehe pidajatel motivatsioon luua palju võltsveebilehti, mis viitavad nende veebilehele. Võttes arvesse viitavate veebilehtede populaarsust, püsiksid veebilehtede omanikud ühe sammu ees, kui looksid võltsveebilehti, mis viitavad teistele võltsveebilehtedele, mis viitavad nende veebilehele. Ja viitavatele veebilehtedele viitavate veebilehtede populaarsuse arvesse võtmisel tehtaks veel üks samm edasi ja tõstetaks kunstlikult viitavatele veebilehtedele viitavate veebilehtede populaarsust.

Lahendus on korraga võtta arvesse kogu süsteemi. Veebilehtede puhul kogu veebilehtede ja linkide võrgustikku, tudengite hindamise puhul kogu tudengite ja ainete võrgustikku. Viimase puhul on tegemist kaht tüüpi sõlmedega võrgustikuga (bipartite graph), kus tudengid ja ained on võrgustiku sõlmed ning tudengi ja aine vahel on side, kui tudeng võtab seda ainet. Hindamise jaoks on vaid tarvis kõigi tudengite absoluutpunktisummadele kõigis ainetes rakendada veebilehtede populaarsusjärjestusse paneku algoritmi sarnast programmi. Kõigist hinnetest korraga on võimalik välja arvutada kõigi ainete raskused ja kõigi tudengite andekused, kui iga tudeng võtab vähemalt kaht ainet ja iga ainet võtab vähemalt kaks tudengit.

Realistlikkusest jääb ülaltoodud mudelil muidugi kõvasti puudu. Eeldusteks on ühemõõtmeline andekus, tudengite omavaheliste vastasmõjude ja tudengi-aine vastasmõjude puudumine, ainete valik vaid keskmise hinde maksimeerimiseks. Siiski, ühegi eelneva eelduse väärus ei tundu tekitavat kogu ülikooli hindeinfot arvesse võtva hindamissüsteemi kasutamisel negatiivset efekti.