Proctorio, popularni program za sprečavanje varanja na ispitima, koj koriste obrazovne institucije diljem svijeta, nije uspio "prokazati" sve varalice u kontroliranom testnom okruženju, pokazala je studija.
Istraživanje, provedeno na Sveučilištu Twente u Nizozemskoj, dokazuje da je uporaba ovog programa najsličnija uzimanju placebo lijeka u medicini: "rezultira nekim pozitivnim utjecajem, ne zato što zbilja djeluje nego zato što ljudi vjeruju da bi mogao djelovati", piše VICE.
Da bi funkcionirao, studenti moraju instalirati estenziju na svom računalu ili aplikaciju, koja onda prati kretanje oka i govor tijela tijekom ispita, dok automatski prepoznaje "sumnjivo" ponašanje koje može uočiti i čovjek, ali ne uvijek.
30 studenata pokušalo "nadmudriti" sustav
Studija, prvi puta predstavljena u travnju 2021. godine na 13. Međunarodnoj konferenciji o obrazovanju potpomognutome računalnom tehnologijom, provedena je u pokušaju da znanstvenici odgovore na pitanje funkcionira li program ili ne.
Znanstvenici su angažirali 30 studenata volontera koji na spomenutom sveučilištu studiraju informatiku te šestoro njih zamolili da pokušaju varati na ispitu tijekom brucoške godine, koji će nadzirati Proctorio. Petoro drugih studenata dobilo je u zadatak da ne varaju nego se samo sumnjivo ponašaju, a ostali su morali pokušati pošteno riješiti ispit. Što se načina zavaravanja programa tiče, znanstvenici su to u potpunosti prepustili studentima.
Rezultati su pokazali da Proctorio nije osobito dobar u "prokazivanju" varalica.
Proctorio se nije osobito proslavio
Sistem nije označio nijednog varalicu kao varalicu, iako je prepoznao neke "nepravilnosti" u njihovom ponašanju, no nepravilnosti je uočio i kod studenata koji nisu varali. Oni koji su u varanju koristili audio pozive, također su se izvukli, no oni koji su ispit rješavali u bučnom okruženju označeni su kao "sumnjivci".
Nezavisna analiza podataka i snimki provedena od strane stvarnih osoba dovela je do prokazivanja samo jednog varalice, uglavnom zato jer zbog kuta snimanja kamere nisu mogli vidjeti što studenti rade od prsa naniže, a opcija snimanja prostorije, koja podrazumijeva da studenti prije ispita snime prostoriju u kojoj će polagati, često rezultira mutnim i nejasnim snimkama.
David Lux, glasnogovornik kompanije Proctorio ukazao je na tri druge studije koje dokazuju djelotvornost "proktoringa", a koje su provedene "multidisciplinarno i na većem uzorku".
Međutim, nijedna od te tri studije nije provedena u kontroliranim testnim uvjetima nego se temelje na anketama ili modelima regresije koji procjenjuju stopu varanja na ispitima i stavove studenata prema online nadziranju. Ne samo da su ove studije drugačije u naravi nego se temelje na drugačijem pitanju, jer nijedno ne pokušava dovesti u pitanje funkcionalnost programa Proctorio kao takav.
Koliko je isplativ?
Sve spomenute studije u nečemu se ipak slažu s rezultatima studije provedene na Sveučilištu Twente: sam softver vjerojatno djeluje kao sredstvo odvraćanja od tipova "lakog", konvencionalnog varanja koje se najčešće događa kad nitko ne nadgleda studente: poput scenarija kad svi polažu ispit na istome mjestu i međusobno se konzultiraju oko odgovora.
No, postavlja se pitanje isplativosti ovog programa, koji škole i fakultete košta tisuće dolara po testu, dok istovremeno ugrožava privatnost studenata, dok istovremeno ne uspijeva ukazati na one koji pokušavaju varati na ispitima.
izvor: vice.com