Statistical analysis of the reformed BME SET system Tanulás- és Tanításmódszertani – Tudástechnológiai

35 OTDK, Tanulás- és Tanításmódszertani – Tudástechnológiai Szekció, Tanulás, tanulástámogatás a felsőoktatásban II. Tagozat.

Statistical analysis of the reformed BME SET system

Helyezés: 2

Hallgató: Lukáts Gergely Dániel
Szak: Alkalmazott matematikus mesterképzési szak, Képzés típusa: msc, Intézmény: Budapesti Műszaki és Gazdaságtudományi Egyetem, Kar: Természettudományi Kar

Témavazetők: Molontay Roland - Tudományos segédmunkatárs, Budapesti Műszaki és Gazdaságtudományi Egyetem Természettudományi Kar ,
Berezvai Zombor - Egyetemi tanársegéd, Budapesti Corvinus Egyetem Gazdálkodástudományi Kar

A kilencvenes évek óta az Oktatói Munka Hallgatói Véleményezése (OMHV) egyre népszerűbbé vált, és napjainkban a világ egyetemeinek túlnyomó többsége alkalmazza az oktatói teljesítmény mérésére. A Budapesti Műszaki és Gazdaságtudományi Egyetemen az online OMHV rendszer jelentős megújuláson esett át 2017-ben. A teljes rendszer újra lett gondolva, rövidebb kérdéssorral, új és átfogalmazott kérdésekkel, más értékelési skálával és ösztönzőrendszerrel. Kutatásom során e változtatások hatásait elemeztem.

Kutatásomhoz rendelkezésemre bocsátotta az egyetem a releváns OMHV és kapcsolódó adatokat (anonim módon), amely több tucat táblázatból és több millió sornyi adatból állt. A kutatás első és igen időigényes fázisa az adattisztítási folyamat volt. Ezután három fő kérdést vizsgáltam meg:

• A kérdőív értékelési skálája öt fokú Likert skáláról hat fokú Likert skálára módosult, ráadásul a középső lehetőségek feliratai szöveges címkéről numerikusra váltottak. A válaszadók hajlamosak lehetnek a szöveges címkés lehetőségeket választani, és ez az új rendszerben az extrémértékek megnövekedéséhez, így torzításhoz vezethet. Az extrémértékek előfordulását skáláztam majd fixhatás regresszióval kimutattam, hogy megnövekedett ez a fajta torzítás az új rendszerben.
• Másrészt, a diákok kedvezményes tárgyfelvételi időszakkal lettek ösztönözve az OMHV kérdőívek kitöltésére. Viszont felmerül a gyanú, hogy az ösztönzés hatására csak mesterségesen inflálódott a kitöltési arány olyan új kitöltésekkel, ahol a hallgatók jelentős része kevés energiával, odafigyelés nélkül tölti ki a kérdőíveket mindössze a kedvezményes tárgyfelvétel céljából. Különböző eseményeket vizsgáltam, ahol felmerülhet a figyelmetlen kitöltés gyanúja, és kimutatható volt ezeknek a gyakoribb előfordulása a tárgyfelvétel előtti napokban.
• Korábban kutattam az engedékeny osztályozás hatását az OMHV eredményekre a 2013 és 2017 közötti BME adatok felhasználásával. A jelenlegi kutatásomhoz a legutóbbi négy félév adatait használtam az új kérdőíves rendszerből, és többféle regressziós módszer segítségével beláttam, hogy ez a hatás erősebb lett.

Összességében a kutatásom és a dolgozatban található korszerű adatvizualizációs módszerek segítséget nyújthatnak az egyetem vezetőségének megismerni az új kérdőíves rendszer hatásait, és ezek alapján javításokat eszközölhetnek, amelyekkel még megbízhatóbb OMHV eredmények születhetnek. Továbbá más egyetemek számára is hasznosak lehetnek az eredmények, akik hasonló döntések előtt állnak.