Beslisregels voor tonen van NSE resultaten

Bij de verwerking van de gegevens van de Nationale Studenten Enquête (NSE) voor publicatie op Studiekeuze123.nl, in de Studiekeuzedatabase en in Studie in Cijfers, wordt een beslisregel gehanteerd om te bepalen of de gemiddelde scores voldoen aan de minimale nauwkeurigheidseisen. Bovendien wordt rekening gehouden met de privacy van studenten. Wanneer er minder dan 5 respondenten zijn, wordt de score niet getoond. Hieronder worden de beslisregels toegelicht.

De beschreven beslisregels veranderen niets aan het gemiddelde zelf (de hoogte ervan). Ze bepalen alleen of een gevonden gemiddelde getoond moet worden of niet.

Bepalen nauwkeurigheid

De basis van de afweging die wordt gemaakt voor het tonen van gemiddelden, is de vraag hoe nauwkeurig de berekende gemiddelden zijn. Anders geformuleerd, met welke mate van zekerheid zal het gemiddelde bij een volgende meting hetzelfde zijn? In de statistiek wordt voor dit soort vragen gewerkt met een betrouwbaarheidsinterval; het gemiddelde valt met een bepaalde zekerheid tussen een boven- en ondergrens. De boven- en ondergrens wordt uitgedrukt met de marge; het verschil tussen het gemiddelde en de boven- of ondergrens. Hoe kleiner de marge is, des te nauwkeuriger het gevonden gemiddelde is.

Voor de mate van zekerheid wordt bij de NSE-gegevens het 95%-betrouwbaarheidsinterval aangehouden. Als uiterste marge wordt 0.5 aangehouden.

Voor de beslissing of een gevonden gemiddelde voldoende nauwkeurig is, wordt eerst het 95%-betrouwbaarheidsinterval van een gemiddelde berekend. Daarna wordt bepaald of de marge die zo ontstaat niet meer is dan 0.5. Alleen dan wordt het gevonden gemiddelde opgenomen.

Een voorbeeld. Stel dat op Studiekeuze123.nl bij een opleiding een gemiddelde tevredenheidsscore wordt getoond van 3.5. Dan geldt dat bij een volgende meting in 95% van de gevallen een gemiddelde wordt gevonden, dat in ieder geval valt tussen 3.0 en 4.0 (in de meeste gevallen zal de marge kleiner zijn). Als een gevonden gemiddelde niet in die mate betrouwbaar en nauwkeurig is, zal het niet worden getoond op Studiekeuze123.nl, op Studie in Cijfers en in de Studiekeuzedatabase.

Hoe worden de marges berekend?

De marge die hoort bij een 95%-betrouwbaarheidsinterval wordt normaal berekend door de standaardafwijking te delen door de wortel van het aantal waarnemingen. In een formule ziet dat er als volgt uit:

1,96 x σ/√n

Het theoretisch model achter de verwerking van de gegevens van de NSE staat binnen de statistiek bekend als de ‘steekproef zonder teruglegging’. Bij ‘steekproeven zonder teruglegging met een eindige populatie’ wordt de marge gecorrigeerd met de zogenaamde eindigheidscorrectie (de ‘finite population correction’). Met N als de populatieomvang en n als de steekproefomvang wordt de eindigheidscorrectie:

De toepassing van de eindigheidscorrectie op de marge werkt als volgt:

De marge waarop de eindigheidscorrectie is toegepast, mag dus niet boven de 0.5 uitkomen. Een voorbeeld: stel dat een opleiding 20 studenten (N) heeft waarvan er 10 (n) de NSE invullen en de standaardafwijking 1 (σ) is.

De marge komt dan uit op 0.46. Dit valt onder de maximumgrens van de marge van 0.5. Bovendien zijn er meer dan 5 studenten die meededen aan de enquête, dus wordt het gemiddelde opgenomen in de database en getoond op Studiekeuze123.nl.

Minimaal aantal respondenten

Het nauwkeurigheidscriterium sluit niet uit dat het gemiddelde van een opleiding met bijvoorbeeld 2 studenten die beiden meedoen aan de NSE en waarvan de gemiddelde scores onder de marge van 0.5 vallen, getoond worden. Om de privacy van studenten van dit soort kleine opleidingen niet in gevaar te brengen wordt naast de nauwkeurigheidseis de ondergrens bij minimaal 5 studenten gelegd (n>=5).

Samenvattend

Op Studiekeuze123.nl, in de Studiekeuzedatabase en in Studie in Cijfers wordt een privacyregel gehanteerd van n>=5