Toetsanalyse voor dummies: p-waarde en Rir
Afgelopen week besprak ik toetsanalyses met een groep mensen uit zowel het onderwijs als het werkveld. Voor mijn eigen gemak had ik een overzicht gemaakt met daarin ook de statistische waarden ‘p-waarde’ en ‘RIR-waarde’. Eén van de eerste vragen in die bijeenkomst was dan ook of ik die wilde uitleggen. Natuurlijk wilde ik dat! En ik vond het heel leuk om te zien dat mijn groep later steeds op die uitleg weer terugkwam. Ben ik niet de enige cijfertjes-nerd ;-). Het leek me leuk om die uitleg voor ‘dummies’ ook op mijn blog te bespreken. Bij deze dus!
.
P-waarde
De p-waarde laat zien hoeveel procent van de studenten de vraag goed heeft gemaakt (bij een meerkeuzevraag). De hoogte van de p-waarde ligt tussen de 0 en de 1. Bij 0 hebben alle studenten de vraag fout beantwoord. Bij 1 hebben alle studenten de vraag goed beantwoord. De p-waarde wordt ook wel de ‘gemakkelijkheidsindex’ genoemd. Het zegt iets over hoe moeilijk of hoe makkelijk de vraag kan zijn. Dat betekent dat een hoge p-waarde een waarschuwing is, maar een lage p-waarde ook. Een te makkelijke vraag (hoge p-waarde) levert geen bijdrage aan een toets. Bovendien wordt een goede leerling erdoor afgeleid. Want: het kan toch niet zo simpel zijn? Een te lage p-waarde wijst erop dat een vraag ofwel te moeilijk is, ofwel dat er een constructiefout in de vraag zit. Voor een meerkeuzevraag is een p-waarde tussen 0,3 en 0,8 optimaal.
.
.
Ja, en wat nu? Je kunt nu meteen naar de vraag kijken. Om te zien of je er iets bijzonders aan ziet. Maar slimmer is het om te bekijken hoe deze vraag scoort in relatie tot de rest van de toets. Daarvoor kijk je naar de Rir-waarde.
.
Rir-waarde
De Rir-waarde zegt iets over het onderscheidend vermogen van een vraag. Dat wil zeggen: maakt de vraag een goed onderscheid tussen de betere en de minder goede studenten? Ofwel: wordt de vraag goed beantwoord door studenten die goed scoren op deze toets? Een hoge Rir-waarde betekent dat de betere studenten de vraag juist beantwoorden en de zwakkere studenten de vraag onjuist beantwoorden. Een lage of negatieve Rir-waarde zegt het omgekeerde. Het zijn dan juist de betere studenten die een vraag onjuist beantwoorden. Vaak is er dan iets met de vraag aan de hand. Wil je dieper in de statistieken duiken, dan is dit een leestip.
.