Summatieve toetscyclus

Fase 1. Basisontwerp

Bij het ontwikkelen van onderwijs dient er rekening gehouden te worden met drie componenten: beoogde leeruitkomsten, leeractiviteiten en toetsvormen. Binnen deze drie componenten zijn de beoogde leeruitkomsten het uitgangspunt. Deze bepalen welke leeractiviteiten en toetsvormen gekozen worden. De verbinding tussen deze drie componenten wordt constructive alignment genoemd. (Bron) Bij kwaliteit 2 (overige concepten) is constructive alignment toegelicht.

Bij leeruitkomsten gaat om het resultaat en niet de manier waarop deze wordt bereikt. Een leeruitkomst is volgens de handleiding van NLQF volgt opgebouwd:

Bij leerdoelen gaat het naast het resultaat veelal om het proces: wat wordt van de leerling op welke manier wanneer verwacht en/of wat wil de docent bereiken. Daarbij zijn leerdoelen gekoppeld aan de lessen en vaak relatief concreet.

Toetsdoel
Toetsen moeten van goede kwaliteit zijn. Maar om te kunnen bepalen of een toets kwalitatief goed is, moet je eerst weten wat het doel van de toets is. Kwaliteitsaspecten hangen af van het toetsdoel. Het kan zijn dat je een summatief doel hebt, en dus een student wil beoordelen. Daarvoor moet je toets voldoen aan kwaliteitscriteria als ‘validiteit’ (meet de toets wat hij moet meten), stel je een ‘normering’ in en leg je ‘cesuur’ (wanneer scoort de leerling voldoende of onvoldoende) vast. Hier gaan we later verder op in.

Je kunt ook als doel hebben om te meten in hoeverre de student de leerstof beheerst en wat hij nog moet leren: een formatief toetsdoel. Dan is het belangrijk dat de toets een positieve invloed heeft op het lesgeven en leren. Geef feedback en stem het onderwijs af op het resultaat van de toets. (bron)

Toetsdoelen kunnen op verschillende manieren worden getoetst: mondeling, schriftelijk of een praktische uitvoering. Toetsdoelen geven antwoord op vragen als: waarover moet de toets gaan? Wat moet de toets meten? Wat moeten studenten (uiteindelijk) beheersen? Toetsdoelen komen voort uit de leerdoelen. Deze bron neemt je mee in het verhelderen van je doel.

Afhankelijk van doelen!
Wat is belangrijk: betrouwbaarheid of authenticiteit? Kies een toetsvorm die past bij het doel dat je wilt nastreven.
miller+-1.png

Binnen verschillende opleidingen en onderwijsconcepten wordt de Piramide van Miller niet meer gebruikt omdat de werkelijkheid veel complexer is. Vaak wordt er vanuit Does geleerd als vertrekpunt en volgt daarna Knows en knows how.

Toetsvorm
Met behulp van een toets kunt je het beoogd leereffect meten. De keuze van een toetsvorm is bepalend voor de mate waarin je echt meet wat je graag wilt meten en weten. De toetsvorm wordt bepaald door het toetsdoel en de bijbehorende eindtermen. Nagaan of een student een onderzoek kan presenteren is nauwelijks geloofwaardig te toetsen met een meerkeuzevraag.

Bij kwaliteit 2 (overige relevante concepten) zijn de diverse toetsvormen, gekoppeld aan taxonomie, ook gepresenteerd.

Fase 2. Construeren toetsmatrijs

Toetsitems / toetsvragen maak je op basis van een toetsmatrijs. Een toetsmatrijs is een hulpmiddel om te borgen dat de toets een afspiegeling is van het niveau en van het onderlinge gewicht van de beoogde leeropbrengsten. De soorten beoogde leeropbrengsten (reproductie en/of productie) en de niveau-uitwerking (bijvoorbeeld met de Bloom-taxonomie) van de opleiding zijn herkenbaar in de toetsmatrijs. Het invullen van een toetsmatrijs gebeurt wanneer het onderwijs wordt ontwikkeld. Docenten gebruiken de matrijs bij de constructie van de toets of hertentamen.

Een toetsmatrijs heeft drie componenten die hem heel bruikbaar maken voor het maken van toetsen en toetsvragen:

Leeruitkomsten: De onderwerpen die die getoetst moeten worden, omschreven als beoogde leeropbrengsten
Taxonomieniveau: De niveaus van de beoogde leeropbrengsten (bijv. ’onthouden’, ’begrijpen ’, ’toepassen ’ uit de Bloom-taxonomie), uitgedrukt met werkwoorden zoals ‘classificeren' en ‘herkennen’ op het niveau ‘onthouden’.
Weging: Het aantal of percentage per beoogde leeropbrengsten per niveau (geeft het belang van de beoogde leeropbrengsten aan).

(bron)

Voorbeeld toetsmatrijs met invulinstructie

De beoogde leeropbrengsten die voor de module zijn opgesteld en zijn in onderstaand voorbeeld (1) ingevuld .
Percentage vragen per type vragen (hier gebaseerd op de Bloom-taxonomie). Per beoogde leeropbrengst invullen van de percentages vragen per beoogd leeropbrengst-niveau (3)
De totale percentages van vraagniveaus en beoogde leeropbrengsten, waarmee het gewicht van de leerdoelen helder wordt (2).

Werkwoorden in relatie tot de taxonomie van Bloom vind je hieronder.

De relatie tussen kennis en vaardigheden, gekoppeld aan de hiërarchie en de mogelijke uitkomst/specificatie is te vinden onderstaande tabel:

Fase 3: Construeren toets / normeren

Construeren toets
Op basis van de toetsmatrijs wordt een toets samengesteld. Hierbij wordt rekening gehouden met de uitgangspunten vanuit constructive aligment.

Het beginpunt van normering zijn de toetsvragen en het antwoordmodel. Met toetsvraag wordt bedoeld: vragen aan de student om te laten zien wat de student beheerst. Het antwoordmodel is het dat wat docenten hebben opgesteld en daarmee de meetlat waarop de antwoorden van de student worden gecontroleerd. Bij het controleren van de antwoorden en bepalen wanneer een student voldoende scoort, gaan het over normering en cesuur.

Normeren
De uitslag van een tentamen wordt vastgesteld op basis van de antwoorden die de student geeft. Die antwoorden bepalen of een toetsvraag goed is beantwoord. Hoeveel punten voor een vraag/deel van de toets wordt gegeven, is de normering (puntentelling). De cesuur is de grens van zakken en slagen, ofwel wanneer een voldoende of een onvoldoende wordt gegeven.

Vragen die je kunt stellen ten aanzien van de cesuur:

Grens voldoende/ onvoldoende
Is gokkanscorrectie: nodig?

Er is geen juiste cesuur! Een goede cesuuur is een verdedigbare norm.

De cesuur kan op diverse manieren bepaald worden: (bron)

Absoluut
Bij een absolute cesuurmethode wordt de zak/slaaggrens al bepaald voordat de studenten de toetsing hebben afgelegd. Het referentiepunt voor de cesuur ligt hierbij dus in de inhoud van het tentamen en de uiteindelijke scores van de studenten hebben daar bij deze methode dan ook geen invloed meer op.
Nadeel: er wordt geen rekening gehouden met de omstandigheden waarin de toetsing heeft plaatsgevonden met als gevolg mogelijk onterecht gezakte studenten (te strenge norm).

Vast: Bij een vaste cesuurmethode wordt vooraf aan de toets op basis van de aard van de vragen en een eventuele correctie voor gokkans een cesuur vastgesteld. Het lastige aan deze manier van cesuur bepalen is dat de norm vrij arbitrair is. Er wordt immers niet op basis van inhoudelijke argumenten gekozen voor een bepaalde cesuur.
Nedelsky: De Nedelsky methode gaat ook uit van een absolute cesuurmethode, maar hierbij wordt de norm wel beargumenteerd vastgesteld. Nedelsky (1954) stelde voor om een student die een 5,5 zou halen in gedachten te nemen. Vervolgens worden de tentamenvragen door de ogen van deze student bekeken. Daarbij stel je jezelf de vraag: welke antwoordmogelijkheden zou een (hypothetische) 5,5 student kunnen wegstrepen en tussen welke antwoordmogelijkheden zou een 5,5 student twijfelen? Op basis van het aantal antwoordmogelijkheden dat niet wordt weggestreept door een 5,5 student kan de gokkans worden berekend.
Bijvoorbeeld: wanneer van een 5,5 student verwacht wordt dat hij/zij een van de vier antwoordmogelijkheden kan wegstrepen is de gokkans 0.33, aangezien er drie mogelijke antwoorden over blijven.
Door deze gokkans voor iedere vraag te berekenen vanuit het perspectief van de 5,5 student kan een beredeneerde cesuur worden bepaald.
Angoff: De cesuurmethode van Angoff (1971) is ook een manier om een beredeneerde absolute cesuur te bepalen. In plaats van het maken van een schatting van hoeveel antwoordmogelijkheden een 5,5 student kan wegstrepen, adviseert Angoff om per vraag te schatten welk percentage van een hypothetische groep 5,5 studenten de vraag goed beantwoordt. Door voor alle vragen de geschatte kansen op te tellen ontstaat een beredeneerde norm.

Relatief
Bij een relatieve cesuurmethode ligt het referentiepunt voor de zak/slaaggrens niet in de inhoud van het tentamen maar in de betrouwbaarheid van de toets, de resultaten van een studentenpopulatie uit een eerder cohort of de resultaten van het huidige cohort.
Nadeel: studenten die zich onvoldoende hebben voorbereid op de toetsing hebben wel invloed op de gemiddelde toetsprestatie met als gevolg mogelijk onterecht geslaagde studenten (te coulante norm).

Wijnen: De aanname van Wijnen (1971) was dat de moeilijkheidsgraad van een toets in een specifieke context onder specifieke condities alleen afgelezen kan worden aan de scores van studenten. De redenering achter deze cesuurmethode is dan ook dat studenten op basis daarvan beoordeeld moeten worden. In de praktijk betekent dat dat de gemiddelde score van de studenten als uitgangspunt wordt genomen. Deze gemiddelde score min twee standaardmeetfouten geeft een relatief beargumenteerde cesuur. Dit wordt ook wel grading on the curve genoemd.

Compromismethode
In de praktijk kom je vaak combinaties van zowel een absolute als relatieve cesuurmethode tegen, die worden ook wel compromismethoden genoemd. Hieronder worden de meest gebruikte cesuurmethoden beschreven.

Cohen-Schotanus: Het uitgangspunt bij de methode die is voorgesteld door Cohen-Schotanus en collega’s (1996) is in principe een absolute cesuur met een relatief referentiepunt namelijk de groep beste studenten. In plaats van het nemen van de theoretisch hoogst haalbare score kan bijvoorbeeld uitgegaan worden van de daadwerkelijk hoogst behaalde score (met name bij grote groepen studenten). Ook kan er bijvoorbeeld gekeken worden naar het gemiddelde van de studenten die scoren in het 95^e percentiel en hoger. In de score-cijfer transformatieschaal van figuur zou dan bijvoorbeeld niet 100 als hoogste score worden opgenomen, maar 93 omdat dat de hoogst behaalde score was. (bron)

Fase 4. Afnemen

Voor het afnemen van gesloten toetsvragen zijn een aantal regels en richtlijnen opgesteld. De Onderwijs en Examenregeling beschrijft de rechten en plichten van opleiding en student. Ook de toetsing is opgenomen in de OER. O.a. de toetsvorm, in het toetsjaarrooster is de planning (ook van herkansingen) te vinden. De termijn waarop een beoordeling beschikbaar moet zijn voor de student vind je ook hier.

Voor studenten met een functiebeperking kunnen specifieke regelingen van kracht zijn wat betreft de toetsafname. Bepaalde groepen studenten krijgen meer tijd om een toets te maken.

Van belang voor een toets op locatie is in ieder geval:

Duidelijke toetsinstructie voor alle studenten gelijk
Gunstige omstandigheden (rust, ruimte, licht, verwarmd)
Rol van de examinator
Informatie over hulpmiddelen

Naast de afname omstandigheden optimaliseren is het van belang om oog te hebben fraude, of in ieder geval het voorkomen hiervan.

Fase 5. Beoordelen, verwerken, analyseren

Beoordelen

Het verschil tussen holistisch en analytisch beoordelen wordt uitgelegd bij kwaliteit 2: relevante concepten.

Analytisch beoordelen houdt in het kort in dat alle beoordelingsaspecten van een vaardigheid of beroepstaak worden onderscheiden en afzonderlijk worden beoordeeld. Analytisch beoordelen is passend wanneer nauwkeurig moet worden vastgesteld of studenten kritische kennis of deelvaardigheden beheersen of wanneer er sprake is van één juiste aanpak of oplossing. In dit geval zijn er discrete, duidelijk omschreven leerdoelen en eenduidige antwoordmodellen of beoordelingsmodellen

Holistisch beoordelen heeft als uitgangspunt dat een adequate prestatie niet is te reduceren is tot een voldoende score op afzonderlijke beoordelingsaspecten; het geheel is meer dan de som van de delen. Holistisch beoordelen is passend wanneer de beoogde leeropbrengsten complex zijn en de prestatie wordt afgezet tegen een standaard. Dit is het geval bij de beoordeling van competenties, een complex proces, product of werkwijze, waarvoor meer dan een oplossing mogelijk is en/of wanneer de toepassingscontexten verschillen. Het aantal beoordelingsaspecten speelt ook een rol. Hoe complexer de opdracht, des te meer aspecten beoordeeld moeten worden.

Voorbeeld beoordelingsmodel

Mogelijke beoordelaarseffecten en manieren om dit te voorkomen vind je onderstaande tabel.

Opties bij toets	Gevolg voor beoordelaarseffecten
Controleert of bij alle vragen een beoordelingsvoorschrift aanwezig is	Verkleint de kans op verschillen tussen beoordelaars. Strenge en soepele beoordelaars matigen zich, omdat niet hun intuïtieve oordeel mogen geven.
Anoniem beoordelen	Halo (goede studenten bij mindere prestatie wat beter beoordelen) en horn-effect (slechte student bij een goede prestatie wat lager beoordelen) wordt beperkt
Horizontaal (per vraag) of verticaal (per kandidaat) na te kijken	Sequentie-effect (beoordeling meewegen van vorige vraag) wordt voorkomen door per vraag te beoordelen

Verwerken

Vanuit de beoordeling, wordt een stap gemaakt naar de resultaten. Het omzetten van de beoordeling naar de score is de cijfertransformatie. Bij kennistoetsen is hier vaak een keuze tussen split of strikt lineaire.

Het registeren en communiceren vindt plaats in de volgende fase van de toetscyclus.

Analyseren

Kennistoets
Het analyseren van de resultaten, op zowel toets- als itemniveau, is noodzakelijk om uitspraken te kunnen doen over de kwaliteit van de toets.

De toetsanalyse geeft onder andere informatie over de betrouwbaarheid van de toetsscores en de standaardmeetfout (standard error of measurement, SEM). De itemanalyse geeft inzicht in de kwaliteit van de afzonderlijke items. Slechte items kunnen bijdragen aan een lage betrouwbaarheid en lage validiteit van de toetsscores. Slechte items zijn bijvoorbeeld items die te makkelijk, te moeilijk of ambigu zijn.

Naar aanleiding van de toets- en itemanalyse kan enerzijds voor de afgenomen toets de kwaliteit worden beschouwd en waar nodig beslissingen worden genomen om de toetskwaliteit te verhogen. Anderzijds kan de analyse bijdragen aan het verbeteren van de kwaliteit van items voor de constructie van toekomstige toetsen.

Toets- en itemanalyse	Gevolgen
Analyse op toetsniveau	Betrouwbaarheid van de toetsscores in beeld brengen. Verbeteren van de toetskwaliteit.
Analyse op itemniveau	Verbeteren van constructie van nieuwe toetsen. Verbeteren van de toetskwaliteit.
Commentaren op vragen & toets door studenten	Mee laten wegen in de het analyseren van de toets

De betrouwbaarheid is een schatting van de ware score. Een hoge betrouwbaarheid geeft aan dat er een representatieve score van het individu wordt gemeten en dat bij het opnieuw afnemen van de toets wederom een gelijke waarde zou worden bepaald (Van Berkel, 2017).

Tabel Normering betrouwbaarheid volgens (Evers et al., 2010)

	Belangrijke beslissingen op individueel niveau	Minder belangrijke beslissingen op individueel niveau	Groepsniveau
Goed	r¹≥ .90	r ≥ .80	r ≥ .70
Voldoende	.80 ≤ r < .90	.70 ≤ r < .80	.60 ≤ r < .70
Onvoldoende	r < .80	r < .70	r < .60

¹ r = betrouwbaarheid

Voorbeeld

Een kennistoets is afgenomen bij 350 kandidaten. Op basis van de resultaten van deze toets worden belangrijke individuele beslissingen genomen. De KR-20 van deze kennistoets is 0.60. Uit tabel 'normering' blijkt dat deze waarde te laag is om met een redelijke mate van zekerheid beslissingen te kunnen nemen over zakken of slagen. Wanneer voor dezelfde kennistoets een KR-20 van 0.90 zou worden gevonden dan blijkt uit tabel 1 dat deze waarde wordt geclassificeerd als ‘goed’. Dit betekent dat de waarde hoog genoeg is om met redelijke mate van zekerheid belangrijke beslissingen over studenten te kunnen nemen voor wat betreft zakken en slagen.

Om een toets- en itemanalyse uit te voeren, is het aan te raden om deze Beslisbomen toets- en itemanalyse.pdf te volgen en/of deze handleiding te lezen.

Je kunt een masterclass toets- en itemanalyse ook terugkijken via het volgende filmpje:

Geen kennistoets analyseren?
In geval van een andere toets dan een kennistoets is het aan te raden om het aantal studenten die de toets (bv. de afgelopen 2 jaar) heeft gemaakt weer te geven. Het zak/slaagpercentage in beeld te brengen en het als het mogelijk is ook een analyse te maken welke onderdelen / leeruitkomsten minder goed of juist heel goed gescoord hebben. Van daaruit kun je conclusies trekken voor het onderwijs of voor een volgende toets.

Fase 6: Registreren en communiceren

In de OER staat beschreven binnen welke termijn de resultaten van een toets bekend moeten zijn. Het proces van registratie, zoals het verloopt in Gradework en Progress, dient hier beschreven te worden.

In ieder geval dient het behaalde resultaat gecommuniceerd te worden naar de student.

Voor het leereffect is het belangrijk dat de student ook feedback krijgt over wat goed en fout is gegaan, liefst zo specifiek mogelijk en positief geformuleerd zodat de student het begrijpt. Daarbij is het wenselijk om geen nieuwe informatie aan te dragen.

Hoe sneller de feedback verkregen wordt hoe groter het leereffect.

Vanwege dit leereffect is het ook raadzaam om formatieve element te koppelen aan een summatieve toets. Het risico van summatieve toetsing is dat de feedback bij behalen nauwelijks opgenomen wordt.

Over feedback is het aanhalen van feedup feedback feedforward (hatti en timberley, 2007) of https://lerenvantoetsen.nl/feedbackgeletterdheid-feedback-verwerken-moet- je-leren/ Boud over feedback een tip. Daarnaast staat in de formatieve toetscyclus feedback en hoe daarmee om te gaan centraal.

Bij deze fase is het de bedoeling dat je toevoegt op welke manier je inzage in de toets (en dus het leren) organiseert.

Fase 7. Evalueren en verbeteren

De vragen die ten grondslag lagen aan het ontwikkelen en afnemen van de toets zijn ook de criteria waarop je kunt beoordelen of de toets aangepast moet worden. Daarnaast levert evaluatie onder studenten en analyse van de uitkomsten ook input voor de evaluatie.

Het vierogenprincipe
Als een toets betrouwbaar is, betekent dit dat studenten bij een gelijkwaardige toets dezelfde score zouden halen. Hiervoor moeten de items binnen een toets helder en ondubbelzinnig zijn. Om die reden leg je de toets voor aan een collega-docent voordat hij bij de student komt. Deze collega beoordeelt de toetsvragen/toetsopdracht op helderheid, of de inhoud en het niveau aansluiten bij de leerdoelen en of er geen slordigheden in zitten. (bron)

Kwaliteitseisen van een toets

Een toets moet voldoen aan de kwaliteitseisen van toetsen:

Validiteit: meten wat je wilt meten
Betrouwbaarheid: bij herhaling hetzelfde resultaat meten
Transparantie: voor studenten duidelijk wat en hoe er wordt getoetst

Dit werk valt onder een Creative Commons Naamsvermelding-NietCommercieel 4.0 Internationaal-licentie. Bij deze uitwerking van de summatieve toetscyclus is gebruik gemaakt van hva.score.nu