Skillnaden som gör skillnaden när du vill bygga en verksamhet med rätt kompetens. Xtractors manusförfattare Sara Schiöld tipsar dig om hur du skapar tillförlitliga test till dina utbildningssatsningar.
Tänk dig att du ska bygga ett hus. Börjar du med att spika ihop ett par plankor eller gör du en ritning först? För att konstruera ett säkert test, som mäter det du ska mäta på ett tillförlitligt och konsekvent sätt, behöver du börja med designen innan du skriver frågorna.
Varför behövs testet?
Börja med att ställa dig frågan ”Vad är syftet med testet?”. Fokusera på att välja ett syfte och håll dig till det – flera syften skapar vanligtvis problem längre fram i designprocessen. Finns det flera syften är det bättre att du tar fram flera olika test som mäter olika saker.
Nästa fråga du ska ställa dig är ”Vilka konsekvenser kan testresultatet ge?”. Det är skillnad på att designa frågor till en examination för en pilot som ska flyga en Boeing 747 och frågor till ett självskattningstest.
Provspecifikationen är din ritning
Jag använder mig ofta av en provspecifikation för att vara säker på att det är vanligt förekommande arbetsuppgifter av medelsvår art som jag tar med i testet. Det är ju sådana kompetenser som en verksamhet har stor nytta av att utveckla och säkerställa att de fungerar.
Provspecifikationen innehåller frågor som:
- Vilket är utbildningens mål och vilka kompetenser ska deltagaren ha tillgodogjort sig efter avslutad utbildning? (det deltagaren ska göra)
- Vad ska vi mäta? (testets innehåll ska direkt knyta an till syftet)
- Hur ska vi mäta det? (frågor, intervjuer, arbetsprov)
- På vilken kunskapsnivå ska vi mäta? (fakta, förståelse, tillämpning)
- Vilka kunskapskriterier är viktigast? (viktas på en skala mellan 1 och 3)
När provspecifikationen är ifylld och avstämd med ämnesexperten har du byggritningen färdig och det är dags att börja snickra på frågorna!
Checklista för säkra frågor
Med byggbeskrivningen i din hand kan du se vilka områden som är viktigast. De kräver fler frågor för att testets tillförlitlighet ska bli större (vilket kallas hög reliabilitet i frågekonstruktionssammanhang). Byggbeskrivningen hjälper dig också att konstruera frågorna så de möter rätt innehåll – det vill säga ger dig ett test som har hög validitet. I ett test med hög validitet testar du de kompetenser som deltagaren behöver uppvisa i verksamheten. För det är ju ingen idé att testa kompetenser som inte leder till att verksamhetsmålen uppfylls!
När det sedan är dags att skriva frågorna, tänk på att de ska ha:
- ett enkelt språk
- ETT enda syfte (du ska bara fråga om en sak åt gången)
- svarsalternativ som är helt rätt eller helt fel
- svarsalternativ som är relevanta och trovärdiga.
En bra regel är att varje fråga ska vara så tydlig så att om du läser frågan ska du kunna tänka ut svaret själv. Dina deltagare ska inte behöva läsa svarsalternativen för att förstå vad du menar.
100 procent rätt?
Ska man alltid kräva 100 procent rätt av deltagarna för att de ska få godkänt? ”Nej” är mitt svar. Det är alltid risk för mätfel. En fråga kan vara luddigt skriven, och kan snarare testa läsförståelse än kunskap. Faktorer hos deltagarna kan också spela in, som nervositet, koncentrationsförmåga och (o)vana vid testsituationer. Mitt råd är att lägga gränsen för godkänt vid 75–80 procent.
Försäkra dig om att testet är av god kvalitet genom att pilotköra det på en expertgrupp och en nybörjargrupp. Väljer de olika svarsalternativ? Om svaren är för lika – se över frågorna! Ofta kan deltagarna få fram det rätta svarsalternativet bara genom att utesluta felalternativen. Se därför till att de felaktiga alternativen är trovärdiga, relevanta och ungefär lika långa som det korrekta svaret.
Lönsam utbildningssatsning – testa rätt saker!
Frågor i utbildningar kan användas på många olika sätt: för självskattning, reflektion, situationsbaserat lärande, diagnos och kunskapskontroll. Tänk på syftet innan du formulerar varje fråga!
Och du, välkommen att höra av dig till oss om du vill diskutera P-värden och diskriminationsindex. Våra pedagoghjärtan brinner för säkra certifieringar och vi vill gärna hjälpa dig att säkerställa lönsamheten i din utbildningssatsning.
Inspirationslänkar
Bloggtips ett: Undvik tråkig e-learning – hur du skapar utbildning som utgår från dina verksamhetsmål
Bloggtips två: 10 Tips on Creating Effective Assessments
Ladda ned vår provspecifikation och använd som mall
Boktips: Christina Wikströms bok Konsten att göra bra prov (Natur & Kultur 2014)
Sara Schiöld
Manusförfattare och pedagogisk rådgivare, Xtractor