En ny studie från Karlstads universitet visar att det finns allvarliga kvalitetsbrister i de nationella proven i svenska och svenska som andraspråk i årskurs 9. I praktiken visar studien att osäkerheten i provet är såpass stor att elevernas provresultat inte utgör en tillförlitlig grund för betygssättning i ämnet.
Michael Tengberg, docent i pedagogiskt arbete vid Karlstads universitet, och Gustaf B. Skar, førsteamanuensis vid Norges teknisk-naturvitenskapelige universitet, har under de senaste åren forskat om nationella prov i både läsning och skrivande i Sverige och Norge. I en studie som just publicerats har de undersökt tillförlitligheten i det läsprov som ingår i det nationella provet i svenska och svenska som andraspråk i årskurs 9. Provet består av 20 frågor till fem eller sex texter av olika längd. Meningen är att provet ska ge en god bild av elevens läsförmåga inom olika områden och resultera i ett delprovsbetyg som i sin tur ligger till grund för provbetyget.
Avsikten med de nationella proven är bland annat att stödja en rättssäker och likvärdig bedömning och betygssättning. Provresultaten är därför av stor betydelse (high-stakes) för både lärare och elever. För eleven spelar provresultaten en avgörande roll för slutbetygen och på systemnivå kan resultatstatistik användas som argument för politiskt och ekonomiskt beslutsfattande.
I regeringens proposition 2017/18:14 föreslås en ändring i skollagen som ska ge resultat från de nationella proven ännu mer vikt när läraren sätter betyg i ämnet. Den nyligen publicerade studien visar dock att detta är riskabelt. Proven brister i tillförlitlighet och därmed riskerar de att inte ge en rättvisande bild av elevernas läsförmåga.
Prov som får stor betydelse måste vara tillförlitliga
I studien har forskarna använt ett representativt urval om 500 elevlösningar för att med statistiska analyser undersöka provets egenskaper.
- När provresultat har stor betydelse för eleverna eller för skolan är det viktigt att provet kan garantera en hög mätsäkerhet, säger Michael Tengberg.
Med hög mätsäkerhet menas att man vill kunna försäkra sig exempelvis om att resultaten inte är alltför beroende av enskilda uppgifter eller texter utan förblir stabila vid upprepade testtillfällen eller på andra prov av samma innehåll eller förmåga.
- När proven ska lämna underlag för ett betyg vill man också kunna visa att de uppgifter som ingår i provet tillsammans gör det möjligt att på ett tillförlitligt sätt skilja på elever i olika kunskapsnivåer, allt utefter hur många nivåer betygsskalan består av, tillägger Gustaf B. Skar.
De båda forskarnas undersökning visar emellertid att tillförlitligheten i det nationella läsprovet i årskurs 9 brister i flera avseenden. I en tidigare studie har forskarna visat att lärares bedömning av öppna uppgifter i läsprovet varierar kraftigt och att den enskilde elevens resultat på provet därför i alltför stor utsträckning beror av vem som bedömer. I den nya studien har de riktat in sig på själva uppgiftsbatteriet i provet. Undersökningen visar att provet har en låg intern konsistens. Det betyder att uppgifterna inte hänger samman på ett sätt som man kan förvänta sig av prov med så omfattande betydelse för systemet som nationella prov. Provets tillförlitlighet är i det här avseendet väsentligt lägre än den hos motsvarande läsprov i andra länder samt i PISA och PIRLS.
Dessutom visar undersökningen att uppgifterna i läsprovet är dåligt matchade mot elevernas kunskapsnivå, vilket bland annat får som konsekvens att provet inte med tillförlitlighet kan skilja på elever i mer än två olika kategorier.
- Något förenklat kan man uttrycka det som att provet förmår skilja på dem som har lite bättre läsförmåga från dem som har lite sämre läsförmåga, säger Gustaf B. Skar. Men att provet på ett tillförlitligt sätt skulle kunna användas för att dela in elever i betygsskalans sex olika nivåer saknas det bevis för.
Översyn av provkonstruktion behövs
En slutsats av studien är, enligt de två forskarna, att en översyn behöver göras över hela provkonstruktionen och att kvalitetssäkringen av provens validitet och reliabilitet måste förbättras. En annan slutsats är att provresultat, även de som kommer från nationella prov, bör behandlas med försiktighet och ses som en indikation bland flera om vad elever kan och inte kan på ett visst område. Även ett ytterst välutvecklat prov med hög mätsäkerhet kan fortfarande bara fånga en liten del av elevers förmågor inom komplexa domäner som läsande och skrivande.
Studien är publicerad i det senaste numret av tidskriften Utbildning & Demokrati.Tengberg, M. & Skar, G. B. (2017). Hur tillförlitligt är det nationella provet i läsning i åk 9? Utbildning & Demokrati, 26(2), 113–137
Studien ingår i ett större program av forskning om validitet i bedömning av elevers språkförmågor som bedrivs vid Centrum för språk- och litteraturdidaktik (CSL).Michael Tengberg har även debatterat den bristande kvaliteten på de nationella proven i läsning på skolaochsamhalle.se
