Så mäts hur bra eller dålig en skola är

Listor är populärt. Det är inte ovanligt att lista så kallade bra och dåliga skolor utifrån elevernas slutbetyg eller resultat på de nationella proven. Men ger det en rättvisande bild av vad skolan egentligen bidragit med? 

Åsa Melander, skoldebattör med erfarenhet av att ha jobbat med utsatta skolor i London, tycker inte det. 

– Om man inte tittar på vad skolan gör under tiden, utan bara på slutvärdet så innebär det att man jämför äpplen och päron. En skola där barnen har resursstarka föräldrar har helt andra förutsättningar för att barnen ska få goda skolresultat. Och då retar det mig extremt mycket att lärare – som arbetar hårt i områden med elever som har en svår utgångspunkt – får läsa i media om hur ”dålig” deras skola är, utifrån slutresultaten. 

– Det säger ingenting om vad skolan faktiskt bidragit med. Det är mycket möjligt att de får sina elever att utvecklas mer än ”bra” skolor. Man jämför fullständigt orättvisa spelplaner, säger Åsa Melander. 

Ett bättre mått på kvalitet är att titta på en skolas förädlingsvärde, menar hon. Alltså ett mått som jämför hur elevernas resultat förändrats mellan minst två mätpunkter, något Åsa Melander arbetade med under sin tid i England. 

– Det handlar om vilket värde skolan lyckas ge till eleverna under deras tid på skolan. Sen ska man ha klart för sig att det inte finns några optimala sätt att mäta på. Men jag tycker att det är bättre att försöka mäta det på något sätt, än att inte göra det alls. Och det handlar inte bara om att titta på skriftliga prov utan att även läraruppskattningar är viktiga. I England följer man till exempel upp barns läsförmåga, något läraren ser dagligen. 

Åsa Melander är inte ensam om de här tankegångarna. Internationella engelska skolan använder en variant av förädlingsvärde, Academedia en annan. 

– Vi tycker att det är viktigt att analysera vilket mervärde skolor genererar, inte minst för skolornas eget kvalitetsarbete. Genom att ta fram förädlingsvärden får man information om hur bra skolan är på att driva kunskapsutvecklingen framåt. De vanliga resultatmåtten är absoluta och tar inte hänsyn till vilka kunskaper eleverna hade med sig när de började på skolan, säger Academedias kvalitetschef Ingela Gullberg.

Min bedömning är att förädlingsvärdet bidrar till en bra analys av verksamheten. 

Precis som Åsa Melander, framhåller Ingela Gullberg att förädlingsvärde inte är någon enkel sak att mäta. 

– Så som skolsystemet, de gemensamma avstämningspunkterna och den nationella statistiken ser ut i dag krävs det i princip att varje huvudman skapar egna system, vilket försvårar jämförelser mellan skolor. 

Inom Academedia använder man förädlingsvärde enbart i gymnasieskolorna.

– Vilka resultat en gymnasieskola får beror till största delen på vilka betygsresultat eleverna hade med sig från grundskolan. Det vi gör när vi beräknar förädlingsvärdet för våra gymnasieskolor är att vi rensar för den faktorn, och
i stället enbart fokuserar på elevernas kunskapsutveckling under tiden på skolan.

Man tittar på vad eleverna hade för meritvärde när de började gymnasiet jämfört med vad de har för betygspoäng när de går ut. 

– Utifrån den skillnaden ser vi om det är ett positivt eller negativt förädlingsvärde, säger Ingela Gullberg.

Tittar ni på skolnivå eller ämnesnivå? Hur djupt kan ni gå?

– Vi har brutit ner det till programnivå. Eftersom gymnasieskolor består av olika program tycker jag att det är mer relevant att se skolan som bestående av olika programskolor. På en skola kanske naturvetenskaps- och ekonomiprogrammet har positiva värden, medan andra program har negativa. Då kan rektor närma sig lärargruppen för att tillsammans diskutera vad dessa skillnader kan bero på.

Än så länge är det mätinstrument som Academedia använder bara till för det egna kvalitetsarbetet. Tillsammans med Statistiska centralbyrån (SCB) har man resonerat kring för- och nackdelar med olika sätt att mäta. Modellen som de tagit fram, med hjälp av SCB, har visat sig fungera bättre på de teoretiska programmen än yrkesprogrammen och den fungerar bäst för den stora massan elever som befinner sig i mitten, inte de med lägst respektive högst betyg. Det blir takeffekter, elever med riktigt höga ingångsbetyg har helt enkelt svårt att prestera ännu bättre, förklarar Ingela Gullberg.

– Jag är en försiktig general, vår modell är inte perfekt men den ger en bra fingervisning om vilket mervärde våra skolor ger och varje år har vi vässat sättet att beräkna. Min bedömning är att förädlingsvärdet bidrar till en bra analys av verksamheten. 

Och många rektorer har efterfrågat det sättet att mäta, säger hon.

– Är man rektor på en skola med medelmåttiga resultat säger kanske någon, ”detta är väl inget att yvas över”. Men då vet rektorn och lärarna ”jo, för oss är det ett jättebra resultat. Vi har uträttat stordåd”.

Man anses vara en bra skola om man får alla elever att lära sig mer, oavsett utgångsläge.

Tillbaka till Åsa Melander som menar att även starka elever skulle gynnas om fokus flyttades till hur väl skolan utvecklar eleverna. 

– Ett problem när jag började jobba i utsatta Hackney var att resursstarka föräldrar inte ville att deras barn skulle gå i skolorna där. De menade att det är så många barn med låga förkunskaper att skolundervisningen inte blir tillräckligt avancerad. Den inställningen ser jag i Sverige också. Men om en skola får anledning att visa att de satsar på alla elever, oavsett förkunskaper, och lyckas med det, då blir man relevant för alla. Det vill säga, man anses vara en bra skola om man får alla elever att lära sig mer, oavsett utgångsläge. 

Frågan om att använda förädlingsvärde är inte ny. Skolverket utredde saken 2015. Bakgrunden var ett förslag om en välja skola-sajt där skolor skulle rankas utifrån sitt förädlingsvärde, värdet skulle alltså användas som ett kvalitetsmått på varje enskild skola.

Skolverkets slutsats blev att det inte var någon bra idé.

– Vi tittade på det tillsammans med både svenska och utländska forskare. Och man kom fram till att det svenska systemet inte riktigt passade för de mätförutsättningarna som man skulle vilja ha för den här modellen, berättar Christina Sandström, enhetschef på Skolverket. 

Vi såg risker med att det skulle gå att manipulera systemet.

Forskarna lyfte fram tre argument. Framför allt såg man en ökad risk för betygsinflation eftersom det i Sverige är lärarna själva som sätter betyg och rättar nationella prov – de mätpunkter som Skolverket skulle använda sig av för att ta fram ett förädlingsvärde. Andra länder som använder förädlingsvärde har ofta externt rättade examensprov. 

Även betygsskalans utformning ställer till det eftersom den har ett tak och en botten. Om en elev kommer till gymnasiet med A i alla grundskolans ämnen kan hen ändå inte få mer än A på gymnasiet och förädlingsvärdet skulle bli noll. Systemet har en del tekniska spärrar, som Christina Sandström utrycker det. 

Dessutom såg man en risk i att vissa skolenheter är väldigt små och en enskild elevs resultat skulle kunna påverka värdet i hög grad. 

Risken för betygsinflation finns väl även nu, när man till exempel jämför skolor utifrån slutbetyg? 

– Jo det stämmer, men förädlingsvärde skulle spetsa till det ytterligare. Vi såg risker med att det skulle gå att manipulera systemet. Kanske var det en lite överdriven farhåga men vi bedömde att vi inte har samma förutsättningar som andra länder som jobbar med förädlingsvärde.

Hon betonar att Skolverket inte är negativt i sak till att göra modeller av verkligheten för att hitta samband. 

– Tvärtom. Men det vi var tveksamma till här var att ha ett värde per skola – man kanske hellre skulle titta på huvudmannanivå eller nationell nivå.  

Någonstans undrar man ju om det överhuvudtaget är vettigt att ta fram mått på vilka skolor som är framgångsrika. Det verkar som man lätt hamnar i diket hur man än gör?

– Det som är svårt är att en modell aldrig kan förklara mer än de mätvärden som man stoppar in i modellen. Man kan inte mäta en bra lärare. Det hjälper kanske inte att ta reda på hur många som har legitimation – det kanske är något annat, som inte finns i våra register, säger hon. 

– Det är det som är begränsningen. Vi kan konstatera att det går olika bra på olika ställen men inte varför. Vi kan se mönster, men bara att det finns mönster – inte varför. Däremot kan en modell vara ett bra steg på vägen. Nästa steg är rota i förklaringar. Då får man göra det i en annan slags studie.