Attityder och kulturella skillnader påverkar

Av de stora internationella skolundersökningarna är OECD:s Pisa den som har störst politisk betydelse. Den uppfattas av många som ett slags VM i skola för världens rikaste länder. Ett gott resultat är en bekräftelse på att ett lands utbildningssystem är bra, att landet är en kunskapsnation att räkna med. De till synes exakta tabellerna och kurvorna antyder en naturvetenskaplig objektivitet.

– Listlogiken är förförande. Pisa-mätningarna ger ett intressant och viktigt underlag för att bedöma utvecklingen i skolan. Samtidigt bör vi vara kritiska till hur resultaten tolkas och används och vilka slutsatser som dras. Den här typen av internationella kunskapsmätningar ger en slags flygbild över landskapet.

Vi får på systemnivå en överblick av hur eleverna presterar, säger Daniel Sundberg som är docent i pedagogik vid Linneuniversitetet i Växjö.

– Däremot går det inte att dra slutsatser om hur exempelvis mattelärare bör undervisa för att vi ska rätta till våra dåliga resultat i matematik. För att kunna avgöra det måste vi in i klassrummen.

Sveriges Kommuner och Landsting (SKL) har dragit igång ”Pisa 2015”, med målet att Sverige i nästa Pisa-undersökning ska placera sig bland de tio bästa OECD-länderna.

Satsningen kan ses som ett exempel på hur internationella kunskapsmätningar mer och mer liknar tävlingar. Magnus Oskarsson, lektor i didaktik vid Mittuniversitetet och projektledare för Pisa i Sverige, vänder sig mot beskrivningen av undersökningen som en tävling mellan länder.

– Omvärldsbevakning är jätteviktigt. Den gör att vi lättare förstår vad vi själva håller på med och kan lära av andra som gör bra saker. Den gör också att vi upptäcker förhållanden som inte är så lätta att få syn på med egna studier, till exempel att vi har problem med det svenska skolsystemet. Resultaten sjunker samtidigt som skillnaden mellan skolor och elever ökar. Skolan blir mindre likvärdig.

Påverkar Pisa undervisningen?
– Det är inte meningen att undervisningen ska inriktas på vad Pisa mäter. Samtidigt vet vi att den har påverkat. Pisa är en urvalsundersökning, vilket bland annat innebär att det finns en statistisk osäkerhet i resultaten. Även om ett lands medelvärde är högre än ett annat lands, är det inte säkert att resultatet verkligen speglar exempelvis läsförmågan hos ländernas 15-åringar.

Svend Kreiner, professor i statistik vid Köpenhamns universitet, menar till och med att Pisa-undersökningen gjort mer skada än nytta.

– Det finns så stora statistiska felmarginaler i undersökningen att ett land kan komma olika högt i rakning beroende på hur man räknar.

I den officiella Pisa-rankningen i läsförståelse 2006 kom till exempel Danmark på 17:e plats. När Svend Kreiner beräknade provresultaten på alternativa, men statistiskt godkända, sätt hamnade Danmark på antingen 3:e eller 42:a plats.

– Våra alternativa listor är egentligen inte heller så bra. Men de visar hur svårt det är att mäta.

Att Pisa-statistiken är svårtolkad beror enligt Svend Kreiner dels på bortfall och urvalsmetoder, dels på vilka frågor som ställs. Uppgifter som är svåra i ett land kan av kulturella och historiska skäl uppfattas som enkla i andra.

– Det är olyckligt när politikerna lägger stor vikt vid en statistiskt osäker undersökning. Danmark och många andra länder formar sin utbildningspolitik utifrån Pisa. Jag anser att den danska skolan inte alls är så dålig som det påstås. Det är kanske inte den svenska heller är, säger Svend Kreiner.

För några veckor sedan avslöjades allvarliga misstankar om fusk i tidigare Pisa-undersökningar. Fusket gällde dock inte elevernas resultat, utan deltagande rektorers enkätsvar. Det är information som används för att sätta elevernas kunskapsresultat i ett sammanhang, till exempel när det gäller likvärdighet, huvudmannaskap, undervisningsformer och lärartäthet.

Det har under flera år även cirkulerat rykten om att en del länder inte låter svagpresterande elever delta i Pisa för att få bättre resultat i undersökningen.

Ett sådant rykte gäller Finland.

– En viss andel elever får undantas, men det är samma regler för alla. Jag har frågat mina finska kollegor om de utesluter fler än vad reglerna tillåter. Det gör de inte. Vid något tillfälle har däremot Nederländernas och Storbritanniens resultat strukits eller fått en anmärkning i undersökningen på grund av att man inte uppnått tillräckligt hög svarsfrekvens, säger undervisningsrådet Anita Wester på Skolverket.

Enligt Magnus Oskarsson är Pisa förmodligen den mest kontrollerade och övervakade internationella skolundersökningen som finns.

– Det är väldigt noga att alla kriterier följs, till exempel när det gäller vilka elever och skolor som deltar och vilka som inte deltar. OECD har speciellt inhyrda kontrollanter som åker runt och undersöker att allt går till som det ska.

– Det är dock svårt att göra internationellt jämförbara undersökningar, bland annat beroende på att urvalet kan skilja lite mellan länderna. Men som jag ser det är utvecklingen för svensk del tydlig.

Nämligen?
– De svenska elevernas resultat faller trendmässigt, oavsett utvecklingen i andra länder. Att inte ta det på allvar vore ett stort misstag. Vi har gjort jättemycket med vårt skolsystem under de senaste 20 åren. Dessvärre är inte resultatet så roligt.

Enligt Astrid Pettersson, professor i pedagogik med inriktning mot utvärdering och matematikämnets didaktik vid Stockholms universitet, råder det inte någon tvekan om att svenska elevers skolresultat sjunker i internationell jämförelse. Men det är inte hela förklaringen till Sveriges låga placering i Pisa.

– Kulturella skillnader mellan länderna har viss betydelse. Under Pisaproven är eleverna instängda under två timmar. De får inte lämna lokalen och inte fråga om något. Svenska prov börjar ofta med de lättaste uppgifterna. Så är det inte i Pisa. I den kan de svåraste uppgifterna komma först. Allt detta är exempel på villkor som är ovanliga för svenska elever, vilket kan framkalla stress och påverka resultaten.

För eleverna är det frivilligt att delta i Pisa. Vill eller kan de inte svara på en fråga är det bara att hoppa över den.

– I Sverige är det en relativt stor andel elever som lämnar uppgifter obesvarade. I framgångsrika Pisa-länder som Sydkorea och Finland gör eleverna i princip alla uppgifter. I Sydkorea kan dessutom rektorerna inför proven samla deltagande elever och förklara att testet handlar om nationens stolthet och att det är viktigt att alla presterar bra. Det sker inte i Sverige, säger Astrid Pettersson.

Resultaten i Pisa är anonyma på elevnivå och inte betygssättande, vilket enligt docent Daniel Sundberg också kan påverka resultaten.

– Forskning visar att svenska elever agerar utifrån hur mycket som står på spel. Tror de att ett prov påverkar betygen kämpar de och försöker svara på allt. Vet de att resultatet inte påverkar betygen, är det många som inte bryr sig.

Det är inte bara elevernas inställning till Pisa som varierar, utan också vilken årskurs de går i när de gör proven. Pisa mäter 15-åringars kunskaper. Vid vilken ålder barnen börjar skolan skiljer mellan de deltagande länderna, en del kan ha gått åtta år i skolan när de skriver proven, andra kan ha gått elva år.

– Det är ett metodproblem som det inte går att bortse ifrån. Tester visar att ett extra år i skolan har betydande effekt på bland annat läsförmågan, säger Daniel Sundberg.

Kan då den svenska skolan komma tillbaka till toppen?
– Absolut. På 1960- och 1980-talet låg svenska elever långt efter i matematikkunskaper internationellt sett. Då gjordes det en rejäl satsning, vilket bland annat gav resultat i internationella och nationella undersökningar. Vi borde kunna göra samma sak igen. Men då krävs det bland annat en satsning på lärarna och deras arbetsförhållande.