Forskning är inte alla gånger forskning

Det här inlägget är lite längre än vanligt. Det rör en viktig fråga kring hur skolpolitik förs i Sverige och hur debatten sker och frågor kring källkritik och vad som får kallas forskning.

Svenska lärare arbetar med att lära barn och ungdomar vikten av källkritik. Något som blir allt viktigare med den utveckling vi ser inom medievärlden. Det hade ju då varit snyggt om den vuxenvärld som vi utbildar till också då ibland visade exempel på grundläggande källkritik (vilket kan vara svårt – vilket jag själv vet).

Innan jag kommer in på ämnet vill jag förklara ett par saker. Jag är inte emot friskolor och definitivt inte alls emot de som varje dag arbetar i sådana. Jag har genom åren arbetat med en mängd fantastiska människor som arbetat på friskolor och i deras organisationer. Jag handleder nu till exempel ett gäng rektorer inom Pysslingen skolor, ett uppdrag som jag ser som ett hedersuppdrag på grund av den skicklighet och engagemang som dessa uppvisar.

Men jag känner naturligtvis också fantastiska lärare och ledare på kommunala skolor och inom kommunala förvaltningar. Jag brukar säga att alla som jobbar i skola och tar sitt uppdrag på allvar är mina vänner. Men jag är ändå ytterst tveksam till det skolsystem vi har, som är det mest extrema experimentet med marknadslösningar någonstans i hela världen. Och effekterna av det menar jag avskräcker. Olikvärdigheten och segregationen galopperar och kunskapsresultaten har sjunkit kraftfullt. Alltså jag är emot systemet men inte mot duktiga skolmänniskor!

Så till saken:

Ett påstående från mig som var ett svar på ett twitterinlägg från en känd skoljournalist väckte viss irritation, bland annat hos Friskolornas riksförbund och från en av dem som skrivit en rapport. En rapport som utger sig för att visa att svenska friskolor är bättre än svenska kommunala skolor i PISA-studierna. Jag skrev på Twitter: ”Är det bomber när tobaksindustrin släpper rapporter om lungcancer också?”. Rapportförfattarna och Friskolornas riksförbund (vilket som bekant är de vinstdrivande skolornas riksförbund, de idéburna har ett eget) anklagade mig för att jag inte betedde mig som en forskare borde. De menade att min kritik inte var saklig eftersom jag inte kommenterade själva rapporten utan bara dess avsändare.

Jag håller inte med. Men jag ska för deras skull i slutet av den här texten också kritisera själva rapporten. Både inom journalistisk källgranskning och inom forskning är det viktigt att fundera över jävsförhållanden, alltså över vem avsändaren är och om denne är någon som kan tjäna på publiceringen. Om det till exempel finns tydliga ekonomiska intressen bakom bör man vara mer försiktig med resultaten så klart. Precis som det klassiska exemplet med forskning om cancer som sponsrades av tobaksindustrin. I det här fallet handlar det om en rapport som presenteras som forskning. Jag återkommer som sagt till det men låt oss först titta på avsändaren.

Rapporten publiceras av något som kallas ECPR. Man behöver inte mer än en snabb titt på deras hemsida för att se att det är en organisation som bedriver opinionsbildning för marknadsmodeller och mot till exempel vinstbegränsning och med en tydlig riktning mot den svenska debatten. Det är heller ingen stor organisation. Medgrundaren och vice direktör är Gabriel Heller Sahlgren som är en doktorand som är väldigt aktiv i den svenska skoldebatten och ofta (alltid?) med inspel som tydligt stödjer marknadsmodeller. Detta är inte så konstigt för på ECPR:s hemsida framgår det med all önskvärd tydlighet att Sahlgren också är knuten till tankesmedjan CMRE (Centre for the Study of Market Reform of Education) där han är ”forskningsansvarig”.

CMRE är inte en oberoende fristående forskningsorganisation. De har ett mycket tydligt och uttalat mål med sin verksamhet. De skriver: ”We believe that the main problem in education is the lack of incentives to improve pupil performance. We also believe that the incentive structure cannot be fundamentally changed for the better without a move towards a more market-based education system that gives parents the freedom to choose the education that best suits their children, and providers autonomy to tailor their services in response to demand.” Alltså de tror inte att skolan kan bli bättre om man inte rör sig mot mer marknadsinslag inom skola och utbildning. CMRE är alltså en organisation som har som mål att få mer marknad och medlet för detta är naturligtvis bland annat de rapporter de producerar. Så här långt tycker jag att en erfaren journalist med lång erfarenhet från bevakning av skolsektorn borde ha tittat, vilket var anledningen till mitt twitterinlägg riktat till honom. Jag tycker han borde veta bättre.

Men en annan anledning till mitt twitterinlägg är också Svenskt Näringslivs tidigare trackrecord när det gäller saklighet. Jag har skrivit om detta här tidigare. Jag har också i min bok om korruption beskrivit hur de under lång tid behöll en rapport på sin hemsida som skulle visa att friskolor hade bättre resultat än kommunala skolor. Detta trots att rapportförfattaren själv gång på gång försökte få dem att ta bort eller ändra i rapporten eftersom den inte på ett korrekt sätt tog hänsyn till bakgrundsvariabler.

På samma bedrägliga sätt agerade de kring den sk. Östersundsstudien där två identiska äldreboenden byggdes som ett kvasiexperiment där det ena drevs i kommunal regi och det andra i privat. Detta presenterades av bland annat Svenskt näringsliv som en forskningsstudie och skulle enligt dem visa att kvaliteten blev densamma men kostnaderna lägre för det privata alternativet. Problemet var bara att det inte var en forskningsstudie. En i början påstådd koppling till Karolinska institutet gick till exempel upp i rök när institutet tog avstånd från studien. Den sista spiken i kistan kom när det nu visar sig att efter att studien är klar och den privata koncernen tar ut vinst så visar sig konsekvenserna. Det finns en oerhörd naivitet och brist på källkritik bland både media och politiker i förhållande till dessa så kallade ”forskningsprojekt” och rapporter som skapas av lobbyister med tydliga agendor och som är backade av organisationer som har mycket att tjäna på ”rätt” politiska beslut.

Men så till själva sakfrågan. Är rapporten bra? Stämmer slutsatserna? Låt oss börja med frågan om det överhuvudtaget är forskning. Ett av de kvalitetskrav som finns inom forskning är det man kallar kollegagranskning. Detta innebär att man låter kollegor inom fältet läsa igenom det man skrivit och en vetenskaplig tidskrift släpper helt enkelt inte fram en rapport som inte gått igenom en sådan granskning och där författarna har bemött den kritik som de kan ha fått. Vad jag kan se har den här rapporten inte genomgått någon sådan granskning. Det här är viktigt eftersom det inte är lätt för en inte insatt person att hitta eventuella fel i databehandling eller i den metod man använt. Vi som inte är experter på ett område behöver helt enkelt andra experter för att hitta felen i det som presenteras.

När det gäller metoder finns det ingen beskrivning av metoderna de har använt så att man kan bedöma kvaliteten, vilket också är ett krav på en vetenskaplig publicering. De beskriver att de stoppat in olika variabler i sin analys men de gör det utan att på ett acceptabelt sätt förklara varför de har valt just dessa. Man undrar vad som skulle hända om man stoppar in andra än dem de har valt. Med tanke på den tydliga avsändaren väcks misstanken att man helt enkelt har provat med olika variabler till dess man har hittat det utfall man vill ha.

Så verkar utan tvekan vara fallet med en av de variabler som de väljer att ha med, nämligen utländsk bakgrund. Där skriver de: ”Samtidigt har fristående skolor också en något högre andel elever med utländsk bakgrund.” Redan här skulle de om de var forskare inse att deras metod inte går att använda för att säga något om Sveriges skolor på det dataunderlag de valt. PISA: underlag är helt enkelt för litet för att mäta skillnaden mellan fristående skolor på ett säkert sätt i ett enskilt land och det visar sig också här. I hela landet är andelen utrikes födda mycket högre i kommunala skolor. Urvalet av friskolor är alltså inte typiskt för landet som helhet. Det är också så att i det urval som skett till PISA så har de utländska eleverna en högre socioekonomisk status än genomsnittet vilket också är väldigt otypiskt för den gruppen nationellt sett. Och det är det som antagligen är anledningen till deras resultat.

Det ser helt enkelt ut som om man har letat efter variabler som ger signifikans. Det är så att en vanlig gräns inom statistik för signifikans är 0,05 % vilket innebär att bara en gång på tjugo så förklaras utfallet av slumpen. Men det är viktigt att det också innebär att om man har 20 sådana test med olika variabler så börjar sannolikheten för att man slumpmässigt ska hitta ett signifikant i en av dem närma sig 1. Det är därför det är av yttersta vikt att veta varför de har valt de variabler de har valt och vad som händer om man väljer andra.

Eftersom man inte har använt en neutral metod eller redovisar utfall med andra variabler och använder tveksamma variabler kan man helt enkelt inte säga som de gör att: ”Det kan däremot fastslås att elever i fristående skolor generellt presterar bättre än elever i kommunala skolor i PISA även när hänsyn tas till en rad andra relevanta variabler, inklusive socioekonomisk bakgrund och utländsk bakgrund.” För att sammanfatta tydligt: I det fallet litar jag mer på PISA-systemets egna analyser (som inte visar på någon skillnad mellan privata skolor och offentliga) än på en undersökning med fritt valda variabler från aktivister med en tydligt uttryckt målsättning bakom sin verksamhet.

Man gör också andra felaktiga jämförelser som inte skulle gå igenom en kvalificerad läsning som till exempel när man avslutar en jämförelse med forskning från Stockholms universitet med:

”Samtidigt finner de att elever i fristående gymnasieskolor presterar något sämre på̊ externt rättade nationella prov, jämfört med elever i kommunala skolor. Eftersom vi tvärtom finner att elever i fristående skolor presterade bättre i PISA 2012 än elever i kommunala skolor, indikerar allt sammantaget att skolsystemets design i sig kan vara viktig för hur fristående aktörer presterar mer generellt.”

Man kan inte jämföra äpplen och päron på det här sättet. Framför allt eftersom fristående skolor på grundskolan har en stark positiv segregation – det vill säga har en stor övervikt för barn från socioekonomiskt starka hem, medan det motsatta sant inom gymnasieskolan. Man skulle kunna fortsätta så här men jag tror jag har visat Friskolornas riksförbund med flera att det finns också andra sakliga skäl än avsändaren för att ifrågasätta rapporten, både dess metodik, påstådda status av forskning och dess resultat. Det jag har visat så här långt är något som en kollegagranskning inte skulle släppa igenom på ett forskningsseminarium och än mindre för publicering i en bra vetenskaplig tidskrift.

Jag har träffat en del ledande företrädare för svensk industri, framförallt inom tekniksektorn, i olika sammanhang. Jag har upplevt dem som väldigt intelligenta, kompetenta och påfallande trevliga människor. Det jag inte kan förstå är varför de låter sin organisation Svenskt Näringsliv bedriva den här typen av populistiska kampanjer på felaktiga underlag. Är pengar viktigare än andra värden i samhället, värden som rationalitet, ärlighet och ytterst demokratin och det goda samhället?

Kommentera
kornhall_gra2
Per Kornhall

Här bloggar författaren och skolexperten Per Kornhall om skola och skolutveckling.

Per Kornhalls bok ”Barnexperimentet” fick stor uppmärksamhet för sina kritiska slutsatser om utvecklingen av den svenska skolan. Hans senaste böcker är ”Lärare – En handbok”, ”Omstart för skolans digitalisering” samt ”När skolan blev marknad. Trettio år med friskolor”.

LÄRARNAS RIKSFÖRBUND

Box 3529
103 69 Stockholm
Sveavägen 50

SKOLVÄRLDEN

Box 3265
103 65 Stockholm