I en tid då mängden vetenskapliga publikationer ökar dramatiskt och konkurrensen om publicering är hård, är det viktigare än någonsin att fråga sig vilka forskningsresultat vi faktiskt kan lita på. Forskningen själv behöver läggas under lupp.

Anna Dreber Almenberg är professor i nationalekonomi vid Handelshögskolan och forskar om hur man kan förbättra forskningsprocessen för att öka trovärdigheten i vetenskapliga resultat. Fältet kallas metascience och har fått ett uppsving på senare år.

– Sedan jag började forska om det här för mer än tio år sedan så har medvetandet om den här sortens frågor hela tiden ökat.

Ett sätt att testa om resultaten håller är att göra så kallade replikeringsprojekt – det vill säga att göra om studierna på nytt. Anna Dreber Almenberg har gjort om en mängd experiment inom psykologi och nationalekonomi och kommer till en slående slutsats. Endast omkring hälften av resultaten replikerar, vilket innebär att den andra halvan utgörs av falskt positiva resultat, alltså fynd som inte existerar i verkligheten. Orsakerna kan vara flera.

– Som forskare tycker man att det är roligare att hitta något och där kan man lura sig själv. Det finns också en publikationshets med en förväntan att publicera resultat i ansedda tidskrifter. Dessutom noterar vi att det finns brister i statistisk träning. Rent forskningsfusk är däremot sällsynt.

Fokus på metod i stället för resultat

Det finns sätt att minska mängden falska positiva resultat. En framkomlig väg är att införa förregistrerade analysplaner. Redan innan datainsamlingen påbörjas ska forskaren tydligt definiera hur analysen ska genomföras och vilka tester som ska utföras.

– De flesta forskare är etiska människor som vill göra bra forskning. Men det är lätt att bli förälskad i sin hypotes, och det kan påverka hur man tolkar data. På det här sättet minskar risken att forskaren väljer de resultat som bäst stödjer en hypotes trots att de flesta tester inte stödjer hypotesen, säger Anna Dreber Almenberg.

Redan nu finns akademiska tidskrifter som har vänt på publiceringsformatet. I stället för att vänta på de färdiga resultaten gör de en rigorös granskning av forskningsplanen. Om planen får tummen upp så accepterar tidskriften att publicera studien oavsett resultat.

– Det blir rätt fokus för många studier, att utvärdera forskningsfrågorna och designen i stället för resultaten.

Vi lär oss hela tiden nya saker om hur vi kan förbättra våra metoder, och det är det som gör forskningen så spännande.

Variation i forskningsdesign

Valet av forskningsdesign är en viktig faktor. I ett aktuellt projekt undersöker Anna Dreber Almenberg hur utfallen kan bli så olika även när forskare arbetar med samma material.

Studien bygger på data från panelundersökningen SOEP (Socio-Economic Panel), där ett representativt urval av de tyska hushållen bidrar med information om bland annat attityder, arbetsmarknadssituation och familjesammansättning.

Forskarna ombeds bland annat studera effekten på beslutsfattande och inställning till jämställdhet av att ha döttrar relativt till söner. Tidigare forskning på kongressledamöter i USA har visat att pappor som har döttrar kan få en förändrad syn på könsroller, vilket i sin tur kan påverka deras politiska beslut.

– Det finns många sätt att analysera dessa data, och beroende på vilken forskare du frågar, kommer du nog få olika resultat.

Ett annat projekt handlar om att undersöka hur resultat från historiska studier står sig när nya data läggs till eller när analysmetoder förändras. Det kan vara relevant när det inte går att replikera ett experiment, till exempel när man vill förstå hur omvälvande historiska händelser påverkar nutiden.

– Vi kan inte återförena Tyskland igen för att testa effekter av återföreningen, men vi kan se om olika studiers resultat relaterat till återföreningen fortfarande håller när vi lägger till nyare data. Eller titta längre tillbaka – det finns studier på huruvida samhällen använde plog eller inte och relaterar historiskt ploganvändande till nutida könsnormer – och då lägger vi till mer nutida data och ser om resultaten håller.

Samarbete stärker forskningen

En framgångsväg kan också vara ett utvecklat samarbete mellan forskare. Genom att göra stora, gemensamma studier kan man uppnå högre statistisk styrka och en bättre möjlighet att generalisera resultaten.

– I stället för att en liten specifik studie säger något intressant men inte så robust, kan vi med större studier och fler forskare säga något som blir mycket mer pålitligt.

Vi lever i en tid när sanningsbegreppet ofta debatteras, och det gör den här forskningen extra meningsfull, säger Anna Dreber Almenberg.

– Risken finns att allmänheten börjar misstro även forskningen och att vi får en debatt om ”fake science”. Men våra resultat tyder ju på att det inte är något fel med den vetenskapliga metoden. En viss andel falska positiva resultat är oundvikligt, men en så hög andel som vi ser kan man göra något åt, och det går att påskynda processen för att få bort falska positiva resultat från den vetenskapliga litteraturen. Det är viktigt att människor och organisationer kan fatta beslut som bygger på tillförlitlig forskning.

Text Nils Johan Tjärnlund
Bild Magnus Bergström