En av de största reproducerbarhetsstudierna hittills inom nationalekonomi och statsvetenskap har publicerats i Nature. Projektet leddes av Institute for Replication (I4R) och omfattade 110 artiklar från ledande tidskrifter med krav på att data och kod ska delas öppet.
– Studien ger en mer nyanserad bild än den vanliga berättelsen om att publicerad forskning antingen håller eller faller, säger Carl Bonander som tillsammans med Niklas Jakobsson, båda vid Handelshögskolan, deltagit i studien.
En central princip i vetenskapen är att resultat ska kunna kontrolleras av andra forskare. I studien undersöktes därför två frågor:
- Går det att återskapa publicerade resultat med ursprunglig kod och data?
- Står sig resultaten när man gör rimliga alternativa analysval?
Studien gäller kvantitativa artiklar publicerade 2022-2023 i ledande tidskrifter inom nationalekonomi och statsvetenskap.
Studiens huvudresultat
Beräkningsmässig reproducerbarhet
Mer än 85 procent av de granskade resultaten gick att reproducera med originalkod och originaldata. Samtidigt innehöll ungefär var fjärde studie icke-triviala kodfel.
Robusthet
När forskarna gjorde rimliga alternativa analysval på samma data förblev 72 procent av de resultat som ursprungligen var statistiskt signifikanta fortfarande statistiskt signifikanta i samma riktning.
Effektstorlekar
Medianen för effektstorleken i om-analyserna låg mycket nära originalresultaten, ungefär 99 procent av den ursprungliga effekten. Det talar för att skillnaderna ofta handlade mer om statistisk precision och signifikans än om stora förändringar i själva punktestimaten.
Erfarenhet spelar roll
De mest erfarna replikeringsgrupperna tenderade att finna lägre robusthet. Däremot såg forskarna inget tydligt samband mellan robusthet och författarnas bakgrund eller tillgången till data.
Viktig begränsning
Detta är sannolikt ett best-case-scenario. Studien omfattar topptidskrifter med starka krav på delning av data och kod, vilket innebär att resultaten troligen utgör en övre gräns för hur hög reproducerbarheten är i samhällsvetenskapen som helhet.
Bidrag från Handelshögskolan vid Karlstads universitet
Bland de över 350 medförfattarna finns Niklas Jakobsson, professor i nationalekonomi, och Carl Bonander, universitetslektor i statistik, båda verksamma vid Handelshögskolan vid Karlstads universitet. De bidrog till projektet genom att granska två av de 110 studierna.
Effekter av åldersspecifik lockdown i Turkiet (Altindag m.fl. 2022)
Originalstudien använde en regression discontinuity-design för att undersöka hur en lockdown riktad mot personer 65 år och äldre i Turkiet påverkade rörlighet och psykisk hälsa under coronapandemin. Jakobsson, Bonander och Gabriella Chauca Strand lyckades reproducera originalresultaten och testade robustheten genom att bland annat ta bort klustring av standardfel, utesluta kontrollvariabler och använda alternativa bandbreddsval. Rörlighetsresultaten var stabila, medan effekterna på psykisk hälsa var mer känsliga för metodval.
Koldioxidskatten och utsläpp i Sverige (Andersson 2019)
Originalstudien använde syntetisk kontrollmetod för att uppskatta att den svenska koldioxidskatten minskade utsläppen med cirka 11 procent under perioden 1990-2005. Jakobsson, Bonander och Naimi Johansson reproducerade originalresultaten och testade 14 alternativa specifikationer. Punktskattningarna var relativt stabila (median -0,28 ton CO2 per capita, jämfört med originalets -0,29), men den statistiska signifikansen varierade beroende på modellval.
I båda fallen bekräftades originalresultaten i huvudsak, men robusthetsanalyserna visade också att vissa resultat är känsligare för metodval än vad som framgår av de publicerade artiklarna. Det är just den typen av nyanser som det större Nature-projektet synliggör.
Niklas Jakobsson och Carl Bonander har ett pågående samarbete med Institute for Replication och deltar även i andra studier inom ramen för I4R:s verksamhet.
– Det här projektet visar att reproducerbarhet inte kan tas för given, inte ens i de bästa tidskrifterna, säger Niklas Jakobsson. Att vi som oberoende forskare systematiskt granskar publicerade resultat är avgörande för att stärka trovärdigheten i samhällsvetenskaplig forskning.
– I våra två granskningar kunde vi i stort bekräfta originalresultaten, men vi såg också att vissa resultat var känsligare för metodval än vad som framgick av de publicerade artiklarna. Det är precis den typen av nyanser som behöver komma fram. Vårt samarbete med Institute for Replication fortsätter, och vi ser fram emot att bidra till fler granskningar.
Varför är detta viktigt?
– Studien ger en mer nyanserad bild än den vanliga berättelsen om att publicerad forskning antingen håller eller faller, säger Carl Bonander. Mycket går att reproducera rent tekniskt, men det betyder inte att alla resultat är stabila när analysen granskas närmare. Samtidigt tyder resultaten inte på att effektstorlekarna generellt kollapsar vid omanalys; huvudbilden är snarare att osäkerheten ofta ökar och att färre resultat förblir statistiskt signifikanta.
– Studien understryker därför värdet av öppna data, delad kod och oberoende reproduktionsstudier, säger Carl Bonander. Det stärker både möjligheten att upptäcka fel och förutsättningarna för mer tillförlitlig samhällsvetenskaplig forskning.
Mer än 350 forskare från hela världen deltog i arbetet med studien.
