Steg 6: Att utvärdera forskningsresultat
När forskning ska utvärderas har kvantitativa metoder historiskt sett varit viktiga. I första hand har stor vikt lagts vid bibliometriska metoder, det vill säga att mäta publiceringsvolymer och antalet citeringar för publikationerna. Under senare år har sådana metoder dock varit omdebatterade, vilket har lett till en pågående reformering av utvärderingssystemet som innefattar en uppvärdering av fackgranskning (peer review) som analysmetod, och ett mer försiktigt användande av kvantitativa metoder. Bekanta dig med den utvärderingsmodell som gäller för den finansiär du söker medel hos, för att förstå hur olika aspekter värderas.
CoARA
Flera stora forskningsfinansiärer har skrivit på den så kallade CoARA-överenskommelsen. CoARA står för Coalition for Advancing Research Assessment, ett initiativ som mer än 300 organisationer från 40 länder samarbetade kring och som lanserades år 2022. Ambitionen med CoARA är att reformera forskningsutvärderingen, så att fler forskningsaktiviteter blir meriterande och för ökad transparens och rättvisa i forskningsutvärdering. Bland annat sägs i CoARA att aktiviteter som undervisning, ledarskap och handledning ska ges större erkännande än förut, och vid bedömningar av enskilda forskningsprojekt ska även aktiviteter som att tidigt och öppet dela forskningsdata eller olika bidrag till samhällsnytta vara premierande. Sammantaget omfattar CoARA tio övergripande principer som ska vara vägledande för de organisationer som skrivit på.
Bibliometri
CoARA understryker vikten av ett ansvarsfullt användande av bibliometri, och vill tona ner betydelsen av bibliometriska mått som Journal Impact Factor och h-index. Eftersom sådana och andra bibliometriska mått dock fortfarande används ges nedan en kort introduktion till vad bibliometri går ut på.
Bibliometriska analyser syftar till att ge underlag för att förstå hur forskning produceras, organiseras, samt hur samverkan kring forskning sker. Analyser av publikationer kan göras på individnivå, av forskargrupper, lärosäten, eller länder. För det mesta är citeringar ett viktigt mått i analyserna, på grund av att de betraktas som ett kvalitetsmått. Citeringar visar hur stort genomslag en viss publikation fått. Utgångspunkten är att ju fler citeringar en publikation fått, desto högre kvalitet anses den ha. Citeringsanalyser kan också visa vilka tidskrifter, organisationer och länder som har stort genomslag inom olika forskningsfält.
För dig som forskare kan synligheten för din forskning öka om den finns med i databaser som används vid bibliometriska analyser. Databaser som ofta används för bibliometriska analyser är Web of Science och Scopus.
Journal Impact Factor
Journal Impact Factor har varit ett använt mått för att mäta och ranka tidskrifters popularitet. Måttet ger en sammantagen bild av hur ofta en tidskrifts artiklar citeras. För tidskrifter har det blivit viktigt att försöka få en så hög impact factor som möjligt för att öka tidskriftens prestige och för att attrahera forskare. Därför har måttet också missbrukats på en mängd olika sätt. En tidskrifts officiella impact factor är den som är kopplad till databasen Web of Science, men andra databaser kan använda liknande mått.
H-index
Forskningsfinansiärer ber ibland sökande att skicka in sitt h-index. H-index är ett mått som mäter en författares produktivitet och citeringsgenomslag. H-index utgår från författarens mest citerade publikationer, som ställs mot antalet citeringar författaren fått på andra publikationer. H-index kommer att vara olika i olika databaser, eftersom innehållet i dem kan skifta. Om du behöver uppge ditt H-index i en ansökan, kom därför ihåg också ange vilken databas som använts.
Altmetri
Begreppet altmetri är en sammansättning av orden ”alternative” och ”metrics”. Altmetri är ett sätt att mäta forskningens genomslag på ett annat sätt, eller som ett tillägg till bibliometri. Även om altmetri främst är tänkt för tidskriftsartiklar, används det också för att mäta genomslaget för forskare, tidskrifter, böcker, dataset, presentationer, videor, programkod, webbsidor och mycket annat.
Altmetri kan användas för att mäta vilket genomslag en tidskriftsartikel fått i världen utanför akademin, till exempel genom att beräkna hur många nedladdningar den fått eller omnämnanden i sociala- och nyhetsmedia.
För tillfället används inte altmetri av regeringen eller Karlstads universitet för att fördela forskningsmedel. För forskare kan det dock vara intressant att följa hur publikationerna cirkulerar inom och utanför akademin. Av den anledningen använder vår publikationsdatabas DiVA altmetri från företaget Altmetrics för att visa hur stort genomslag forskningen får i sociala medier.