Kognitiv bias och bedömning av vetenskaplig kvalitet : En analys av nationell klassificering av vetenskapliga tidskrifter i Finland

Abstract

Inom vetenskaplig forskning används kollegial granskning eller peer review för att bedöma kvaliteten på bland annat tidskrifter, forskningsanslag samt vetenskapliga texter och ansökningar. Den kollegiala granskningsprocessen har blivit utsatt för kritik och hävdats vara otillräcklig. Tidigare forskning tyder på att granskare kan influeras av faktorer som påverkar värderingen av vetenskapligt material. Till dessa faktorer hör kognitiva biaser såsom ingruppsbias, som kan uppstå då en person värderar fenomen som hen har varit i kontakt med tidigare högre än obekanta fenomen.

I Finland ansvarar det nationella Publikationsforumet (Julkaisufoorumi, JUFO) och dess kommittéer för den kollegiala granskningen av vetenskapligt material. Syftet med denna avhandling var därför att undersöka om JUFO-kommittémedlemmars egna forskningsprofiler påverkade deras klassificering av vetenskapliga tidskrifter, således om det förekom ingruppsbias under bedömningsprocessen. Detta mättes genom att undersöka om kommittémedlemmar som hade publicerat i en tidskrift tenderade att värdera tidskriften högre än andra. I avhandlingen undersöktes även eventuell variation i bias inom naturvetenskaper, bio- och hälsovetenskaper, samhällsvetenskaper och humanistiska vetenskaper. Detta undersöktes genom att såväl jämföra kommittéklassificeringen med ett objektivt jämförelsemått (Impact Factor) som genom ett subjektivt frågeformulär som JUFO kommittémedlemmarna ombads svara på.

Resultaten från denna avhandling tydde på att ingruppsbias förekom i någon mån vid klassificeringen av tidskrifter i Finland. Samhällsvetenskaper använde sig mest av Impact Factors under bedömningsprocessen. Effekten av antalet kommittémedlemmar som hade publicerat i en tidskrift på JUFO-klassificering var däremot signifikant störst inom samhällsvetenskaper i jämförelse med de andra ämnesområdena. Kommittémedlemmarnas åsikter om utvärderingsprocessen var varierande och bestod av både positiva och negativa synpunkter om JUFO-systemet. Resultaten bör tolkas med försiktighet då samplen var begränsade och skillnaderna mellan grupperna var relativt små.