Debatt

Debatt

Publicerad den

Uppdaterad den

Debattreplik: Den gemensamma diskussionen är minst lika viktig som betygen

Vår betygsskala är en av flera viktiga delar i processen för bedömning av ansökningar. Men minst lika viktig är diskussionen och bedömningen på beredningsgruppsmötet. Det skriver huvudsekreterare Mattias Marklund och avdelningschef Lucas Pettersson vid Vetenskapsrådet i en replik på debattinlägget ”Vetenskapsrådet borde ändra sitt betygssystem” i tidningen Curie.

Daniel Waldenström skriver i Curie att Vetenskapsrådet bör ändra sitt betygssystem och föreslår ett antal förbättringar. Vetenskapsrådet ska stödja forskning av högsta vetenskapliga kvalitet inom alla vetenskapsområden och se till att svensk forskning förnyas. För att lyckas med detta lägger vi stor vikt vid att processen för att bedöma ansökningar är systematisk och håller hög kvalitet. En viktig del i denna process är den betygsskala vi använt sedan 2012. Den togs fram efter en grundlig analys som byggde påomvärldsbevakning, bred förankring och undersökningar av hur olika skattningsskalor fungerar.

Ansökningarna håller generellt mycket hög kvalitet

Merparten av de ansökningar som skickas in håller mycket hög kvalitet. De anses normalt sett vara just ”mycket bra” eller bättre, för att använda begreppen i betygsskalan. Vi har endast möjlighet att finansiera en liten del av alla högkvalitativa projekt som föreslås. När betygsskalan skapades var det därför centralt att den designades för att kunna särskilja mellan de ansökningar som håller hög kvalitet i olika hög grad. Att särskilja mellan svaga ansökningar har det aldrig funnits behov av.

För att illustrera detta återges nedan statistik över betygsättningen av projektbidragsansökningar inom området naturvetenskap och teknikvetenskap för år 2022.

Graf som visar hur enskilda bedömare sätter betyg

Fördelning av betyg för kriterierna vetenskaplig kvalitet, nytänkande och originalitet samt sökandes kompetens för projektbidrag (PG) och etableringsbidrag (SG) för ansökningar inom naturvetenskap och teknikvetenskap 2022. Fördelningen av sammanfattande betyg för alla ansökningar inom dessa bidrag indikeras med den svarta streckade linjen. Bild: Vetenskapsrådet

Det kan finnas en risk att en asymmetrisk skala blir mer svårtolkad. I den utbildning som ledamöter och ordförande i beredningsgrupperna får inför granskningen varje år är vi därför måna om att förklara hur skalan ska användas. Här kan vi säkert bli ännu bättre. När vi har ställt frågor om betygsskalan i enkäter till våra granskare, vilket vi med jämna mellanrum gör, har dock svaren visat att över 80 procent av granskarna inom humaniora och samhällsvetenskap – och över 90 procent inom medicin och hälsa samt naturvetenskap och teknikvetenskap – instämmer helt eller delvis i att betygsskalorna är lätta att använda. Att särskilja mellan svaga ansökningar har det aldrig funnits behov av.

Rangordningen ligger till grund för sållning

Betygssättningen är bara ett av flera verktyg i beredningsprocessen. För att kunna hantera problemet med att skalstegen kan tolkas olika av olika granskare, ett problem som finns med alla skalor, ska granskarna inom nästan alla utlysningar inte bara sätta betyg utan även rangordna de ansökningar de har granskat. Denna rangordning är ett viktigt moment i kalibreringen av betygen och helt central när ett sållningsförslag tas fram. En sammanställning av den individuella betygssättningen tas också fram inför sållning, så att hänsyn kan tas till eventuella skillnader i hur betygsskalan används av olika granskare. Anledningen till att vissa ansökningar sållas är att det ska finnas tillräckligt med tid för att diskutera de ansökningar som håller högst kvalitet och har en realistisk möjlighet att bli beviljade.

Diskussion viktigare än sifferexercis

Den diskussion om ansökningar som sker vid beredningsgruppsmötet är ett viktigt inslag i peer review-processen. De betyg som enskilda granskare har satt inför mötet är endast ett av flera underlag. Minst lika viktiga är de preliminära kommentarer som granskarna skrivit och, framförallt, den gemensamma diskussion och bedömning som görs vid mötet.

Fokus för beredningsgruppens diskussion är kvaliteten i de aktuella projekteten – styrkor och svagheter – inte preliminära betyg. En mer detaljerad betygsskala, med fler skalsteg eller fördefinierade algoritmer för hur ett sammanfattande betyg ska räknas fram, riskerar att leda diskussionen fel och fokusera mer på siffror än på kvalitativa aspekter. När vi ber externa granskare utanför beredningsgruppen att lämna ett omdöme, vilket vi gör om det saknas en särskild kompetens, ber vi dem därför att undvika att ge betyg. När vi instruerar våra granskare trycker vi också på att de fyra baskriterierna inte alltid fångar upp alla aspekter av kvalitet. Det, kan även finnas andra viktiga aspekter som de bör beakta och dessa måste kunna återspeglas i den sammanfattande bedömningen av ansökan.

Vi ser kontinuerligt över processen för utlysning och bedömning för att säkerställa hög kvalitet. Just nu gör vi en översyn av våra bidragsformer. Resultatet skulle kunna leda till att vi även ser över vårt betygssystem. Hur det i så fall skulle kunna förändras är en öppen fråga. De diskussioner om en ändring av betygssystemet som har förts hittills har dock snarare lyft fram ett behov av att ta bort ett av de låga betygen, till exempel att slå ihop 1 och 2, än att skapa en skala med fler betygssteg.

Att göra förändringar i väletablerade system kräver viss försiktighet, eftersom det påverkar systemets stabilitet. En oförändrad betygsskala ger också möjlighet till jämförelser över olika år. Våra uppföljningar visar dessutom att de flesta av våra granskare är nöjda med nuvarande betygsskala.

Mattias Marklund, huvudsekreterare för naturvetenskap och teknikvetenskap, Vetenskapsrådet

Lucas Pettersson, chef för avdelningen för forskningsfinanisering, Vetenskapsrådet

Publicerad den

Uppdaterad den

Mer inom samma ämne

  1. Så går bedömningen till

    När du söker bidrag från oss bedöms din ansökan av aktiva forskare med hög sakkunskap inom relevant forskningsfält. Vi har tydliga riktlinjer för arbetet och utvärderar processen kontinuerligt. Bedömningen ska hålla hög kvalitet och genomföras på ett...

  2. Är bedömningen av ansökningar jämställd?

    Vetenskapsrådet har genomfört jämställdhetsobservationer vid de möten där forskningsansökningar bedöms. Vi använder observationerna för att följa upp vårt eget arbete och säkerställa en jämställd bedömningsprocess.

  3. En jämställd process: En kvalitativ undersökning av bedömningen av forskningsbidragsansökningar 2023

    Under en följd av år har Vetenskapsrådet byggt upp kunskap om hur arbetet för ökad jämställdhet i samband med forskningsfinansiering kan bedrivas. Ett verktyg som myndigheten använder är jämställdhetsobservationer. Observationerna syftar till att ut...