Granskningssystemets akilleshäl
Det ingår också i beredningsgruppens uppgift att avge skriftliga yttrande för alla ansökningar. Syftet med yttrandet är att förmedla beredningsgruppens uppfattning om ansökan. Yttrandet kan dock aldrig förmedla hela den diskussion som lett fram till ansökans slutliga rangordning eftersom man i diskussionen jämför olika ansökningar med varandra. Det är därför en inneboende svårighet att i yttrandet, som ju bara relaterar till en viss ansökan, beskriva hela orsaken till t.ex. ett avslag.
Jag har full förståelse för om många uppfattar de yttranden som vi nu skickat ut till de sökande som "intetsägande" och i vissa fall är de verkligen så att de som fått i uppdrag att förmedla beredningsgruppens åsikt om ansökan inte lyckats fullt ut med detta. Vi ska naturligtvis fortsätta att arbeta med kvalitetssäkring av våra yttranden, och förslag på åtgärder mottages tacksamt. Jag är dock rädd för att vi aldrig kan komma till en nivå på yttranden där alla sökande får den återkoppling som önskas. Det kan heller inte vara målsättningen för yttranden att de ska vägleda sökande i sin fortsatta forskning, en framgångsrik forskare hittar själv sin väg mot högsta vetenskapliga kvalité.
Sven Stafström är huvudsekreterare för naturvetenskap och teknikvetenskap, professor i beräkningsfysik vid Linköpings universitet och styrelseledamot i NordForsk. Sven har tidigare varit prefekt för Institutionen för teknik- och naturvetenskap samt föreståndare för Nationellt superdatorcentrum (NSC), båda vid Linköpings universitet
Box 1035, 101 38 Stockholm
Telefon: 08-546 44 000
Fax: 08-546 44 180
Org nr: 2021005208
Fakturaadress:FE 57, 833 83 Strömsund
”Kvantitativa mått som h-faktorer eller citeringar är kvantitativa och inte objektiva mått, och mäter inte kvalitet men mycket annat, framförallt en forskningsfältets storlek. ”
That is true, but only to a limited extent. For example, the “Crown indicator” is the FIELD NORMALISED citation score, hence it is, by its very definition, independent from the size or type of field.
Also: I have seen researchers with an H-index over 30 getting a score “3”. I’m sorry, but I assume that a person with such high citation score is more than just “good”, and I think that this type of score for such person is on the edge of an insult.
I can understand that you do not want to rank people only on the base of citation scores alone, but I think one should, as a bare minimum, at least comment on the discrepancy between a high citation score and a low VR marking.
Ett steg att förbättra processen skulle vara om de som skriver yttranden visste exakt om en ansökan fick avslag eller inte, det vet de personer nämligen inte alltid, och just när ansökningar ligger på gränsen är det då omöjligt att skriva bra yttranden.
Dessutom är det tyvärr så att pengarna inte räcker för att alla ansökningar som förtjänar det får pengar.
Och det är kanske viktigt att klargöra att det inte finns något som objektiva mått av kvalitet. Kvantitativa mått som h-faktorer eller citeringar är kvantitativa och inte objektiva mått, och mäter inte kvalitet men mycket annat, framförallt en forskningsfältets storlek. De har en möjlig funktion inom ett mycket litet fält,m men beredningsgrupperna täcker så stora ämnen att alla dessa mått inte fungerar för att ranka ansökningar. Och de som sitter och försöker göra ett bra jobb vet om ansvaret och ter det inte så lätt.
Systemet har flera fördelar framför det nuvarande på VR.
Jobbet att utvärdera sprids på flera människor (det är otroligt mycket arbete för beredningsgrupperna). Ansökningarna kan hålla en mycket mer inomvetenskaplig prägel iom at de utvärderas av experter i fältet. Kommentarerna blir värdefullare för sökanden. Samma evaluatorer kan användas för en ansökan som skickas in andra gången för att förbättringar kan utvärderas (jmf med ”resubmission”).
1. BASE YOUR JUDGEMENT ON OBJECTIVE MEASURABLES
If VR wants to know my quality as researcher: why not to simply look at measurables such as H-index, H-index increase per year, or, perhaps the best, field normalised citation score ("crown indicator")? I have seen MANY well-known and very highly cited researchers (e.g. several ERC Grant holders, with high H-index and high crown indicator) receive a score 3 as "researcher quality": I think this requires a clear motivation of WHY you question the objective measurables, and WHY you give these researchers such low scores.
Some examples:
* how comes that the same person can get a "researcher quality" score 4 in one year, and the score 2 the next year?
* how is it possible that the same proposal gets a score 2 in one year, and when submitted by another person, to the very same beredningsgrupp, the score 3 the year after?
Objective measures would solve all of these problems...
2. PROVIDE THE FEEDBACK IN A STRUCTURED, MEASURABLE, FORMAT
Why not give a score 1-5 for each of the criteria boldness, "genomförbarhet", methodology, potential impact, etc: easy to do for the reviewers, and a much better feedback!
3. PROVIDE A RANKING
OK, so perhaps I didn't get the money this year, but it would be really interesting to know whether I was really close or really off. Perhaps one gets really high scores on everything, but was still ranked to low: at least be brave enough to tell this to the person...
PS: @ Sven and Martin: Indeed, Martin, you were correct: my comment was NOT about strategic areas, but about what criteria are used in the evaluation. As a very multidisciplinary researcher, I have really problems with this VR system: I have received high scores and granted projects at several times, and low scores even more often. And I have no clue why...
Concerning the evaluation of projects, however, the final report in itself will not be used since a running project is unfinished when it is time to write a new application. The way it works now is that when a project leader asks for a new project (or continuation of a running project) a part of the evaluation of this new proposal is based on how well the running project is performing in terms of scientific output etc. (this is a part of the evaluation criteria “scientific merits of the applicant”). This procedure will most likely be kept also in the future.
Quite the opposite of what John is expressing, I still think that the written commentary from the evaluation panel is very important and that we should work on improving it!
So, the problem is not reports after "avslag"- the problem is reports after completed projects. If someone made very good project- I will be feeling it is fair that he got money. If the project was weak- then the money went wrong way and VR made mistake. The existing system allows to cover all mistakes and makes us wondering about real mechanisms of money distribution and decision making. Make it more transparent! Success in science must be defined by results, not by amount of money received there or here. Unfortunately now it looks other way around- the one who get money makes career indepndently on results. The main merit now is "I got 10 mln!", not that "I made 10 discoveries!". Right now there is no responsibility for wasted money if researcher did not produced results and no responsibility for those who gives money for such projects.
Ett exempel jag kan ta är tillgänglighet av annan finansiering; detta utgjorde del av bedömningsgrund i ett fall, trots att inget sådant kriterium finns angivet i utlysningen. I ett annat fall utgjorde påstådda artiklar "in prep" del av bedömningsgrund för meriter. Detta kan i sig vara helt ok, men då det inte är tydligt vad som gäller blir det delvis godtyckligt.
Avsaknaden av tydlighet och fast konsekvens med avseende på kriterier är ett avsevärt problem för framför allt unga forskare. Vi har inte tid att ägna flera ansökningsomgångar till att likt empiriska experiment lista ut vad som "egentligen" bedöms - under den tiden tar vår innevarande finansiering slut och vi kan sannolikt få lämna den akademiska banan. Att så kan ske pga ett dunkelt system är fel.
Jag hoppas att det nya betygssystemet och kriterierna ska förbättra detta.
Vad gäller prioriteringar, om Wouter vdW menar ämnesmässiga prioriteringar så är svaret att i den öppna utlysningen görs inga sådana prioriteringar. De kommer istället in i olika typer av riktade satsningar. Under 2012 blir dessa för NT:s räkning: ”LIMS”, energi, IKT, statistik i empiriska vetenskaper samt genombrottforskning (se tidigare blogginlägg). I den öppna utlysningen för projektbidrag är den enda prioriteringen vetenskaplig kvalité med avseende på vad som sökande gjort tidigare (”meriter”) och vad som föreslås göras i framtiden (projektbeskrivningen). Detaljnivån på beskrivningen av vetenskaplig kvalité kan diskuteras mer. (Se utlysningstexter samt beskrivningen av granskarnas uppgift, Beredningshandboken, s 35 och framåt för hur det görs idag.) Det ligger dock i ”peer review” systemets grundidé att det är forskarsamhället som definierar innebörden av vetenskaplig kvalité, så fungerar det vid granskning inför publicering i vetenskapliga tidskrifter, vid anställningar och det är också den modell vi valt. Frågan som Wouter vdW väcker är dock i högsta grad berättigad, är den nivå på beskrivningen vi (VR) har idag för otydlig?
I don't care about your judgement of my personal quality as researcher, or the quality of my proposals. I only care about understanding what you REALLY prioritise in your judgements, so I can adjust my applications accordingly. The latter is the only useful thing in getting back your judgements, so please formulate them accordingly.
Therefore I would like to suggest an addition to your statement as follows: "en framgångsrik forskare hittar själv sin väg mot högsta vetenskapliga kvalité, men behöver vägledning i att lista ut beredningsgruppens prioriteringar för att hitta sin väg mot forskningsmedel".
Öppenhet: Varje ansökan bedöms av minst tre ledamöter i Bg samt om expertkometens saknas i Bg även av externa granskare. Det är dock i diskussionen i Bg som det samlade omdömet om en ansökan formas och det kan ibland avvika från någon enskild granskares uppfattning. Som jag ser det vore det olyckligt att förmedla ett sådant budskap till sökande. Jag vet att man i andra länder tänker på annat sätt och jag kommer att ta upp frågan om öppenhet för diskussion i ämnesrådet.
Målsättning med yttrandet: Yttrandet har som huvudsaklig målsättning att förmedla Bg:s uppfattning om styrkor och svagheter i en ansökan. Förbättringsförslag är förstås önskvärda men är oftast inte en del i diskussionen i Bg. Tror vi på forskarinitierad forskning så tror vi också på att ”en framgångsrik forskare själv hittar sin väg mot högsta vetenskapliga kvalité” (även om jag kan hålla med den kommentaren som såg en viss brist i logiken i meningen).
Internationella granskare: Det finns två huvudskäl till att anlita internationella granskare, dels för att få ett bredare urval av kompetenser för att täcka de ämnesområden som Bg ansvarar för, dels för att undvika jäv. Vår strävan är att öka antalet utländska granskare men vi har inte gjort det på samma tydliga sätt som våra Österrikiska kollegor.
Individstöd: Individstöd i stället för projektbidrag (se Magnus Anderssons inlägg) har diskuterats intensivt på VR, såväl i ämnesråd som i styrelsen. Jag tycker idén är intressant men den måste förfinas för att ge det vi önskar, hög kvalité och förnyelse.
Slutligen vill jag lyfta fram den utomordentliga insats som görs av våra granskare, när jag gör runt och lyssnar till diskussionerna i Bg slås jag av den professionalism som präglar dessa möten och hur man tar varje minut av mötestiden för att uppnå hög kvalité i bedömningen. Jag vill också nämna att vi från nästa år får ett nytt betygssystem med tydliga kriterier som naturligtvis kommer att bli tillgängliga både för sökande och för granskare. Tillsammans med andra ansträngningar hoppas jag att detta kan medverka till högre kvalité i yttrandena
ni som läser detta.
Fyll på med kommentarer! Nog har ni väl *alla* grubblat och grubblat över hur man ska formulera sig, vad som ska vara med (genusperspektiv?), för mycket grundforskning, för mycket tillämpat, absolut inget med kommersiell bäring etc etc.
Jag anser att granskningen måste vara mycket mer öppen. Med namn.
Till bilden hör ju också att INGENTING som inte blir granskat (ie vr) kan bibehålla sin fräschör. Utan någon/något som ifrågasätter och tittat närmare, spårar det lätt ur.
Kommer ni ihåg Dagens Forskning? En 14ds tidning på gult papper som konkade 2003. (Trots finansiärernas uttalade löfte om att pengar var säkrade för åtskillig tid.)
Den tidningen hade kunnat vara en del i en granskande verksamhet där man skulle kunna misstänka politisering och därmed gravt dalande kvalitet.
1) Det finns "stora grabbarna" som alltid får pengar, oavsett vad de skriver i projekt. Ingen läser dem och utvärderar hur bra de är. Jag skulle kunna ge många exempel på projekt som var ganska uppenbart nonsens (eller hade ingen nytt alls) och ändå har pengar ... bara för att se efter 3 år att inget intressant kommer ut ... och igen för att ta emot pengar för samma mycket genomsnitt forskning.
2) Det finns killar som är hjälpta av "stora grabbarna". Ibland ser man att två projekt är nästan identiska i abstract-en är från chefen och andra från hans tidigare Doktorand eller någon från hans grupp.
3) När ovan nämnda får pengar det finns mycket lite kvar för andra. För att få pengar i detta läge ibland även artikeln i Nature kommer inte att hjälpa.
Ingen kommer att läsa ditt projekt och utvärdera vetenskapliga innehåll. Det blir 3:03 som automatiskt svar maskin, läser ingen det mer än abstrakt. Inte hjälper också med 100 publicerade artiklar heller.
Så, bästa sättet för unga forskare att få pengar är att vara konformistiska, att arbeta för en "stor kille", är nätverk viktigare än projekt. De ger aldrig pengar för riktigt nya idéer. Läs sammanfattningar av projekt i VR-databasen - det är alltid "vi publicerade detta resultat och kommer att förbättra den". Inga stora publikationer, inget sätt att få pengar till ny idé.
Inför begreppet VR-forskare, vilket i sammanhanget endast skall betyda att VR garanterar en forskare (efter ansökan) en långsiktig (minst 10 år) men låg driftsbudget (säg 100-300 kkr/år) för att bedriva egen forskning med den utrustning som berört lärosäte tillhandahåller. Forskarens lön ska i denna modell betalas helt via lärosätet (vilket dock kan kräva en del förändringar på andra ställen i finansieringssystemet). Efter att ha passerat detta första nålsöga, ger modellen en stor frihet åt forskaren att bedriva självständig forskning samtidigt som kontrollen av VR-medlens användning blir enkel (kräv ekonomiskt korrekt redovisning av att pengarna endast går till driftsbudgeten, att forskaren följer vetenskapliga och forskningsetiska principer och att han/hon publicerar sig).
För att skapa förnyelse av forskningsämnena kan man behålla VR:s finansiering av biträdande lektorer och koppla denna till ett krav att mottagande lärosäte ska ta över löneansvaret efter säg 4 år. Istället för att som nu inkludera bidrag till doktorander i forskarnas projektanslag, vore det mycket enklare att låta presumtiva doktorander själva söka doktorandbidrag från VR. Då sker inte längre kvalitétsgallringen utifrån de av VR beviljade projekten utan utifrån vilka studenter som är bäst lämpade för doktorandstudier. De utvalda studenterna (inom varje ämnesområde) ges sedan rätt att välja handledare och projekt efter eget intresse. Förslaget till doktorandprojekt bör sedan utsättas för peer review av VR innan det startar för att ytterligare höja kvalitén. Därigenom höjer man även kvalitén på hur ett doktorandprojekt ser ut.
Detta citat visar på en verkligt skev uppfattning. Förmodligen beror den på att perspektivet från vr's håll är att det förefinns ett stort överflöd av ansökningar. Sålunda kan man välja/vraka och det är gissningsvis frestande att ge anslag till de ansökningar som verkar 'perfekta' både till innehåll och form.
Visst är framgångsrika forskare framgångsrika..... men snacka om rundgång i logiken! Men det är väl vr's målsättning att också urskilja forskarprojekt som ännu inte blivit 'excellenta'?
Påminner mig om en smickrande kommentar från en forskare till en annan:
'You are very successful in research....[konstpaus]
..funding.'
Och sen det här med kvalitet. Jag är reflexmässigt mycket skeptisk till begreppet kvalitet i detta sammanhang. Ungefär som när IPCC talar om 'sannolikheter' för scenarier.
En annan fråga som jag tycker kan vara värd att diskutera är den utsträckning i vilken ansökningarna bör bedömas av svenska forskare. Vi bor i ett litet land och det kommer alltid finnas misstankar om att man gynnar sina egna kollegor. Ett alternativ skulle vara att skicka ut samtliga ansökningar på extern bedömning av personer utanför Sverige. Dessa bedömningar skulle sedan kunna bifogas det slutliga beslutet.
Vad jag förstår använder FWF, Vetenskapsrådets motsvarigt i Österrike, ett system där samtliga ansökningar granskas externt:
"Der FWF verfügt über keinen festen „Bestand“ an GutachterInnen. Sie werden für jeden Projektantrag fachspezifisch ausgewählt. Internationalität ist der Kernpunkt des FWF-Peer Review-Verfahrens: seit mehr als zehn Jahren kommen GutachterInnen ausschließlich aus dem Ausland, ein Drittel davon aus dem nicht-deutsch sprachigen Ausland und ein weiteres Drittel aus Übersee; zudem bemüht sich der FWF, zumindest 25% der Gutachten von Wissenschaftlerinnen einzuholen."
Läs mer på http://www.fwf.ac.at/de/downloads/pdf/evaluation-fwf.pdf
Här är tre punkter som skulle höja trovärdigheten av granskningsarbetet:
+ Att VR tillhandahåller beviljandegraden och genomsnittsbetyg för beviljda projekt per beredningsgrupp - detta kan användas som underlag för omfördelning av medel mellan beredningsgrupper.
+ Att i bidragsbeslut uppge vilken beredningsgrupp granskat ansökan.
+ Att betygsättningen underlättas och blir mer objektiv genom en standardiserad bibliometrisk analys i ansökningen. Det kan t.ex. göras genom att låta sökande knappa in DOI referenser till deras publikationer, följd av en automatisk citeringsanalys.
Minns det vanliga sorteringsproblemet. Orsaken till att värstafalls tidskomplexitet på detta är O(N log N) är att man behöver göra så många jämförelser (bedömning) för att sortera, inte att man behöver göra så många omflyttningar (fysiskt arbete). Ibland är en perfekt sorting inte värt besväret. Och ibland är ens indata inte så utförliga att en perfekt sortering alls är väldefinierad.
Stafström skriver att "en framgångsrik forskare hittar själv sin väg mot högsta vetenskapliga kvalité". Det är en rimlig hållning i teorin, men i praktiken är "hög vetenskaplig kvalité" i viss mån en tolkningsfråga. Lägg till detta det element av godtycke jag hävdar ovan, så är det alltså av stor vikt att förstå vilka slags resonemang och kriterier som faktiskt används internt i processen, men inte tydligt redovisas, för att bli en framgångsrik forskare även ifråga om anslagstilldelning. Detta är väl troligen inte ett problem för de seniora forskare som redan selekterats fram genom systemet, men för mig som ung forskare har det tett sig rätt luddigt, godtyckligt, och svårnavigerat.
Kvalitetssäkra gärna yttrandena, men kvalitetssäkra även handläggningsprocessen så att vilka bedömningskriterier som gäller tydligt redovisas och sedan även efterföljs. Då det inte finns något utrymme för överprövning borde detta vara en synnerligen angelägen strävan.
F.ö. medhåll i Aras kommentarer.
det är bra att höra att det här är ett problem som ni är medvetna om och (förhoppningsvis) försöker göra något åt. Jag har själv haft det tveksamma nöjet att mottaga avslag med yttranden från VR som varit fullständigt intetsägande och i princip bara varit saxade direkt från min ansökan. Jag förstår dina poänger med att det inte går att sammanfatta hela diskussionen i ett yttrande, men ni kan definitivt göra bättre. Du skriver att det inte kan vara målsättningen för yttranden att de ska vägleda sökande i sin fortsatta forskning eftersom en framgångsrik forskare hittar själv sin väg mot högsta vetenskapliga kvalité. Jag håller inte helt och hållet med. Jag tror att det i flesta fall inte är något fel alls på forskningen för vilka pengar söks för, utan det är själva ansökningarna som inte fallit granskarna i smaken, och sådant går faktiskt att konkret formulera på papper.
Glöm inte att de som ansöker om pengar har lagt en väldigt lång tid på skriva sin ansökan, och i många fall så står och faller deras framtida karriärmöjligheter med ert svar. Det är unga forskare som fortfarande har ett väldigt driv och en passion för sitt ämne, som ofta inte är rädda för att jobba stenhårt för att ta sig dit de vill. Genom att skicka ett goddag-yxskaft-svar tillbaka så skickar ni tyvärr signalen att ni inte bryr er eller kanske inte ens brytt er om att läsa ansökan förutom abstract (även om så inte är fallet). Efter några stycken avslag av den intetsägande typen så har ni effektivt dödat aspirerande forskares motivation utan försök att sporra till förbättring.
Mina konkreta förslag om ni verkligen menar allvar med att förbättra er:
* Det absolut minsta ni kan göra är att öka öppenheten och bifoga så mycket information som möjligt. Istället för att sammanfatta ansökan i en siffra, skriv ut betyget från samtliga granskare, samt ett snittbetyg med en decimal. Ange var gränsen mellan vinnande och avslagna ansökningar går. Då får man direkt en känsla för om man var "nära" eller inte, dvs hur bra ens ansökan är.
* Skriv ut namn och vetenskapligt fält på granskarna. Goda vetenskapsmän har väl integritet nog att stå för sina åsikter, och som förstagångssökande får man mer konkret förståelse för vilken läsare man skriver för inför nästa ansökan.
* Det är ju ingen hemlighet vilka som beviljas pengar. Om en avslagen ansökan har jämförts med en vinnande ansökan men befunnits svagare på vissa punkter, skriv ut dessa punkter då! Det finns ingen poäng i hemlighetsmakeri. Att få höra att ansökan X ansågs svagare än Y pga ansökandes kompetens / sämre vetenskaplig motivation / mindre innovation / etc, så skriv det!
Det absolut mest ohjälpsamma och mest motivationsdödande svar man kan få är att man beskrivs som kompetent, att ens ansökan är bra och innovativ och att man får ett högt betyg, men trots detta får man avslag. Det *måste* finnas en svaghet i ens ansökan, annars hade man ju inte fått avslag.
Glöm inte den makt ni har att påverka unga forskares framtid! Med stor makt kommer stort ansvar!