NT-bloggen - Sven Stafström

2012-04-18

Kriterier för bedömning av ansökningar

Nyligen har det förts en debatt kring kriterier för bedömning av vetenskaplig kvalité och det har bland annat uttryckts farhågor om att citeringsdata får en allt större betydelse i dessa bedömningar (se t.ex följande artikel i SvD). Frågan har främst varit fokuserad på fördelning av basanslagen men diskussionen gäller även bedömning av enskilda ansökningar. Inspirerad av denna debatt tänkte jag ge en kortfattad sammanställning av hur Vetenskapsrådet och då främst NT agerar i sin bedömning. Det är ju också särskilt aktuellt nu när vi precis stängt ansökningssystemet för flertalet av våra projekt- och rambidragsansökningar och därmed riktar fokus mot just granskningsprocessen.
 
Till att börja med bör påpekas att bedömningen naturligtvis följer de direktiv som alla sökande kunnat ta del av i samband med att utlysningen publicerades. Som framgår av utlysningen så inför Vetenskapsrådet från och med i år ett nytt betygssystem med en sjugradig skala och där ansökningar bedöms efter tre huvudkriterier (nytänkande och originalitet, projektets vetenskapliga kvalité samt sökandes kompetens) samt kriteriet "genomförbarhet". Utöver dessa kriterier har vi också för våra riktade utlysningar ett relevanskriterium som bedömer hur väl ansökan adresserar den inriktning som anges i utlysningstexten. Alla ansökningar kommer att ges betyg samt ett skriftligt utlåtande för vart och ett av de kriterier som används i bedömningen. Dessutom ges ett sammanvägt betyg. Det bör noteras att det sammanvägda betyget inte tas fram som ett aritmetisk medelvärde av kriteriernas betyg (betygsskalan är att betrakta som en ordinalskala). Sammanvägningen sker, som beslutats i Ämnesrådet, enligt följande riktlinjer:

För samtliga ansökningar utom Genombrottsforskning gäller att: projektets vetenskapliga kvalitet och sökandens kompetens är de två viktigaste kriterierna, men även nytänkande och originalitet ska tas med i bedömningen.

För Genombrottsforskning gäller istället: Projektets vetenskapliga kvalitet och den sökandes kompetens är av betydelse, men störst vikt läggs vid nytänkande och originalitet.

Det gäller för beredningsgrupper och särskilda paneler att med utgångspunkt från de givna kriterierna bedöma ansökningarnas styrkor och eventuella svagheter samt att jämföra och ranka dem. Jag tror att alla forskare som är vana med peer review har sin uppfattning om innebörden av de kriterier vi använder. Det är sedan, i den så viktiga diskussionen i beredningsgrupp eller panel som man kommer fram till en samsyn kring bedömningen. Som en utgångspunkt för arbetet kan man säga att all den information vi begär in i ansökningen ligger till grund för bedömningen.

För att återkomma till där jag började, dvs med citeringsdata, så gäller alltså att: eftersom vi begär in dessa data så utnyttjar vi dem i bedömningen. Vi gör det dock som ett av flera delkriterier i huvudkriteriet sökande kompetens, vilket visar att citeringar inte är ett dominerande kriterium. Hela grundidén med citeringar är ju dock den att man citerar ett arbete för att det är betydelsefullt för den egna forskningen (så tänker jag, gör inte ni det?), det borde därför finnas en stark korrelation mellan citeringar och flera andra delkriterier som belyser huvudkriteriet sökandes kompetens. Problemet är dock att det också finns andra saker som påverkar citeringarna som har mindre med den sökandes kompetens att göra och mer med dennes nätverk och ev. taktiska överväganden. Det finns därför all anledning att ha en viss kritisk hållning till citeringsdata, men att helt bortse från dem vore, enligt mitt sätt att se på forskning och spridning av forskningsresultat, ett misstag.

Inga kommentarer

2012-03-26

Bra diskussioner om hur matematiken ska stärkas

I förra veckan genomförde Vetenskapsrådet hearingen om svensk matematikforskning. Hearingen syftade till att få fram förslag på åtgärder för att komma tillrätta med de brister som påpekas i Vetenskapsrådets och SSF:s utvärdering av svensk matematik.  Vi hade i mitt tycke mycket givande såväl presentationer som diskussioner.

En del av diskussionerna handlade om områden för riktade satsningar. Naturligtvis rådde ingen fullständig enighet bland alla cirka 70 samlade matematiker om vilka områden som bör föras fram i en prioriteringsdiskussion när Ämnesråden och Vetenskapsrådet nu börjar fundera på satsningar inför 2013 års utlysning. Tydligt är dock att många anser att kopplingen mellan den rena (teoretiska, grundläggande) matematiken och tillämpad matematik är viktig och att det finns tydliga fördelar om vi har framstående matematiker som verkar inom båda dessa delar av matematiken.

Diskussionerna handlade också om hur fakultetsmedel och externa medel ska samverka för att gynna både undervisning och forskning. För mig som inte är matematiker var det mycket intressant att få en lite djupare inblick i den lite speciella situation som råder på våra matematikinstitutioner. En stor grupp begåvade matematiker ges tidigt i sin akademiska karriär ett omfattande undervisningsuppdrag och utrymmet för forskning blir därmed begränsat. Hur ska man i en sådan situation agera som prefekt eller dekan för att skapa balans mellan forskning och undervisning. Detta är förstås ingen ny diskussion och det finns heller ingen enkel lösning. Den uppfattning jag hade innan diskussionen, att man ska fokusera fakultetsmedlen till relativt få individer, kom lite på skam.

Det fanns en stor enighet om att man bör sprida fakultetsmedlen till fler än ett fåtal. Huvudargumentet för det är, som ovan nämnts, att det finns många begåvade matematiker som bör ges en chans, åtminstone i början av sin karriär. Om inte fakultetsmedlen plötsligt ökar så är det förmodligen så att Vetenskapsrådet även i fortsättningen får stå för en betydande del av lönen till våra bästa matematiker. Helt rimligt tycker jag, vi måste ha en förståelse för de skillnader som finns mellan olika vetenskaper och samtidigt som vi ska verka för förbättringar så måste vi också ta hänsyn till nuläget.

Inga kommentarer

2012-03-08

Internationaliseringsstrategier på alla nivåer

Forskning är i grunden internationell, detta är en självklarhet för oss alla som på något sätt är inblandade i forskningsverksamhet. För att lyckas som forskare så måste man ut i världen och träffa kollegor, samarbeta, utnyttja forskningsinfrastruktur mm. Naturligtvis ska man också själv så småningom stå som värd för inresande forskare. Utan ett internationellt nätverk hamnar man som forskare i bakvattnet. Jag minns mina första steg i forskarkarriären, en sommar i Trieste, nästa sommar i Bejing, postdok i Namur, en sommar i New York etc. etc., det var spännande och lärorikt på alla sätt och gav mig ett nätverk av forskarkollegor som jag haft stor nytta av under hela min karriär. (Jag märker också nu när jag inte har tid till detta att forskningsfronten försvinner iväg och lämnar mig på efterkälken).

Vetenskapsrådet har just stängt sin första utlysning av bidragen till "Internationell postdok". Söktrycket blev riktigt bra vilket visar på en hög grad av förståelse för vikten av internationalisering. Vi har naturligtvis inte tillräckligt med medel för att stödja alla som gör/bör göra postdok utomlands. Vi ska inte heller göra det eftersom vi alltid strävar efter konkurrens och är inriktade på ett begränsat antal forskare. Dessa begränsade möjligheter till trots så vill jag ändå understryka vikten av internationalisering för de som vill fortsätta med forskning efter avlagd doktorsexamen. Mitt råd är att planera i god tid och lägg upp en egen strategi för internationalisering. Hindren utgörs lika ofta av ens egen livssituation som av begränsade finansieringsmöjligheter och det kräver en viss insats och tid för att överbrygga dessa hinder.
 
Även seniora forskare bör ha en strategi för "återväxt" - det gäller att identifiera de doktorander som vi bedömer har de förutsättningar som krävs för en lyckad forskarkarriär, att aktivt uppmuntra dessa att satsa på en forskarkarriär och att hjälpa till med kontakter. Precis som det svenska forskningsfinansieringssystemet stöder utländska postdoks i Sverige så finns det liknande möjligheter i andra länder att få finansiering från värdinstitutionen/värdlandet. Alla som har de rätta förutsättningarna ska också ha möjligheten till forskning utomlands!

 

 

Inga kommentarer

2012-02-10

Forskningspolitik måste bedrivas med ett långsiktigt perspektiv

Jan Björklund skriver på DN debatt 120209 att: "I höst ska regeringen lägga nästa forskningsproposition. Den medicinska forskningen kommer att stå i fokus." Detta med anledning av de stora nedskärningarna på forskning på Astra Zeneca i Södertälje. Det är naturligtvis bra att man från politiskt håll är beredd att agera. Det vore dock mycket olyckligt att fokusera endast på medicinsk forskning, behovet av stöd till naturvetenskap, teknikvetenskap, humaniora, samhällsvetenskap, utbildningsvetenskap och forskningsinfrastruktur är förstås också stort och bidrar i högsta grad till idé- och kompetensförsörjning för såväl svensk industri och samhället i stort. En alltför ensidig forskningsproposition riskerar att leda till att liknande problem som de Astra Zeneca nu brottas med istället uppstår i andra näringsgrenar.

Som ett komplement till ministerns tiopunktlista kommer här i sammanhanget blygsamma fem punkter för att stärka all svensk forskning och innovation:

1. Satsa på forskarinitierad forskning — goda forskningsidéer skapas av forskare både i de etablerade excellenta miljöerna men också av "rookies". Det är idéerna som är grunden till forskningens nytta!

2. Tydliggör satsningar på genombrottsforskning — forskare måste våga formulera forskningsidéer som kan leda till stora genombrott. Finansiären måste i gengäld ge forskaren större möjligheter att utveckla sådana idéer med allt vad det innebär av risker och uthållighet.

3. Riktade satsningar i begränsad omfattning — vissa områden (inklusive tvär- och mångvetenskap) är under en begränsad tid betjänta av extra stöd när behoven av den kunskap som dessa områden genererar är större än vad som kan levereras i dagsläget. Detsamma gäller riktade satsningar mot unga forskare, dessa är viktiga men måste genomföras med omsorg om hela forskningssystemet.

4. Ökat utbyte mellan grundforskning och tillämpad forskning — innovation sker antingen enligt en linjär modell som startar i grundforskning och slutar i helt nya tillämpningar eller i en iterativ, cirkulär modell där grundforskning och tillämpad forskning går hand i hand och tillsammans resulterar i industriell nytta eller en lösning på ett samhällsproblem. En forsknings- och innovationsproposition måste adressera bägge dessa innovationsmodeller.

5. Tydlig strategi för internationella forskningsfrågor — Forskningens utförare och dess finansiärer måste agera utifrån en gemensam strategi för att Sverige ska lyckas med föresatserna att t.ex. rekrytera framstående utländska forskare, utveckla samarbeten med ledande forskningsländer och framgångsrikt delta i EU:s ramprogram.

6 kommentarer

2012-01-20

Vad får utrustning och forskningsinfrastruktur kosta?

Diskussioner angående forskningsinfrastruktur är alltid aktuella, men kanske extra mycket just nu: Rådet för forskningens infrastruktur (RFI) vid Vetenskapsrådet har just publicerat sin "guide" — ett alldeles utmärkt underlag för diskussioner som ger en bakgrund till behoven samt listar de mest prioriterade nationella forskningsinfrastrukturerna. Från Utbildningsdepartementet lyfts den mycket viktiga frågan om hur Vetenskapsrådet tänker angående hur medel ska fördelas mellan infrastruktur och forskning. Vad gäller den lokala forskningsinfrastrukturen så har Vetenskapsrådet nyligen annonserat förändringen att sökande, under vissa förutsättningar, kan ta upp avskrivningskostnader för utrustning. Jag tycker att detta är en utmärkt lösning; lärosätena måste ta risken som en investering innebär, men man kan samtidigt räkna hem en del av kostnaderna via externa projekt — inte olikt hur man måste tänka då man anställer forskare.
 
Det bör poängteras att förändringen gällande avskrivningskostnader inte följs av en utökad budget, effekten blir oundvikligen den att det kommer att ske en viss omfördelning av medel från projekt med inga eller låga utrustningsbehov till de som har större behov. Det väcker hos mig frågan vilka instruktioner vi ska ge beredningsgrupperna inför kommande ansökningsomgång, hur ska vi se på budgetposten "avskrivningskostnader", kan vi ändra (minska!) på den i beslutet om bidragsstorlek? Hur ska kvalitén på ansökan påverka hur mycket vi i så fall skär ner? Etc.. Det är frågor som står på agendan för kommande ämnesrådsmöten, kanske också frågor som kan leda till kommentarer från bloggens läsare!
 
Apropå nästa ämnesrådsmöte så kommer de kommentarer som mitt förra blogg-inlägg ledde till upp för diskussion. Här är det framförallt två saker som vi behandlar: tydlighet i kriterier på vad som är grundforskning av högsta vetenskapliga kvalité samt öppenhet i granskningsprocessen. Ska bli mycket intressant att se vad denna diskussion leder till! 2 kommentarer

2011-12-14

Granskningssystemets akilleshäl

Vetenskapsrådet har som huvuduppgift att stödja grundforskning av högsta vetenskapliga kvalité. I denna uppgift ligger att utlysa, granska och rangordna ansökningar. Rangordningen är beredningsgruppens slutprodukt, den "värks fram" genom att alla ansökningar diskuterats och efter att brister och förtjänster har vägts mot varandra.

Det ingår också i beredningsgruppens uppgift att avge skriftliga yttrande för alla ansökningar. Syftet med yttrandet är att förmedla beredningsgruppens uppfattning om ansökan. Yttrandet kan dock aldrig förmedla hela den diskussion som lett fram till ansökans slutliga rangordning eftersom man i diskussionen jämför olika ansökningar med varandra. Det är därför en inneboende svårighet att i yttrandet, som ju bara relaterar till en viss ansökan, beskriva hela orsaken till t.ex. ett avslag.

Jag har full förståelse för om många uppfattar de yttranden som vi nu skickat ut till de sökande som "intetsägande" och i vissa fall är de verkligen så att de som fått i uppdrag att förmedla beredningsgruppens åsikt om ansökan inte lyckats fullt ut med detta. Vi ska naturligtvis fortsätta att arbeta med kvalitetssäkring av våra yttranden, och förslag på åtgärder mottages tacksamt. Jag är dock rädd för att vi aldrig kan komma till en nivå på yttranden där alla sökande får den återkoppling som önskas. Det kan heller inte vara målsättningen för yttranden att de ska vägleda sökande i sin fortsatta forskning, en framgångsrik forskare hittar själv sin väg mot högsta vetenskapliga kvalité.

21 kommentarer

2011-11-22

Vetenskapliga genombrott

Vetenskapliga genombrott sker ständigt. Tittar man bakåt i tiden kan man förstås säga något om vilka forskningsresultat som varit mest betydelsefulla även om ett sådant urval i ett kortare tidsperspektiv alltid blir en aning subjektivt (Science brukar lista årets vetenskapliga höjdpunkter i mitten av december, håller ni med om deras val?). Svårare är det förstås att förutsäga vilka upptäckter som blir de kommande genombrotten och vem som står för dem. Som forskningsfinansiär är detta ändå en uppgift att ta sig an. Just nu funderar vi lite extra på vilka finansieringsinstrument som passar bäst för att stödja forskningsidéer som har potential att leda till genombrott, men som också är förenade med en större risk än mer traditionell forskning.

Ämnesrådet för naturvetenskap och teknikvetenskap har planer på att redan till våren avsätta resurser för att stödja "genombrottsforskning" (jag tar tacksamt emot förslag på bättre benämning av vad som på engelska benämns breakthrough-, high risk/high payoff-, adventurous-, exploratory-research etc.). Här kommer några tankar inför en sådan utlysning:

1. Det behövs en särskild utlysning som lyfter fram genombrottsforskning, dels för att stimulera till högt satta mål, dels för att vi ska kunna utvärdera dessa ansökningar med lite andra kriterier än i den vanliga projektutlysningen.

2. En långsiktig satsning, Vetenskapsrådet kan inte ge bidrag på längre tid än fem år vilket kan vara väl kort tid för att nå målen. Man kan därför tänka sig ett tvåstegsförfarande där vi efter en viss tid (3-4 år) utvärderar de som fått bidrag och som en följd av denna utvärdering fortsätter satsningen med vissa omprioriteringar.

3. Att nå de uppsatta målen är förenat med hög risk och som en naturlig följd av detta kommer vissa att misslyckas. För att trots detta få fler att våga satsa på genombrottsforskning så krävs det att vi har en finansieringsform som inte straffar den andel av de beviljade bidragen som inte uppnår målen.

4. Nya idéer, speciellt om det har potential att leda till genombrott, kan ibland behöva skyddas. Sökande ska kunna känna sig trygga i att de föreslagna idéerna inte sprids.

Jag tar tacksamt emot fler idéer angående villkoren för en utlysning inriktad mot genombrottsforskning!

Inga kommentarer

2011-11-03

Forsknings- och innovationsproposition

Så var då underlaget från sex forskningsfinansierande myndigheter till den kommande forsknings- och innovationsproposition överlämnat till utbildningsminister Jan Björklund. Arbetet har samordnats av Vetenskapsrådet. Som huvudsekreterare har jag deltagit i arbetet med olika insatser i olika faser. Arbetet tog sin början i de ämnesöversikter som ämnesråden tillsammans med forskarsamhället tog fram under 2010.

För NT:s del är jag nöjd och stolt över resultatet av detta arbete; det har kommit till nytta i samband med forskningsproppen, men kommer också att användas som underlag för prioriteringar både inom Vetenskapsrådet centralt och inom Ämnesrådet för naturvetenskap och teknikvetenskap. Huvudsekreterarna har också varit engagerade i framtagandet av de riktade forskningssatsningar som presenteras i underlaget. Jag tycker att vi kommit en bra bit på väg i och med dessa förslag, men det återstår naturligtvis mycket arbete i form av specificering av forskningsuppgifterna innan förslagen kan omsättas i forskning. Det återstår också, icke att förglömma, en forskning och innovationsproposition som ger ekonomiskt utrymme för dessa satsningar.

Jag har i olika sammanhang, speciellt i Vetenskapsrådet styrelse, framfört synpunkten att teknikvetenskaplig grundforskning är för osynligt i förslaget. Förhoppningsvis kan detta, för forskning och innovation, så centrala forskningsområde göras mer synligt då vi kommer in på specifika forskningsfrågeställningar, men det får absolut inte glömmas bort. Man kan ju också tycka att grundforskningsperspektivet är lite för osynligt i underlaget men jag hoppas och tror att de flest ändå inser vikten av grundforskning och att det ges fortsatta möjligheter till att ytterligare stärka denna stomme i forsknings- och innovationssystemet.

Inga kommentarer

2011-10-24

Beredningsgruppsindelning och budgetdynamik

Under den pågående fakultetsturnén får jag får ofta frågor kring hur vi bestämmer budget för våra beredningsgrupper. Mitt kanske inte helt uttömmande svar blir att det är en kombination av historik och kvalité. Antalet ansökningar då? Om man endast tittar på beviljandegrad så är det förstås så att om antalet ansökningar för en viss beredningsgrupp ökar och om budgeten är oförändrad så minskar beviljandegraden och vice versa. Detta uppmärksammas både av beredningsgruppen och av ämnesrådet, vilket leder till en diskussion hur dessa förändringar ska hanteras. Kärnan i denna diskussion rör korrelationen mellan kvantitet och kvalitet, ger fler ansökningar också fler excellenta ansökningar och hur ser det ut då ansökningstalet går ner? Det råder oftast enighet om att den nyss nämnda korrelationen finns men att vi i första hand ska försöka låta kvalitén styra omfördelningen.
 
Det är mycket som talar för att vi varit väl försiktiga i omfördelningen och inte fått den dynamik i budgetfördelningen som man skulle önskat. På senaste ämnesrådsmötet så diskuterades detta ingående och ämnesrådet beslöt att ta fram förslag på en ny modell för beredningsgruppsbudget. Vi kom också fram till att i samband med ett sådant arbete så är det också lämpligt att se över beredningsgruppsindelningen och vilka ämnen som hör till vilken beredningsgrupp. Detta kommer att göras helt förutsättningslöst, resultatet kan bli att vi finner att den nuvarande modellen är så pass bra att det räcker med små förändringar eller leda till en relativt stor förändring i indelningen (dock inte fr.o.m. nästa år!). Säkert kommer vi i något skede av detta utredningsarbete att föra en dialog med forskarsamhället för att få synpunkter på hur denna indelnings ska se ut. Varför inte ta chansen och redan nu fundera på denna för oss alla mycket viktiga fråga. Inga kommentarer

2011-09-26

NT på fakultetsturné

Vi har nu inlett NT:s turné till flertalet av landets naturvetenskapliga och teknikvetenskapliga fakulteter. Tillsammans med koordinator Dan Holtstam och kommunikatör Pamela Werner har jag denna vecka träffat kollegierna på Luleå tekniska universitet och på Umeå universitet. Upplägget på dessa träffar är att jag presenterar Vetenskapsrådet, speciellt NT:s verksamhet samt inbjuder till en öppen diskussion kring frågor som har med forskningsfinansiering att göra. Vi har också träffat fakultetsledningarna och fått presentationer av forskningsverksamheter på respektive lärosäten.

Besöken har med råge överträffat mina förväntningar, det finns alldeles tydligt ett stort engagemang kring de frågor som diskuteras. Fem-i-topp listan över heta ämnen ser ut som följer:

• Anställningsförhållande för unga forskare
• Hur vi hanterar förnyelse både gällande idéer och forskare
• I vilken utsträckning VR-bidrag ska (kan) användas till lön för seniora forskare
• Villkoren för postdoktoransökan

Och sist men inte minst

• Hur känner man igen och bedömer "grundforskning av högsta vetenskapliga kvalitet"

Den input vi får i diskussionerna under fakultetsturnén kommer med all säkerhet att ge avtryck i arbetet i ämnesrådet, i de instruktioner vi ger till våra granskare, och i det arbete som görs internt med att utforma bidragsvillkor mm.

Det sistnämnda ämnet i listan ovan kan säkert diskuteras i det oändliga men dessa diskussioner är icke desto mindre viktiga, speciellt i en tid då det finns mätbara bibliometriska indikatorer (BI) som lätt kan ta överhanden över peer review processen. Jag tror att de flesta är överens som att BI är värdefull information men att de i bedömningen av sökandes meriter bara är en av flera delar där en annan väl så viktig del är i vilken utsträckning den sökande gjort nydanande forskning. I det långa loppet är graden av nyskapande förstås starkt korrelerat till BI men mer kortsiktig kan det faktiskt vara tvärt om; under den tid man investerar i att bygga upp något nytt så publiceras och citeras man i regel i lägre utsträckning. Kanske att den största utmaningen därför inte är att känna igen "grundforskning av högsta vetenskapliga kvalitet" utan att identifiera individer och idéer som har potential att leda till högkvalitativ forskning. Både Vetenskapsrådet och lärosäten bör anta denna utmaning, gärna i samverkan!

Inga kommentarer