Wat is een goede manier om het geld voor wetenschappelijk onderzoek van het NWO en de ERC te verdelen? De Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO) is verantwoordelijk voor de allocatie van onderzoeksgelden die de Nederlandse overheid ter beschikking stelt; de European Research Council (ERC) doet hetzelfde met Europees geld. Voor de universiteiten anno 2015 zijn deze onderzoeksgelden cruciaal om hun kerntaken te kunnen vervullen.  Veruit de meeste afdelingen hebben al lang geen eerste geldstroom (het geld dat de universiteiten rechtstreeks van de overheid krijgen) meer om promovendi aan te stellen. Het gevolg is dan ook dat in de meeste vakgroepen alleen via NWO, ERC en opdrachten van bedrijven er nog promoties kunnen plaats vinden.

Er staat dus veel op het spel, en het is daarom belangrijk om te vragen of de systemen zoals we die nu hebben, het geld goed verdelen.

Maar ook universitair (hoofd-)docenten en hoogleraren worden steeds vaker aangenomen onder de (al dan niet expliciete) verwachting dat ze grote onderzoeksbeurzen weten binnen te slepen. Vanuit het standpunt van de individuele onderzoeker zijn NWO en ERC onderzoeksgelden ook heel belangrijk, want succes bij NWO of de ERC is bijna altijd een noodzakelijke voorwaarde voor een vaste aanstelling. Het binnenhalen van NWO of ERC gelden speelt een steeds grotere rol in het bepalen van het personeelsbeleid op de universiteiten: succes bij NWO of de ERC vergroot aanzienlijk je kansen op een vaste aanstelling, en op doorstroming naar de wetenschappelijke top. Nog sterker, steeds vaker wordt het de enige manier voor postdocs om überhaupt een baan aan de universiteit te bemachtigen. Er staat dus veel op het spel, en het is daarom belangrijk om te vragen of de systemen zoals we die nu hebben, het geld goed verdelen.

Hoe gaan NWO en de ERC te werk? Kort samengevat: wetenschappers schrijven onderzoeksprojecten en dienen die bij NWO of de ERC in, waarna op basis van de rapporten van (inter)nationale experts een beoordelingscommissie van wetenschappers bepaalt wie er het schaarse onderzoeksgeld krijgt. Zie hier de verdediging van NWO van dit systeem Onder aanvragers is er in toenemende mate frustratie over de lage (en dalende) honoreringspercentages. Zie de jaarverslagen van NWO en van de ERC Het is tegenwoordig niet meer vreemd om zeer goede tot excellente beoordelingen te krijgen van de reviewers, vervolgens de vragen in het interview overtuigend te beantwoorden, om vervolgens toch geen onderzoeksgeld te verwerven – simpelweg omdat er niet genoeg geld is om alle excellente voorstellen te honoreren. Maar NWO en staatsecretaris Dekker zien het huidige systeem als het best mogelijke systeem gegeven de schaarste aan middelen. Hier de antwoorden van staatssecretaris Dekker op kamervragen over de wetenschapsselectie van NWO

Toch is het belangrijk om te kijken naar alternatieven. Het alternatief dat ik opnieuw onder de aandacht wil brengen, is een systeem van toekenning voor excellente voorstellen in combinatie met loting onder de ‘zeer goede’ voorstellen. Voorstellen waarin loting een belangrijke rol speelt zijn al eerder geopperd.  Hoe gaat dit in zijn werk? Eerst worden de voorstellen gehonoreerd die met kop en schouders boven de andere voorstellen uitsteken. In mijn ervaring als lid van beoordelingscommissies gaat dit doorgaans over één of twee voorstellen, maar het zou natuurlijk mogelijk kunnen zijn dat dit aantal verschilt tussen de wetenschapsdomeinen. Daarnaast wordt een groep van ‘zeer goede’ voorstellen bepaald waarvan we vinden dat we niet op objectieve gronden kunnen bepalen wie er nu beter is dan de andere. Dit heeft een belangrijk voordeel, en dat is dat we de schijn van objectiviteit wegnemen. Psychologen hebben al voldoende aangetoond dat we ons in onze oordelen vaak leiden door (in deze context) oneigenlijke elementen, zoals het uiterlijk van de kandidaat, hoe sympathiek we hem/haar vinden, hoe ‘ver’ hij van ons afstaat, enzovoort.

Want wat nu vaak (altijd?) gebeurt in de beoordelingscommissies is dat na de interviews en de discussie er een anonieme stemming plaats vindt. Wie in de discussie kon rekenen op unanieme goedkeuring komt daar zeker als gelukkige ontvanger van onderzoeksgeld uit naar voren, maar commissieleden moeten zich vaak achter de oren krabben om daarna onder de rest van de ‘zeer goede’ voorstellen een selectie te maken. Het lijkt mij zeer waarschijnlijk dat in die stemmingsronde er ook andere elementen dan wetenschappelijke kwaliteit een rol spelen, zoals hoe “leuk” iemand een onderwerp vindt of hoe welbespraakt een kandidaat is, of hoe sympathiek hij/zij overkomt. Een onderwerp waarop een maatschappelijk taboe rust zal ook moeilijker gefinancierd worden, hoe goed de aanvraag en de rapporten verder ook zijn – want daar willen commissieleden hun vingers niet aan verbranden; en ze hebben ten slotte toch meer dan voldoende andere zeer goede voorstellen om uit te selecteren. Soms heeft de commissie ook helemaal geen expertise in huis om de kwaliteit van de aanvraag zelf te beoordelen, en stellen ze dus vragen die van een groot onbegrip (en soms vijandigheid) naar een bepaalde subdiscipline getuigen. Dan loopt een interview niet optimaal door de samenstelling van de commissie.

Laat ons dus ophouden met te pretenderen dat we in staat zijn om kwaliteit op objectieve gronden te rangschikken waarbij we overtuigd zijn dat we kunnen zeggen dat elke project dat gehonoreerd wordt, zonder redelijke twijfel beter is dan elk project dat niet gehonoreerd wordt. Laten we naar alle betrokken partijen helder maken wat de situatie doorgaans (misschien wel altijd) is: buiten de absolute topvoorstellen (indien die er zijn) is er een groep van zeer goede voorstellen die groter is dan het geld dat er te verdelen valt. Binnen deze groep zijn er nauwelijks objectieve criteria om te bepalen wie wel en geen geld krijgt. Daarom moeten we iedereen een gelijke kans geven, en ook naar buiten toe erkennen dat geluk ook bij NWO en de ERC een rol speelt in wie onderzoeksfinanciering weet te verwerven.

Als die oneigenlijke factoren nu op een ‘random’ manier een rol zouden spelen, zou het misschien niet veel uitmaken; maar we weten dat bepaalde groepen onderzoekers voordeel hebben bij deze biases, en anderen nadeel. De mate waarin je sympathiek overkomt vergroot naar alle waarschijnlijkheid je kans op een positief oordeel en honorering: maar maakt dit je ook een betere wetenschapper? Maar we weten ook dat alle mensen, en dus ook wetenschappers, ten prooi vallen aan zogenaamde ‘implicit bias’ waardoor groepen die niet voldoen aan het stereotype van een succesvolle wetenschapper (de witte, gezonde, assertieve man) bij dezelfde prestaties minder goed beoordeeld worden. De literatuur over implicite bias is zeer groot; zie bijvoorbeeld ‘Project Implicit’ van Harvard University en de recent gelanceerde website van Athena’s Angels.  Die biases leiden tot schade aan de loopbanen van vrouwen en minderheden, maar leiden ook tot een suboptimale allocatie van talenten, wat uiteindelijk een verlies voor het hele wetenschappelijke systeem impliceert.

Ik vermoed dat een belangrijke reden waarom NWO en de Staatssecretaris negatief reageren op het voorstel om ook gebruik te maken van loting, te maken heeft met het beeld dat wij van onszelf overeind willen houden. Zowel wetenschappers als beleidsmakers hebben een zelfbegrip waarbij ze geloven dat ze objectief kunnen oordelen. Voor beleidsmakers heeft dit met de gepercipieerde legitimiteit van hun beleid te maken; voor wetenschappers met hun zelfbeeld en het beeld dat ze van de wetenschap zelf hebben. Maar als dit niet strookt met wat de cognitieve wetenschappen ons leren – namelijk dat we niet zo objectief kunnen oordelen en onderhevig zijn aan vertekeningen en vooroordelen – zijn we het als wetenschappers dan niet verplicht aan onszelf om de consequenties te trekken van die kennis?