Met een paar collega’s heb ik een aantal malen onderzoek gedaan naar de effectiviteit van NWO en andere onderzoeksfinancieringsorganisaties. Zie bijvoorbeeld de meta-analyse van Bornmann, Leydesdorff, & Van den Besselaar (2010). We vergeleken de groep die hun voorstellen zagen gehonoreerd (de grantees) met een even grote groep van aanvragers van afgewezen voorstellen maar met vergelijkbare scores (de best rejected). In termen van publicaties en citaties doen de afgewezen kandidaten het beter. In de meeste gevallen is het verschil zelfs statistisch significant. Een loterij tussen deze subsidiabele (‘beste’) voorstellen zou het dus beter doen dan de beoordelingscommissies. 

Vergelijkbare resultaten werden later ook door anderen gevonden, bijvoorbeeld in Duitsland. Toegang tot de data is voor dit type onderzoek echter een probleem. De onderzoeksfinancier kan zich op vertrouwelijkheid van de data beroepen. Toch volgt uit deze beperkte onderzoeken een duidelijk model van onderzoeksfinanciering:

1. Maak een onderscheid tussen de top en de niet te honoreren voorstellen (zoals nu ook gebeurt, bij voorbeeld met behulp van referee-rapporten)
2. Loot binnen de beperkte groep van top-voorstellen.

Het voordeel van loting is dat niemand beschadigd raakt door de uitkomst ervan. Bij een loting kan men het geld desgewenst ook in kleinere porties verdelen, want voor de werklast maakt dit niet langer uit. De organisatie van de onderzoeksfinanciering wordt lichter voor zowel de beoordelingscommissies als de dragende organisatie.

Wij hebben dit voorstel al in 2010 geformuleerd, maar — zoals Ingrid Robeyns al eerder vermoedde — ‘men’ voelt er niet voor. Deelname aan een beoordelingscommissie is ook een vorm van erkenning. Zoals Jos Engelen bijvoorbeeld ook zelf formuleerde, denkt men zelf nog wel relevant te kunnen onderscheiden binnen de top-groep. Lees hier de bijdrage van Jos Engelen. Misschien is dit waar voor enkele wetenschapsgebieden.

Volgens mij is het echter onvermijdelijk dat in de laatste ronde irrationele overwegingen gaan meespelen, zoals subjectieve voorkeuren. De rationele overwegingen zijn immers uitgeput als men in een situatie geraakt waarin niet alle ‘voortreffelijke’ voorstellen kunnen worden gefinancierd omdat er onvoldoende middelen zijn. De zo geïntroduceerde bias kan ook verklaren waarom de best rejected mogelijk beter zijn dan de grantees: het nationaal georganiseerde beoordelingskader kan storend werken op de internationale ontwikkeling.

De middelen worden zo niet alleen ineffectief, maar ook oneerlijk verdeeld. Bovendien zijn er ongewenste (?) maatschappelijke effecten, zoals de koppeling door universiteiten van financieringsbeslissingen aan carrière-perspectieven. Wordt iemand universitair hoofddocent? Is hij of zij professorabel? De maatschappelijke kosten van het huidige circus zijn ook hoog. Het voorgestelde model vereenvoudigt dit, doet recht aan het criterium van kwaliteitsbevordering en is rechtvaardiger.