 Nou, stel dat je een onderzoeker bent en je bent een journal aan het lezen en je vindt een onderzoek over een effect waar je geïnteresseerd bent. En het is je geluksdag, want er vlak naast staat ook nog een kleinere replicatiestudie precies over dat effect. Hoe beoordeel je die informatie dan? En de meeste mensen aan wie ik dat gevraagd heb, dat waren studenten, sociale wetenschappers en psychometricie, die zeggen allemaal, nou ja, dat moet je natuurlijk bij elkaar gooien, want hoe meer informatie, hoe beter. Maar wat blijkt nou, is dat zo'n kleine replicatiestudie je effect-size-schatting eigenlijk alleen maar slechter maakt, omdat er publication bias is. En dat betekent dat onderzoeken die succes hebben, die een effect vinden, een grotere kans hebben om gepubliceerd te raken. En als je onderzoekje maar heel klein is, dan meet je heel ruizig. Dus je effect wat je aan het onderzoeken bent, dat kan alle kanten opschieten. En als alleen maar de extremen uitschieters in de literatuur terechtkomen, dan zijn die ontzettend overschat. Voeg je die dan toe aan die eerste originele studie die je vindt, dan voeg je dus eigenlijk een overschat effect eraan toe en heeft dus niet zoveel zin om die replicatiestudie mee te nemen in schatting. Dan ben je ook getrokken geweest bij een publicatie en science van onderzoek, wat hier aan gerelateerd is. Het onderzoek wat in Science is gepubliceerd, was een groot schale replicatie onderzoek. Daar hebben we 270 co-auto's staan op het paper. En in het paper zijn honderd effecten uit de psychologie gekozen en die zijn gerepliceerd. En het goede van dat onderzoek is dat ze eigenlijk precies ondervangen, het probleem dat ik net eigenlijk aankaardte, dat kleine replicatiestudies schadelijk kunnen zijn voor je effect-size-schatting. Wat ze hier namelijk gedaan hebben is zo groot mogelijke replicatiestudies proberen neer te zetten en die ook nog is te pre-registereren. Dus er alles lag van tevoren alvast en daarna zijn de onderzoeken uitgevoerd. Dus het zijn eigenlijk replicatiestudies van hoge kwaliteit die zo uitgevoerd zijn. Wat kunnen we met deze onderzoeken deze uitslagen? Nou, een van de grotere uitkomsten van dat onderzoek is dat veel van de psychologie onderzoeken bij herhaling eigenlijk andere uitkomsten laten zien. Dus een van de belangrijke dingen die we denk ik moeten doen is vaker dit soort grootschalige projecten op proberen te zetten. Zodat we duidelijk kunnen zien welke lijnen in onderzoek zijn nu de moeite waard om verder in te gaan. En bij welke lijnen moeten we zeggen, hier hebben we misschien per ongeluk een keer wat gevonden, maar er lijkt eigenlijk niks aan de hand te zijn. En met dit soort grootschalen goed uitgevoerd onderzoek zijn we dat eigenlijk aan het doen. Eigenlijk precies waar de wetenschap voor bedoeld is. In eerste instantie zijn replicatieonderzoeken nooit zo populair geweest bij inhoudelijk onderzoekers. Het is niet goed voor je CV per zee als wetenschapper om veel replicatieonderzoek te doen, omdat je dan als kritiek naar je hoofd krijgt dat je niet creatief genoeg bent. Bovendien is heel groot onderzoek doen met heel veel proefpersonen heel erg duur en duurt ook heel erg lang. En dat is ook weer niet gelijk heel strategisch voor je eigen carrière als wetenschapper, waarin het toch omdraait om zo veel mogelijk, zo snel mogelijk te publiceren. Maar er lijkt de laatste jaren wel echt een omslag plaats te vinden dat mensen steeds duidelijker gaan inzien dat uiteindelijk goed onderzoek toch is waarvoor we het doen. Dat dit soort grootschalig onderzoek als in science uitgevoerd kan worden en dat mensen daar eigenlijk alleen maar om bejubeld worden, want wat goed dat is van de grond is gekregen. En er worden steeds meer journals die beginnen ook incentives in te stellen om beter onderzoek te doen. Dus je krijgt bijvoorbeeld een baloning als je je data online zet of je krijgt een baloning als je van tevoren je onderzoek registreert. Dus ook al was het in eerste instantie niet per se strategisch om eigenlijk gewoon degelijk wetenschappelijk onderzoek te doen. Er lijkt wel een omslag plaats te vinden in de goede richting.