Door: Geert-Jan van Bussel
Replicatie (of herhaalbaarheid) is een wetenschappelijk dogma. Het waarborgt de controleerbaarheid van onderzoek. Directe (of: zo exact mogelijke) replicatie is echter moeilijk.
In 2005 verscheen in PLOS Medicine ‘Why most research findings are false’, van de statisticus en epidemioloog John Ioannidis. Op basis van wiskundig en statistisch onderzoek stelde Ioannidis dat de conclusies in 80 procent van de medisch wetenschappelijke publicaties onhoudbaar zijn. Hij onderbouwde dat, ook in 2005, in een artikel in de Journal of the American Medical Association. Het bleek dat 41 procent van de 49 meest geciteerde onderzoeksconclusies vanaf 1990 onjuist of ernstig overdreven waren. Bayer en Amgen, twee van ’s werelds grootste pharmaceuticals, rapporteerden in 2011 dat zij in hun eigen laboratoria respectievelijk slechts 11 procent en 25 procent van eerder gepubliceerd onderzoek konden repliceren. In 2012 kon Amgen resultaten uit 6 van de 54 ‘landmark cancer papers’ repliceren. Het geeft aan dat Ioannidis’ conclusies dichter bij de waarheid zijn dan lange tijd werd gehoopt.
Vooral psychologisch onderzoek staat onder druk. Een artikel uit 2015 door een consortium van 270 wetenschappers (onder andere van de Universiteit van Amsterdam) concludeert dat 60 procent van de resultaten van psychologisch onderzoek niet repliceerbaar is. Deze studie werd in maart dit jaar onderuitgehaald met het verwijt dat er geen directe replicatie was uitgevoerd, waarna het ‘modder gooien’ begon.
De vraag is of directe replicatie binnen mens- en gedragswetenschappen wel mogelijk is. Hans Strikwerda, hoogleraar bedrijfskunde aan de Universiteit van Amsterdam, vindt van niet. Het gedrag van mensen verandert immers in de tijd. In de bedrijfskunde liggen empirische waarnemingen bijvoorbeeld aan de basis van succesmodellen. Iedere manager die daarmee werkt, verandert de empirie, waardoor repliceerbaarheid onmogelijk wordt.
Bij conceptuele replicatie wordt dezelfde theorie getoetst aan nieuwe experimenten. Dit lijkt binnen de mens- en gedragswetenschappen meer voor de hand te liggen. Maar dat vereist wel veel van het research data management van de wetenschappelijke instituten. Het vereist niet alleen het bewaren van de gebruikte datasets, maar ook exacte vastlegging van de methodologie voor dataverzameling, -bewerking, -selectie, -massage, -analyse en -verificatie. Het vereist het vastleggen van zoek-, bewerkings- en analysecriteria. Het vereist het bewaren van de gebruikte versies van algoritmen. Het vereist informatiemanagement en archivering. Het vereist volledige (contextuele) transparantie in de gebruikte onderzoekmethode, beschreven en gepubliceerd.
Op grond van dergelijke vastleggingen zijn er initiatieven waarbij wetenschappers experimenten voor publicatie door andere onderzoekers (vrijwillig) laten herhalen en de resultaten in de uiteindelijke publicatie opnemen.
Het is een begin.
Tot dit wetenschappelijke usance wordt, is veel onderzoek echter niet herhaalbaar. Wetenschappelijk drijfzand dus.
Geert-Jan van Bussel is ondernemer en lector Digital Archiving & Compliance bij de Hogeschool van Amsterdam.
Deze bijdrage komt uit IP nr. 4 / 2016. Het gehele nummer kun je hier lezen.