Door Anne van den Dool
Wanneer stop je met grasduinen in die eindeloze lijsten met bronnen die naar aanleiding van je zoekacties zijn komen bovendrijven? Die vraag herkennen Rens van de Schoot, Jan de Boer, Felix Weijdema en Bianca Kramer. Al in 2019 oogstten zij lof met ASReview, afkorting voor Active learning for Systematic Reviewing, waarvoor zij een Victorine wonnen. Met deze open source-tool, gebaseerd op machine learning, maakten zij het mogelijk om in reusachtige datasets snel relevante papers te vinden. Hoe staat het er anno 2021 mee?
Rens van de Schoot heeft als professor Statistics for Small Data aan de Universiteit Utrecht dagelijks met deze zoekuitdaging te maken. Ook in coronatijd werd de kwestie weer extra relevant toen onderzoekers zo snel mogelijk de juiste informatie over dit virus boven tafel wilden krijgen. ‘Stel je voor dat je een zoekterm invoert op Google’, legt hij uit. ‘Dan krijg je tienduizenden hits. Wanneer je een klassiek literatuuronderzoek uitvoert, bekijk je alleen de eerste pagina. Bij een systematic review bekijk je ze allemaal.’
Je beantwoordt je onderzoeksvraag dus niet door zelf onderzoek uit te voeren, maar door systematisch eerdere onderzoeken te doorploegen, vult Jan de Boer aan. Hij is bij de Universiteitsbibliotheek Utrecht aanspreekpunt voor de faculteit Sociale Wetenschappen, waarvan ook Van de Schoot deel uitmaakt. ‘Ik ondersteun onderzoekers bij het uitvoeren van hun systematische onderzoek. Daar komt heel wat bij kijken. Wie op deze manier te werk gaat, moet zijn werkwijze uitgebreid documenteren. Een onderzoek dat je uitvoert volgens de principes van systematic reviewmoet reproduceerbaar en transparant zijn. Ook daarin onderscheidt het zich van literatuuronderzoek. Dit is wetenschap ten top.’
Dat laatste aspect is belangrijk, want wanneer je niet duidelijk laat zien hoe je een onderzoek precies hebt uitgevoerd, is het niet reproduceerbaar. Terwijl het juist interessant kan zijn om een proef na een bepaalde periode nog eens te herhalen. ‘Daarom heeft het ook weinig zin alleen de resultaten van je onderzoek te delen’, legt De Boer uit. ‘Eenzelfde onderzoek kan binnen heel korte tijd andere uitkomsten geven. Vergelijk het met het delen van de uitkomsten van een vragenlijst zonder te vermelden wie hebben meegedaan en welke vragen precies zijn gesteld. Zo’n uitvraging valt niet goed te herhalen.’
Breed toepasbaar
Felix Weijdema vervult dezelfde taken als De Boer, maar voor de faculteit Diergeneeskunde. Eerder hielp hij onderzoekers van het UMC Utrecht bij systematic reviews. Vanuit die ervaring weet hij dat ook in universitair medische centra grote behoefte is aan een manier om veel informatie razendsnel te doorzoeken en te sorteren op relevantie. ‘Ook daar zoekt men vaak zo snel mogelijk naar de juiste kennis. Het laat zien hoe breed het automatiseren van systematic review toepasbaar is.’
Datzelfde zag Bianca Kramer in haar tijd bij het UMC, waarin zij ondersteuning bij deze werkwijze bood. Nu houdt zij zich vooral bezig met universiteitbreed beleid omtrent open science, bijvoorbeeld in de vorm van een open source-code. ‘Veel mensen denken dat open source nooit commercieel rendabel kan zijn. Integendeel: openheid van zaken geven kan bij de ontwikkeling van een product juist waardeverhogend werken.’
Actief leren
Met ASReview lees je de hits die je gevonden hebt niet willekeurig, zoals bij een klassieke systematic review, maar geordend van meest naar minst relevant, legt Van de Schoot uit. Dankzij active learning wordt ASReview steeds slimmer. ‘Met iedere beslissing of een paper echt relevant is of niet, begrijpt de tool beter wat een gebruiker precies nodig heeft. Alleen zo konden we bijvoorbeeld de onderzoekers die zich bezighielden met de bestrijding van het coronavirus helpen honderdduizenden artikelen te doorploegen en aan hun de teksten voorschotelen die het meest relevant waren voor hun zoektocht naar het effect van een bepaald geneesmiddel.’
Op die manier informatie zo goed mogelijk rangschikken is slechts een deel van het verhaal, benadrukt De Boer. ‘Een uitdaging is: wanneer heb je genoeg artikelen gelezen om je een volledig beeld te vormen? Wanneer heb je voldoende vertrouwen om te zeggen: nu stop ik? Het is een bijna filosofisch vraagstuk, maar we houden ons er wel degelijk mee bezig. Onze laatste berekeningen zeggen dat je met onze tool soms al na vijf procent van de totale hoeveelheid teksten kunt stoppen met lezen. Dat zorgt voor een enorme winst in tijd en energie.’
Het past niet altijd helemaal in het plaatje van de onderzoeker, die vaak het liefst alles zelf bekijkt en in de hand heeft. ‘Toch zullen ze moeten toegeven dat op een gegeven moment de moeheid toeslaat’, aldus Van de Schoot. ‘Om nog niet te spreken over de tijdsdruk die op een onderzoek kan liggen, zoals in het geval van de bestrijding van Covid-19.’
Includeren en excluderen
Hoe gaat zo’n screening van al die informatie precies in z’n werk? ‘Wij kijken vooral naar titels en samenvattingen van artikelen’, legt Kramer uit. ‘Op basis daarvan includeren en excluderen we. We zouden graag met de complete teksten werken, maar dat is op dit moment lastig. Sommige vragen kun je op basis van een titel en abstract niet beantwoorden, bijvoorbeeld als het gaat om de precieze methodologie. Het is nog even toekomstmuziek – niet vanwege de techniek, maar vanwege de toegang. Wetenschappelijke teksten staan verspreid over platforms van vele uitgevers, gevangen in verschillende formaten. Ook zijn ze niet altijd vrij beschikbaar: zelfs als je er, zoals de Universiteitsbibliotheek Utrecht, voor betaalt om de content in te zien, is het niet altijd mogelijk deze in bulk te downloaden.’
Van de Schoot heeft goede hoop dat die barricades ooit worden neergehaald, maar wanneer is nog maar de vraag. ‘Waarschijnlijk worden op dat moment alleen nieuwe publicaties op die manier beschikbaar gesteld. Oude publicaties blijven onbereikbaar, en ook die heb je natuurlijk nodig voor gedegen onderzoek.’
Menselijke vooroordelen
De ASReview-tool helpt niet alleen snel relevante papers te vinden, maar neemt ook een deel van de vooroordelen van het menselijke zoekproces weg. ‘We krijgen wekelijks mailtjes waarom je in onze tool geen namen van auteurs en tijdschriften te zien krijgt’, vertelt Van de Schoot. ‘Daar hebben we goed over nagedacht. Hoe graag je het ook wilt ontkennen, als mens ben je toch geneigd op basis van de naam van een onderzoeker of tijdschrift een bron extra te vertrouwen of juist te wantrouwen. Met deze tool selecteren we de teksten automatisch op relevantie en kwaliteit – op basis van de inhoud, en niet op basis van de maker of de bron. Zo hopen we tevens bij te dragen aan een democratischer onderzoekslandschap, waarin ook minder bekende maar zeker niet minder betrouwbare auteurs en tijdschriften aan bod komen.’
FAIR te werk
Toch loopt het team nog wel eens tegen bepaalde zaken aan. ‘Ik was zo naïef te denken dat we samenvattingen van teksten vrijelijk konden delen’, herinnert Van de Schoot zich. ‘Dat bleek een illusie: ook die vallen vaak onder het auteursrecht van de uitgever. ‘De abstracts kunnen niet zomaar worden gedeeld’, bevestigt Kramer. ‘We zouden graag willen dat uitgevers die teksten openbaar toegankelijk maken, zodat onderzoeksresultaten beter te hergebruiken zijn. Daarom startten we het initiatief voor het open delen van abstracts: I4OA.org.’
Die open manier van werken wordt steeds gangbaarder. De FAIR-principes (Findable, Accessible, Interoperable en Reusable) krijgen steeds meer voet aan de grond, met name in empirische studies. ‘Je kunt tegenwoordig bijna niet meer in een tijdschrift publiceren zonder de data te delen waarmee je het hele onderzoeksproces kunt nagaan’, aldus Van de Schoot. ‘Toch wordt het delen van de set van gescreende papers met alle daarbij horende beslissingen amper gedaan.’
Samen met zijn collega’s besloot De Boer systematic reviews gepubliceerd door Utrechtse onderzoekers te analyseren. ‘Er zit verbetering in, maar de bewoordingen blijven vaag. “Ik heb met die-en-die woorden gezocht”, dat soort werk. Gelukkig worden de exacte zoekacties steeds vaker als bijlage bijgevoegd, zodat je deze zelf kunt herhalen, maar de beschikbaarheid van datasets met titels, abstract en inclusie- en exclusiebeslissingen voor elk record was op een hand te tellen. Er kan dus nog een flinke slag worden geslagen.’
Responsible AI
Eigenlijk is het gek, vindt Van de Schoot: na de affaire rondom Diederik Stapel had hij wel verwacht dat de hele onderzoekswereld, inclusief die van het systematic reviewen, zich anders ging gedragen. ‘Ik beschouwde dat als een enorme wake-upcall wat betreft het foutief reproduceren van data’, vertelt hij. ‘Ik hoop dat onze tool en open werkwijze hierin meer kunnen betekenen.’
Dat houdt in: ook de machinematige beslissingen die de tool neemt inzichtelijk maken. ‘Niet alleen de tool zelf is open source, maar ook alle informatie tijdens het hele proces in interactie met de machine, zodat alles volledig reproduceerbaar is’, aldus Van de Schoot. ‘Daarmee nemen we een voorschot op de nieuwste ontwikkelingen op het gebied van responsible AI. Extra prettig als je weet op basis waarvan besluitvorming heeft plaatsgevonden.’
ASReview is daarmee meer dan een tool: het is een onderzoeksproject. ‘We kijken continu: hoe werkt ASReview in welke situatie?’, aldus De Boer. ‘We nemen alles onder de loep: van domme, snelle modellen die alleen naar losse woorden kijken tot deep learning-modellen die ook de context meenemen in hun zoektocht.’
Community
Er ontstaat een heuse community rondom het project. ‘Iedereen mag met ons meedenken’, aldus Van de Schoot. ‘We hebben een discussieplatform waarop je je expertise kunt delen. Het liefst zouden we dit doel collectief blijven doorontwikkelen, zoals we nu al doen. Op die manier kunnen we de vragen die we nu aan elkaar stellen in een groter verband aankaarten. We kunnen nog zo veel van elkaar leren.’
Wie nu denkt dat de tool alleen nuttig is voor diehard onderzoekers komt bedrogen uit, weet Van de Schoot. ‘ASReview is breed toepasbaar: de tool wordt al gebruikt voor verslagen, wetsteksten, krantenartikelen en e-mailverkeer. Het is een mooie optie voor iedereen die een grote hoeveelheid tekst wil doorploegen.’
ASReview won in 2019 de initiatiefprijs bij de Victorines, prijzen bedoeld om publicaties en vernieuwing in het informatievak te stimuleren. Inzenden voor de Victorines 2021 kan nog tot 1 september dit jaar. Meer informatie vind je op knvi.nl/victorine.
Anne van den Dool is tekstschrijver, auteur en cultureel journalist.
Deze bijdrage komt uit IP #5/2021. Het hele nummer kun je hier lezen.