Terwijl Nederland afgelopen maanden de coronacrisis lijdzaam onderging, werkten informatieprofessionals achter de schermen mee aan de bestrijding ervan. Drie betrokkenen vertellen over de rol van informatie in dit proces, de (on)zin van AI en de bijdrage van IP’ers. ‘Hun functie verandert naar die van data scientist.’
Door Cindy Lammers
Covid-19; de eerste weken. Vers in het geheugen ligt nog hoe iedereen – van overheid en zorg tot commercie en burger – snakte naar informatie. Weinig harde feiten waren er, wel onzekerheid en vrees. Onttrokken aan het publieke oog werd in de tussentijd een enorme operatie op touw gezet. Data- en informatieverzameling was daarin een uiterst belangrijke taak – en is dat nog steeds. Directbetrokkene van het eerste uur is Ingeborg van Dusseldorp. Ze doet als informatiespecialist bij het Kennisinstituut van de Federatie Medisch Specialisten literatuuronderzoek voor de medisch-wetenschappelijke verenigingen. ‘Je kunt stellen dat in maart dit jaar ook binnen het Kennisinstituut de wereld totaal veranderde. Van de ene op de andere dag deed ik alleen nog maar searches voor Covid-19 – tot de zomer aan toe. Daarna vlakte het werk hiervoor weer wat af.’
Manier van zoeken veranderd
Het Kennisinstituut heeft een standaard manier van zoeken, vertelt ze. ‘Die bestaat eruit dat we searches doen naar literatuur met de hoogste evidence. Wat Covid-19 betreft zochten we dus op systematic reviews, RCT’s (randomised controlled trials) en observationele studies. Maar al snel bleek dat we geen evidence konden vinden, helemaal niks. In de grote databases van Pubmed zagen we absoluut geen literatuur staan. Wat we vonden en ook aangedragen kregen was absoluut niet peer reviewed. Dat was wel bijzonder. Want we kregen ook te horen: “Hé, jullie hebben een artikel gemist.” Nou, het ergste wat je een informatiespecialist kunt aandoen, is zeggen dat je in de literatuur iets over het hoofd hebt gezien’, zegt ze lachend. ‘Maar duidelijk was in elk geval wel dat we het anders moesten gaan aanpakken.’
Hoe dan? ‘We moesten onze zoekactie aanpassen, een stapje teruggaan en naar andere bronnen kijken. Dus deden we onze search op de preprintservers MedRxiv (uitgesproken als ‘med archive’) en BioRxiv (uitgesproken als ‘bio archive’), in de database van de WHO en last but not least – dat was eigenlijk nog wel het ergst, vonden wij als IP’ers – op Google Scholar.’
25.000 referenties
Het was van maart tot en met juli vijf tot zeven dagen in de week werken, zo herinnert Van Dusseldorp zich. ‘Elke dag weer zoeken naar nieuwe informatie, nieuwe updates draaien in de databases, en deze aanbieden aan de adviseurs en de werkgroepleden van de medisch-wetenschappelijke verenigingen. Daar werden dan richtlijnen en handleidingen van gemaakt die voor het hele land beschikbaar waren om Covid-19 te bestrijden. In de loop van tijd hebben we dit wel kunnen aanpassen naar wekelijkse updates, maar de informatiestromen waren voor ons echt heel groot.’
Klein voorbeeldje, zegt ze: ‘We kregen een zoekvraag binnen over de medicamenteuze behandeling van Covid-19. Iedereen die werkt met medische literatuur weet dat als je komt met een vraag over “medicamenteuze behandeling van” en dan een ziektebeeld, dit heel veel gaat opleveren. Dat was dus ook zo. We hebben momenteel al circa 25.000 referenties verzameld op het gebied van medicamenteuze behandeling van Covid-19. Het goede nieuws is dat dit mede heeft geresulteerd in de leidraden en richtlijnen voor bijvoorbeeld middelen als remdesivir en dexamethason. Daar doe je het natuurlijk voor!’
Zoeken met AI-tool
In de periode dat het voor Van Dusseldorp en collega’s keihard werken was, kwam er ook hulp. In dit geval van Universiteit Utrecht, van Rens van de Schoot, professor Statistics for Small Data. ‘Hij zei: “We hebben een prachtige artificial intelligence (AI)-tool die zorgt dat je veel sneller door je literatuur heengaat”’, vertelt ze. ‘Daar zijn we ook vol enthousiasme mee begonnen, maar het aantal vragen explodeerde zo dat ik Rens heb gebeld om te zeggen dat het gewoon niet ging lukken. Waarop hij terecht aangaf: “Maar dan moet je juist met AI aan de slag zodat je daarin wordt ontlast.’
Wouter Harmsen, epidemioloog en adviseur bij het Kennisinstituut van de Federatie Medisch Specialisten, begrijpt wat Van Dusseldorp bedoelt. Hij zag ook de workload, en die was niet mis. Maar AI verdween daarmee niet van het toneel, weet hij. ‘We hadden al een programma lopen om te kijken hoe we AI-tools kunnen inzetten om de juiste literatuur te vinden. Op de achtergrond hebben we dit wel doorgepakt, om bij niet-Covid-vragen de huidige literatuurselecties te repliceren.’ Maar omdat de nood door Covid zo hoog was, is hij ook gaan kijken of er toch iets mogelijk was samen met Van de Schoot en team. Al was het maar om te ervaren wat zo’n AI-tool nu precies doet, om er feeling mee te krijgen, zegt hij. ‘Wat je vaak ziet is dat dergelijke tools nog in een experimentele fase zitten. Bij het Kennisinstituut hebben we juist gereedschap nodig dat meteen bruikbaar is in de praktijk voor de specialisten die de literatuurselecties maken. Het is goed om dat gebruikersgemak te onderzoeken.’
Cord-19-database
De samenwerking met Van de Schoot betrof de AI-tool ASReview (https://asreview.nl), afkorting van Automatic Systematic Review, waarmee grote databestanden automatisch kunnen worden doorzocht dankzij active learning-software. In 2019 won hij met dit project de initiatiefprijs van het Victorine van Schaickfonds. ‘Precies een jaar geleden was dat’, herinnert Van de Schoot zich. ‘Vlak erna brak helaas de coronapandemie uit, maar dat was voor ons een mogelijkheid om te versnellen, juist omdat het aantal artikelen over Covid-19 explosief steeg. We zijn gaan samenwerken met het Allen Institute for AI; deze organisatie heeft voor het Witte Huis de Cord-19-database gemaakt, met daarin alle artikelen op het gebied van corona, dus ook Sars, Mers en oude studies. Inmiddels zitten daar zo’n 160.000 publicaties in. En die kun je onderzoeken met AI.’
‘Dit probeerden we dus aan te smeren aan Ingeborg’, vervolgt Van de Schoot lachend. ‘Maar zoals ze al vertelde waren ze enorm druk, waardoor het op dat moment niet werkte. Gelukkig was Wouter er om dit verder op te pakken. Inmiddels hebben we ontzettend veel leuke resultaten binnen.’ Er zijn overigens veel zoekmachines gebouwd op die Cord-19-database, weet hij, ASReview is er één van. ‘Want er is een enorme behoefte aan kennis. Er worden ook veel challenges uitgeschreven om de beste AI-toepassing los te laten op die database, om zo snel mogelijk de relevante studies naar boven te krijgen.’
Open science
Als lid van De Jonge Akademie van de Koninklijke Nederlandse Academie van Wetenschappen (KNAW) is Van de Schoot een sterk voorstander van open science. ASReview is dan ook een open tool. ‘Alle code staat open op GitHub. Al onze fouten en al onze goede dingen kun je er zien. We krijgen ook veel hulp van programmeurs over de hele wereld om de tool te verbeteren. En dat vind ik ontzettend belangrijk. Want als je het hebt over AI die beslissingen van Ingeborg en collega’s uit handen gaat nemen, dan moet je wel dingen weten. Het moet geen blackbox worden. Er zou niks zo vreselijk zijn als dat Ingeborg vervangen wordt door een of andere machine waarvan we helemaal niet meer weten wat die aan het doen is.’ Als je AI gebruikt moet je laten zien wat er achter de schermen gebeurt, vindt hij. ‘Dat is het minste wat je kunt doen als wetenschapper.’
Hij kan dit ook doen, zo weet hij best, omdat hij – indirect – betaald wordt door de Belastingdienst. ‘Ik hoef met de tool geen winst te maken, maar een commerciële partij gaat haar code nooit openbaar gooien.’ Daarmee hebben we meteen een ethische kant van AI te pakken. ‘Klopt, en het is goed om te beseffen dat er twee soorten AI- en machine learning-toepassingen zijn. Je hebt AI die de beslissingen voor je neemt, en AI die jou ondersteunt en je leven makkelijker maakt. In het eerste geval worden trainingsdata gebruikt om jouw eigen data te annoteren. Dus de machine zegt: dit is relevant. In het tweede geval wordt een rangschikking gemaakt op basis van meest relevant tot minst relevant, en moet jij als mens de beslissing nemen of iets wat door de machine wordt aangeboden echt relevant is. Dat noemen ze de oracle modus. Zo blijf je als mens de poortwachter van informatie en kennis.’
IP’er overbodig?
Daarmee doemt meteen een mogelijk beeld op van de toekomstige (medisch) informatieprofessional. Van Dusseldorp is er niet helemaal gerust op. ‘Hoelang gaan we nog echt uitgebreide zoekstrategieën bouwen? Of wordt het snel een paar termen intoetsen en zijn we er ook?’ De inaugurele rede die Van de Schoot hield aan het begin van dit jaar had als titel ‘Machines vervangen wetenschappers’. Dat bekt natuurlijk lekker, maar zit er wellicht ook een kern van waarheid in?
Van de Schoot lacht. Zo erg is het nu ook weer niet. ‘Ik denk dat de rol van de (medisch) informatiespecialisten evolueert naar die van data scientist. En dat ze inmiddels al meer data scientist zijn dan ze zich realiseren. Want heel veel AI-toepassingen zijn er al. We hebben het nu over nieuwe toepassingen op de Cord-19-database die beschikbaar zijn gekomen, maar Google Scholar is een en al AI. Pubmed, daar zit alleen maar AI achter! De tijd dat je naar de bibliotheek ging en een stapeltje tijdschriften meenam is allang voorbij.’
Garbage in, garbage out
De uitdaging voor IP’ers is in deze beweging mee te gaan, vervolgt hij. ‘Dat ze zich meer data scientist gaan voelen, en gatekeepers.’ Harmsen reageert bevestigend knikkend: ‘Ook ik zie die rol veranderen.’ Van de Schoot: ‘Ik vind als hoogleraar dat je niet aan machines de keus moet overlaten welk artikel wel of niet relevant is. Want: garbage in, garbage out. Denk aan al die fouten die we in het nieuws tegenkomen; zo’n Google-auto die “een gekleurde vrouw die net niet op het zebrapad oversteekt” aanrijdt omdat zo’n foto toevallig niet in de database zit – dat moeten we niet willen. Dus informatiespecialisten zijn cruciaal om quality control te handhaven, ze zijn dé experts. Maar dat hun positie gaat veranderen, dat lijkt me wel duidelijk.’
Meer lezen over het zoeken naar informatie over het coronavirus? Check dan ook IP#2 van dit jaar.
Het onderwerp ‘Informatie, AI en Covid-19’ werd behandeld tijdens SmartHumanityTV van beroepsvereniging KNVI, afgelopen 30 november. Tijdens dit online evenement presenteerden Marjo Bakker (NIOD) en Eric Kokke (GO opleidingen) een serie televisieprogramma’s met gasten uit het informatiedomein in binnen- en buitenland.
Het hele programma (en delen ervan) is terug te kijken op het YouTube-kanaal van de KNVI.
‘Maak als IP’er tijd voor innovatie, want anders ben je al bij voorbaat uitgerangeerd’
Als informatieprofessional ben je, zeker in het geval van Van Dusseldorp en collega’s, erg druk. Bezig met de waan van de dag, voor innovatie is eigenlijk geen tijd. Misschien is het ook wel een beetje eng. Van de Schoot snapt dat best. ‘De technologie gaat heel hard, zeker in deze coronatijd. Het is moeilijk bij te houden en best spannend, en dan moet je ook nog je gewone werk doen.’ De crux is samenwerking, zegt de hoogleraar. ‘Dingen uitproberen, explainable AI heet dat. Waarom werkt het nou op de ene dataset heel goed en op de andere niet. Jij hoeft je niet om te scholen tot AI-specialist, maar je kunt wel met hem samenwerken.’
Hoewel Van Dusseldorp door drukte eerder moest afhaken bij het AI-project bij haar werkgever, weet ze ook dat ze moet “meebewegen met de technologie”. ‘Je kunt niet anders. Geen tijd hebben voor vernieuwing is natuurlijk geen argument. Het is leuk, en je begrijpt ook beter wat er op je afkomt. Mijn advies is: maak altijd tijd voor innovatie want anders ben je al bij voorbaat uitgerangeerd.’
Zoekblok voor Covid-19
Van Dusseldorp: ‘In Nederland zitten heel veel medisch informatiespecialisten, allemaal even grote vakidioten, en in no time stond er een prachtig zoekblok met allerlei terminologie voor Covid-19. Dit hebben we landelijk met elkaar gedeeld en het wordt telkens opnieuw aangevuld als er nieuwe termen zijn. Het zijn prachtige bronnen waarvan iedereen gebruik van maken.’
Cindy lammers is hoofdredacteur van IP.
Deze bijdrage komt uit IP #9/2020. Het hele nummer kun je hier lezen.