Door Daphne Spoolder
Daphne Spoolder deed eerst een eigen systematische review en vroeg zich daarna af of dit wellicht sneller had gekund, bijvoorbeeld met de hulp van kunstmatige intelligentie. Ze dook in ASReview om te achterhalen wat het haar zou kunnen bieden bij een toekomstige review.
In het afgelopen jaar heb ik een systematische review geschreven over het onderwerp ‘verpleegkundige interventies tegen blaaskrampen bij patiënten met een blaaskatheter’. Een arbeidsintensief proces dat ik naast mijn baan als informatiespecialist en adviseur EBP heb uitgevoerd en waar ik ruim een jaar over heb gedaan. Toch vond ik het belangrijk om als informatiespecialist dit gehele proces een keer te doorlopen. Ook kon ik zo een belangrijk probleem waar ik tegenaan liep als verpleegkundige aanpakken en tegelijkertijd iets bijdragen aan de zorg voor de patiënt. Win-win dus.
Dat het uitvoeren van een systematische review veel tijd in beslag neemt, wist ik, maar het selecteren van artikelen was mij echt een doorn in het oog. Het duurt lang, en het is saai en repeterend werk, maar het is ook enorm van belang dat het goed gebeurt: ik wilde ten slotte niets missen.
Eigen handmatige review
Op EAHIL 2022, het congres van de European Association for Health Information and Libraries (EAHIL), woonde ik een lezing bij over ASReview (Automated Systematic Review), een ‘open source machine learning framework’ 1 dat je helpt om records te selecteren en waarmee je het vinden van relevante artikelen dus kunt versnellen. Vooral dat laatste klonk me goed in de oren, maar ik wilde eerst mijn review afronden zoals ik had beschreven in mijn methodesectie. Aangezien ik binnen onze organisatie ondersteuning bied bij het gebruik van EndNote, koos ik dit programma ook voor mijn eigen systematische review. Omdat er over mijn onderwerp niet zo veel geschreven is, heb ik heel breed gezocht in zes verschillende databanken. Dit leidde tot 4.208 records, waarvan er na deduplicatie nog 2.658 overbleven. Na het lezen van alle titels en abstracts vielen er nog eens 2.306 artikelen af. De overige 352 artikelen heb ik in full-text gelezen, waarna uiteindelijk slechts twintig artikelen konden worden geïncludeerd.
Artificial intelligence
De review is inmiddels afgerond en ingediend ter publicatie. Tegelijkertijd is artificial intelligence volop in het nieuws en vroeg ik mij af of het selecteren van artikelen niet sneller had gekund. Een mooi moment om mij te gaan verdiepen in ASReview en om te achterhalen wat het mij zou kunnen bieden bij een toekomstige systematische review.
Downloaden is volgens de website heel makkelijk, maar het was toch even uitvogelen. Je hebt Python nodig en je werkt in het Command Prompt, wat ik nog niet eerder had gebruikt en wat toch wat moeite kostte. Je wordt er door de makers van ASReview wel doorheen geloodst, en met goed lezen zou het je moeten lukken. Als je het programma eenmaal hebt geopend, start je een nieuw project via de knop ‘create’. Je voert wat basisinformatie in en dan voeg je een dataset toe. Er wordt geadviseerd om duplicaten van tevoren te verwijderen. Ook wordt gevraagd records te gebruiken die zowel een titel als een abstract bevatten. Ik nam dus mijn EndNote-dataset, maar kon niet mijn originele dataset van 4.208 records gebruiken. De dataset die ik gebruikte bevatte 2.423 records: 4.208 records minus de duplicaten, de Nederlandstalige artikelen en de artikelen waarvan geen abstract beschikbaar was.
Voorkeuren aangeven
Vervolgens moet je één relevant en één irrelevant artikel aanwijzen. Ik gebruikte hiervoor mijn reeds uitgeplozen dataset, maar anders moet je toch eerst zelf even zoeken naar een relevant artikel. Daarna kun je nog wat voorkeuren aangeven voor het ‘active learning model’, maar aangezien ik niet zo veel weet van AI, heb ik de standaard setup gebruikt. Voor de liefhebber: feature extraction technique: TF-IDF, classifier: Naive Bayes, query strategy: maximum, balance strategy: dynamic resampling (double). Vervolgens moet je even wachten en kun je een filmpje kijken met de naam ‘ASReview LAB explained’. Toen dit filmpje (duur 2:08 minuten) was afgelopen en de 2.423 records waren geïmporteerd, kon ik starten met reviewen.
Reviewen
Je krijgt als gebruiker steeds een artikel voorgelegd en moet dan aangeven of het relevant is of niet. Machine learning moet ervoor zorgen dat je zo snel mogelijk alle relevante records hebt gezien en kunt stoppen op het moment dat er vermoedelijk alleen nog maar irrelevante records gaan komen. Wanneer je precies stopt kun je zelf bepalen, maar ASReview geeft hiervoor wel tips. Je kunt bijvoorbeeld stoppen nadat je X% van alle records hebt bekeken, nadat je X irrelevante records voorgelegd hebt gekregen of na een bepaalde tijd (een blog over ‘stoppen met screenen’ vind je op asreview.nl/blog/asreview-class-101/#stop-screening). Ik koos ervoor om te stoppen met selecteren wanneer er achtereenvolgens tweehonderd irrelevante records werden voorgelegd. Voor deze tekst heb ik de records die ik in mijn systematische review heb geïncludeerd aangeduid als relevante records. Er waren in totaal twintig relevante records te vinden.
Als je klikt op ‘analytics’, krijg je een overzicht van de gescreende records (zie afbeelding onderaan). Wat je hier ziet is dat na het labelen van 442 records er zestien relevante records waren geïdentificeerd. Oftewel: 80% van de relevante records werd geïdentificeerd in 18,2% van de dataset. Na het voorleggen van 41 records waren er al twaalf relevante records geïdentificeerd. Dat is dus 63% van de relevante records in 1,7% van de dataset. Ik koos er zelf voor te stoppen na tweehonderd irrelevante artikelen. Als je deze tweehonderd niet meetelt, werd 80% van de relevante records geïdentificeerd in 10% van de dataset.
Oordeel
Niet alle geïncludeerde artikelen werden door ASReview voorgelegd. Wel hoefde ik nog geen vijfde van de dataset te bekijken, en dat scheelt dus een hoop tijd. ASReview heeft een hoge succeswaarde, en als auteur behoud je de controle door zelf aan te geven of artikelen relevant zijn of niet. Het stoppen is nog wel een uitdaging; je wilt natuurlijk de balans vinden tussen zo veel mogelijk vinden en je tijd zo efficiënt mogelijk gebruiken. Wat nog wel overblijft in mijn originele dataset zijn de artikelen waar geen abstract van beschikbaar was en de Nederlandstalige artikelen, dus die moet ik alsnog ‘met de hand’ selecteren.
Conclusie: ASReview is een veelbelovende tool die je veel tijd kan besparen. Wanneer je transparant rapporteert en je realiseert én accepteert dat je mogelijk niet alle relevante artikelen vindt, is het zeker bruikbaar. Bovendien: ook de mens ziet wel eens een artikel over het hoofd.
1 Van de Schoot, R., de Bruin, J., Schram, R. et al. An open source machine learning framework for efficient and transparent systematic reviews. Nat Mach Intell 3, 125–133 (2021). https://doi.org/10.1038/s42256-020-00287-7
Daphne Spoolder is informatiespecialist, adviseur EBP en verplegingswetenschapper bij het Kennis- en informatiecentrum van het St. Antonius Ziekenhuis.
Deze bijdrage komt uit de papieren IP #4-2023. Het hele nummer kun je hieronder lezen of downloaden.