Door Frank Huysmans
Schrijf een paper van drie kantjes over recent onderzoek naar het verband tussen vrijetijdslezen en schoolprestaties. Inclusief bronvermelding. Dat was de allereerste taak die ik op ChatGPT afvuurde. Do your worst, siste ik nog. De vijand gaf geen krimp en vuurde terug. Binnen luttele seconden, in grammaticaal correcte zinnen en ook nog eens goed leesbaar. Met referentielijst. Oei. Mijn collega’s aan de universiteit overdreven dus niet toen ze zeiden dat het werkstuk als toetsvorm zojuist was gesneuveld.
Des te groter was de opluchting toen ik de referenties ging checken en de meeste niet echt waren. Ha! Busted! Inderdaad hebben ChatGPT en consorten de hardnekkige neiging om bronnen en andere feitelijkheden uit de artificiële duim te zuigen. ‘Hallucineren’ noemen de makers dat, en ze weten eigenlijk niet waarom hun large language models (LLM’s) het doen. Mooi, houden zo, dat geeft ons weer even wat lucht in de slag om de integriteit in het (hoger) onderwijs.
Die adempauze duurde, toegegeven, niet heel lang. Je kon er natuurlijk ook op wachten dat iemand het hallucineren een halt zou toeroepen. Een tikje omslachtig, dat wel. Train een andere machine learning-toepassing met 200 miljoen wél bestaande wetenschappelijke artikelen, knoop ChatGPT eraan vast en je hebt Consensus.app. Die geeft je een rijtje wel bestaande studies, vermeldt bij elke titel wat voor soort onderzoek het was en schrijft desgewenst de eerste versie van je (lees: ‘je’) literatuurstudie.
Je weet niet hoe de selectie van artikelen tot stand is gekomen en hoe volledig die is, want machine learning gunt je geen blik onder de motorkap. De domeinspecialist van de bibliotheek kan dus nog niet het raam uit. Zeker als je een systematische review van eerder onderzoek aan het maken bent die aan een afgesproken standaard moet voldoen.
Hoe dan ook schelen tools als Consensus een hoop werk. En niet alleen bij literatuuronderzoek. Voor zo’n beetje alle fasen in het onderzoeksproces is kunstmatige assistentie in te huren. Het laat zich raden waartoe dit kan leiden: een verdere versnelling van de wereldwijde kennisproductie. En een verbetering, mits die assistenten goed en verantwoord worden ingezet.
Dat is een grote ‘mits’, want het omgekeerde is even voorstelbaar. Een geloofwaardig databestand is met AI in een handomdraai gefabriceerd. Evenals een daarop gebaseerd onderzoeksverslag. En ja, dergelijke fraude zal vast weer te ontmaskeren zijn met een nieuwe ‘slimme’ applicatie, en die op haar beurt ook weer. Het is misschien niet de AI-wapenwedloop die de wereld het meest vreest, maar voor kennisintensieve samenlevingen wel een verdomd (!) lastige.
Frank Huysmans is bijzonder hoogleraar Information Society aan de UvA en zelfstandig onderzoeker en adviseur bij WareKennis.
Deze bijdrage komt uit het digitale magazine IP #5-2024. De gesproken versie van de column vind je hier:
Klik op de onderstaande button om het hele nummer te lezen.
