Door Dorien Haagsma
Wat als een op AI gebaseerd programma je gaat helpen bij ingewikkeld uitzoekwerk? Werk dat heel zorgvuldig moet gebeuren en waar jij vele uren training en ervaring in hebt? Dan moet zo’n programma wel betrouwbaar zijn.
De KB bewaart alle fysieke en digitale titels die in en over Nederland verschijnen. Een heel team van titelbeschrijvers verwerkt duizenden titels per jaar. Een specialistisch werkje waarbij per titel minimaal 25 velden met metadata worden toegevoegd. Vanuit de afdeling Onderzoek kijken we of we dit proces met behulp van artificial intelligence (AI) kunnen ondersteunen.
We ontwikkelen daarvoor de Demosaurus. Deze tool helpt bij het invullen van twee lastige velden. Ten eerste het toevoegen van trefwoorden aan de titel, zodat de klant later makkelijker kan vinden wat hij of zij zoekt. Ten tweede het koppelen van een unieke auteur aan de auteursthesaurus, het thesaureren. Dat wordt vooral ingewikkeld als de auteur een veelvoorkomende naam heeft zoals Jansen of De Vries. Een auteursnaam als J. Jansen krijgt bijvoorbeeld meer dan 250 hits. Dan is het een hele uitdaging om de juiste koppeling te maken. De Demosaurus vergelijkt auteurs van al eerder beschreven titels met de nieuwe titel en geeft aan wat de meest waarschijnlijke match is.
We vinden het belangrijk dat de catalogiseerder de uiteindelijke keuze maakt. De Demosaurus genereert een lijst met suggesties met de meest waarschijnlijke auteurs en trefwoorden. De uitdaging is om de tool zo te maken dat de beste suggesties zo goed mogelijk scoren.
De tool zelf ervaren
Omdat we uiteraard input van onze gebruikers nodig hebben, deden we recent een gebruikerstest. We stelden daarbij ook vragen aan de catalogiseerders over wanneer ze de tool willen gebruiken. Een van de testers, die dit werk al jaren doet, verwacht niet dat de Demosaurus haar werk makkelijker zal maken en denkt het niet veel te gaan gebruiken. Twee anderen willen de tool vooral inzetten bij echt lastige gevallen. Weer een andere catalogiseerder is zo enthousiast dat ze de Demosaurus standaard open wil hebben staan; zij verwacht dat ze met de tool haar werk een stuk sneller kan doen.
Wat alle catalogiseerders gemeen hebben, is dat ze graag een betrouwbare tool willen. Dit zou hun het vertrouwen geven dat ze nodig hebben om de tool ook echt te gaan gebruiken. Die betrouwbaarheid krijg je niet alleen met goede testresultaten, maar vooral ook door de tool zelf te ervaren.
Trainingsset uitbreiden
Naast input uit de gebruikerstest kregen we die ook door over de schouder van de testers mee te kijken terwijl zij in onze testomgeving aan de slag gingen. Zo konden we bijvoorbeeld zien hoe zij zich de eerste keer door de tool bewogen. We leerden hiermee wat wel en niet werkt, en hoe we de Demosaurus verder kunnen verbeteren.
Onze pilot richt zich op dit moment nog specifiek op kinderboeken. In de komende periode gaan we onze trainingssetuitbreiden en trainen we de algoritmes verder voor nog betere scores.
Dorien Haagsma is coördinator Vernieuwing op de afdeling Digitalisering en Documentverwerking bij de Koninklijke Bibliotheek.
Deze bijdrage komt uit IP #8/2021. Het hele nummer kun je hieronder lezen of downloaden.