Elk jaar organiseren de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO) en het ICT Research Platform Nederland (IPN) de workshop ICT with Industry. Een week lang werken ICT-onderzoekers en professionals uit het bedrijfsleven en publieke organisaties samen aan ICT-uitdagingen. De KB heeft hier inmiddels goede ervaringen mee opgedaan.
Door: Rosemarie van der Veen-Oei en Mirjam Cuper
Voor de workshop ICT with Industry verzamelen onderzoekers en professionals zich jaarlijks in het Lorentz Center, gevestigd bij de Universiteit Leiden. Deze locatie biedt een fijne omgeving om te experimenteren met real life uitdagingen. De deelnemers kunnen hier ongehinderd – dat wil zeggen: zonder beperkingen als lokale servers, protocollen, overlegstructuur, et cetera – werken.
Voor deelnemende partners is de workshop een uitgelezen kans om uitdagingen vanuit de praktijk in te brengen. In teams werken onderzoekers met uiteenlopende ICT-expertise aan deze uitdagingen. De KB heeft twee achtereenvolgende jaren deelgenomen aan deze workshop.
ICT-uitdagingen bij de KB
Waarom doet de KB hieraan mee? De KB heeft de omslag gemaakt naar een ICT-gedreven organisatie die zoveel mogelijk probeert aan te haken bij verschillende informatienetwerken. De technologieën en ICT-diensten, zoals Delpher.nl, die ze hiertoe inzet, brengen allerlei uitdagingen met zich mee. Reden om ze in te brengen bij initiatieven als ICT with Industry.
De ervaring heeft geleerd dat in de workshop hard gewerkt wordt en veel kan worden bereikt door de uiteenlopende expertises. Daarnaast vindt de KB het belangrijk dat ze door deze samenwerking gebruik kan maken van de denkkracht van getalenteerde onderzoekers uit diverse ICT-disciplines. De workshops ICT with Industry waaraan de KB in 2019 en 2020 heeft meegedaan, hebben positieve ervaringen opgeleverd en nieuwe inzichten voor de praktijk.
Het recept
Voorafgaand aan de workshop schrijft elke deelnemer zich in voor een specifieke case die aansluit bij eigen expertise en interesse. Op maandag, de eerste workshopdag, presenteren organisaties een vraagstuk en aan het eind van de week dragen de workshopdeelnemers oplossingsrichtingen aan. In de tussenliggende dagen wordt er keihard (samen)gewerkt. Doordat je ad hoc met andere geïnteresseerden een team moet vormen, ontstaat er een bijzondere – en productieve – sfeer. Tussendoor lassen de organisatoren de nodige ontspanningsmomenten in, zoals een pizza-avond of een boottocht.
Gedurende de workshop worden de deelnemers gestimuleerd om hun kennis uit te wisselen en gebruik te maken van de knowhow van anderen. Daardoor ontstaan er in een korte tijd verenigde kennis en inzichten, die weer leiden tot nieuwe onderzoeksvragen, nieuwe onderzoekslijnen, enzovoort. En natuurlijk: voor de eigenaar van het vraagstuk de belangrijkste oplossingsrichtingen.
Voor de KB heeft de workshop tot nu toe steeds bevestigd dat ze op de goede weg zit en het heeft ook concrete oplossingen opgeleverd voor verdere uitwerking. Voorafgaand aan de workshop heeft de KB een site visit voor de workshopdeelnemers georganiseerd. Zij krijgen zo een kijkje in de keuken van de KB, alsook een verdiepingsslag voor de ingebrachte ICT-uitdaging. Tegelijkertijd worden afspraken gemaakt over het gebruik van de datasets tijdens de workshop.
Automatisch metadateren
In 2019 werkte de KB samen met tien wetenschappers onder leiding van dr. Iris Hendrickx (Radboud Universiteit) aan een verkenning om (semi-)automatisch Brinkman-trefwoorden (oftewel trefwoorden van de KB-depotcollectie) toe te kennen aan dissertaties. Als referentie gebruikte de KB de titelbeschrijvingen uit haar eigen database, het Gemeenschappelijk Geautomatiseerde Catalogiseersysteem (GGC). De dissertaties zelf waren vooraf binnengehaald vanuit de repositories van de universiteitsbibliotheken van Groningen, Delft, Rotterdam, Leiden, Utrecht en Wageningen.
Vanuit deze bronnen waren ook de metadata beschikbaar, zoals samenvattingen en onderwerpstoekenning. Deze gegevens waren echter erg wisselend van aard en kwaliteit, tussen, maar ook binnen de betrokken universiteiten.
De workshop leverde onder andere een demo van de analysetool en een beoordeling van de systemen op basis van precision en recall. Met deze resultaten ziet de KB ruimte voor verbeteringen in het gebruikte systeem en nieuwe onderzoeksvragen. Voor de KB heeft deze workshop geresulteerd in de whitepaper Verkenning mogelijkheden automatisch metadateren. Hierin presenteren de auteurs de verkregen inzichten, die grotendeels voortkomen uit de workshop.
Verbeterde toegang tot gotisch drukwerk
In de 2020-editie heeft de KB samen met het KNAW Humanities Cluster (HuC) een vraagstuk ingediend: hoe kunnen de Optical Character Recognition (OCR)-technieken worden verbeterd om scans van gotisch drukwerk automatisch om te zetten naar digitale tekst?
Door afwijkende drukletters en een afwijkende schrijfwijze ten opzichte van het huidige alfabet (zoals de lange ‘s’) levert het omzetten van gotisch drukwerk naar digitale tekst namelijk de nodige problemen op. Ook kan de inkt doordrukken van de andere zijde, zijn er verschillende lettertypen gebruikt of heeft het drukwerk water- of brandschade. Door deze problemen is de kwaliteit van de gedigitaliseerde teksten vaak slecht. Het gevolg ervan is dat dit materiaal vaak niet worden gevonden, bijvoorbeeld via Delpher.nl.
De onderzoekers onder leiding van professor Lambert Schomaker (Rijksuniversiteit Groningen), expert op het gebied van handschriftherkenning, konden aan de slag met datasets die bestonden uit verschillende kranten en boeken, met daarin teksten gedrukt in zowel puur gotisch als gemengde lettertypen. Voor een groot deel van deze teksten was een correcte digitale versie van de tekst aanwezig. De onderzoekers konden deze digitale tekst gebruiken om de kwaliteit van hun algoritmes te testen.
Het team werkte aan verbetering van de drie stappen waaruit het OCR-proces bestaat. Voor alle stappen zijn verschillende machine learning-technieken getraind en getest, waarbij werd gekeken of deze technieken de kwaliteit van de automatisch gegenereerde tekst verbeterde. Ook is er gebruikgemaakt van het door Schomaker ontwikkelde programma Monk. Hierbij train je een algoritme in het herkennen van woorden, door telkens aan te geven of de door de computer voorgestelde opties correct of incorrect zijn. Om de verschillende stappen bij elkaar te brengen én om een manier te verkrijgen om de prestatie van verschillende algoritmes te meten, is een concept-benchmark ontwikkeld. De workshopresultaten leidden onder andere tot een volgende stap in de verbetering van de kwaliteit van gedigitaliseerde teksten.
De KB heeft de resultaten en inzichten van haar deelname aan de workshops gepubliceerd op het KB research lab: lab.kb.nl. Intussen kijkt de KB uit naar de volgende ICT with Industry-workshop in 2021. Oproep tot deelname wordt gepubliceerd via ict-research.nl/ict-with-industry.
Mirjam Cuper is data scientist bij de KB. Rosemarie van der Veen-Oei is adviseur (inter)nationale samenwerking bij de KB
Deze bijdrage komt uit IP nr. 2 / 2020. Het gehele nummer kun je hier lezen.