Door Mirjam Cuper
Veel erfgoedmateriaal is digitaal beschikbaar, maar de kwaliteit van de gedigitaliseerde teksten is niet altijd even goed. De KB gebruikte de workshop ICT with Industry om uit te zoeken hoe het meten van die kwaliteit geautomatiseerd kan.
De Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO) en het Lorentz Center in Leiden organiseren elk jaar de workshop ICT with Industry. Een week lang werken studenten, onderzoekers, academici en professionals uit het bedrijfsleven samen aan vraagstukken vanuit de praktijk. Afgelopen januari deed de KB voor de vierde keer mee aan deze workshop. Samen met vier enthousiaste deelnemers en academisch leider Giovanni Colavizza (assistent-professor Digital Humanities aan de UvA) werd geëxperimenteerd met manieren om geautomatiseerd de kwaliteit van teksten te bepalen.
Computerleesbare tekst
Erfgoedinstellingen bezitten een schat aan waardevolle historische documenten. Om deze in te zien moest je vroeger langsgaan bij een erfgoedinstelling en ze daar bekijken. Hierdoor was het materiaal niet voor iedereen even toegankelijk. Als je onderzoek wilde doen naar een grote hoeveelheid documenten, kostte dat veel handwerk en tijd.
Gelukkig hebben veel erfgoedinstellingen inmiddels een groot deel van hun materiaal digitaal beschikbaar gesteld. Hierbij bieden zij vaak niet alleen een afbeelding van het originele materiaal aan, maar ook de bijbehorende computerleesbare tekst. Deze tekst is automatisch door de computer gegenereerd door middel van optische tekenherkenning, ook wel optical character recognition (OCR) genoemd. Hierdoor zijn collecties makkelijk online doorzoekbaar, zoals bijvoorbeeld te zien is op delpher.nl. Computerleesbare tekst heeft ook nog een ander voordeel: onderzoekers kunnen op deze manier via de computer grote hoeveelheden documenten analyseren, iets wat handmatig erg lang zou duren of soms zelfs niet eens mogelijk zou zijn.
Kwaliteitsproblemen?
Om te kunnen profiteren van deze voordelen moet de computerleesbare tekst van voldoende kwaliteit zijn. Helaas is dat bij historische documenten niet altijd het geval. Zij hebben vaak problemen, zoals schade, vlekken en doorgedrukte of vervaagde inkt, en dit bemoeilijkt het digitaliseren, waardoor de kwaliteit van de computerleesbare tekst varieert. Op dit moment is er nog geen goede manier om de kwaliteit van deze teksten geautomatiseerd te meten. Daarom was ons vraagstuk tijdens de workshop: hoe kunnen we geautomatiseerd de kwaliteit van onze collectie bepalen?
Experimenteren met oplossingen
De deelnemers zijn met verschillende mogelijke oplossingsrichtingen aan de slag gegaan. Zo hebben ze onder andere varianten van een woordenboekvergelijking onderzocht. Hiermee wordt voor elk woord in de gedigitaliseerde tekst gekeken of het voorkomt in het woordenboek. Eén van de varianten was om tekst en woordenboek per periode op elkaar af te stemmen. Ook hebben de deelnemers gekeken naar het gebruik van de structuur van taal en hoe teksten taalkundig in elkaar zitten om een uitspraak te doen over de tekstkwaliteit. Als laatste hebben ze onderzocht of aan de hand van eigenschappen van de afbeelding van het document een voorspelling over de tekstkwaliteit kan worden gedaan.
Uit de uitkomsten van de experimenten is gebleken dat op dit moment de standaard woordenboekmethode het meest precies is. Tegelijk hebben sommige andere oplossingen laten zien dat ze potentie hebben, dus het advies aan de KB is om hiermee door te experimenteren.
Mirjam Cuper is data scientist bij de Koninklijke Bibliotheek (KB), nationale bibliotheek.
Deze bijdrage komt uit de papieren IP #2-2023. Het hele nummer kun je hieronder lezen of downloaden.