De British Library heeft haar eerste schreden gezet op het pad van AI. Met een machine learning-project om te onderzoeken of het mogelijk is om automatisch taalcodes toe te voegen aan bestaande catalogusrecords van boeken.
Door Marja Kingma
In Nederland onderzoekt de Koninklijke Bibliotheek al langer de mogelijkheden van artificial intelligence (AI) bij het verlenen van bibliotheekdiensten, met name met het oog op betere ontsluiting en vindbaarheid van informatie. Hetzelfde doet de British Library; deze nationale bibliotheek experimenteert met AI voor het verbeteren van catalogusrecords van boeken.
Eén van de problemen die de Library-catalogus Explore heeft is dat 4,7 miljoen MAchine-Readable Cataloging (MARC) records – van de ruwweg 15 miljoen records van boeken – geen taalcode hebben, terwijl er meer dan 480 talen voorkomen. Het is soms erg handig om op taal te kunnen zoeken, wat ook mogelijk is in Explore, want daarmee kun je zoekresultaten met duizenden titels behoorlijk inperken. Maar records zonder taalcode worden in zo’n zoekactie niet meegenomen. Om daar iets aan te doen voerde het metadatateam van de British Library vorig jaar oktober een machine learning-project uit, waarbij ze onderzochten of het mogelijk is automatisch taalcodes toe te voegen aan bestaande MARC records. Tevens was het doel te bepalen welke methodes het meest accuraat zijn.
Welk model?
Hoewel er al langer onderzoek wordt verricht naar talenidentificatie bleven korte teksten voor de opkomst van sms en sociale media veelal buiten beschouwing. Het was bekend dat het moeilijker wordt voor machines om taal te leren naarmate er meer talen in de dataset voorkomen en naarmate de trainingsdataset en ook de teksten kleiner zijn. Dat was bij het bovengenoemde project dus het geval. Om de zaak niet nog ingewikkelder te maken koos het team voor een statistisch in plaats van een linguïstisch model. Na wat experimenteren vonden ze dat een ‘naïef’ Bayesiaans model het beste zou passen.
De manier waarop dit werkt is – heel simpel gezegd – als volgt: een tekst in een onbekende taal werd vergeleken met een trainingscorpus, vervolgens werd er een voorspelling gedaan over de taal waarin de tekst is gesteld. Als trainingscorpus koos het team voor alle records met een geldige taalcode. Taalcodes zoals ‘onbepaald’, ‘verschillende’, ‘gebarentaal’ en alle records met ‘eng’ voor English werden verwijderd. Zo bleven er 3 miljoen records over waar nog enkele andere acties op werden uitgevoerd voordat de records zonder taalcode erop werden losgelaten.
Correcties met de hand
Ondanks het feit dat het om enkele miljoenen records ging bleek het corpus toch wat klein om 405 talen te kunnen lokaliseren in de records die elk relatief weinig tekst bevatten. Dat maakte het lastig om goede voorspellingen te doen. Uit de resultaten kwam bijvoorbeeld naar voren dat records vaak foutief als Engels geclassificeerd waren, en Afrikaans en Fries veelal als ‘Dutch’. Het team besloot daarop aan vreemdetalencuratoren te vragen om correcties met de hand uit te voeren.
Dat is precies wat wij hebben gedaan tijdens de eerste maanden van de lockdown, zoals ik beschreef in mijn artikel in de vorige IP. Daarna is de trainingsdataset voor een tweede keer door het systeem gevoerd om het te laten leren van zijn fouten.
Living with Machines
Op dit moment hebben circa 2 miljoen records taalcodes gekregen, en er volgen er nog 1 tot 2 miljoen. Daarnaast werkt het team samen met het Alan Turing Institute, het nationale instituut voor data science en kunstmatige intelligentie, aan modellen die datasets van middelmatige omvang beter aankunnen dan de gebruikelijke modellen die geschikter zijn voor grote datasets. Deze modellen kunnen hopelijk worden toegepast bij het automatisch metadateren, maar ook bij de projecten binnen Living with Machines [een artikel hierover vind je in IP #1/2019 – red.].
Bron
Morris, Victoria (2020). Automated Language Identification of Bibliographic Resources. Cataloging & Classification Quarterly, 58:1, 1-27, DOI: 10.1080/01639374.2019.1700201.
Marja Kingma is curator Nederlandstalige Collecties bij de British Library.
Deze bijdrage komt uit IP #8/2020. Het gehele nummer kun je hier lezen.