Door Willem Jan Faber
Hoe kan de KB-webcollectie doorzoekbaar worden gemaakt op basis van de inhoud van de pagina’s en andere afgeleide metadata? Het opensourceproject SolrWayback biedt uitkomst.
In september 2007 is de KB begonnen met het archiveren van delen van het internet door het selecteren van cultuurhistorisch interessante websites. Dankzij een selectielijst en een opt-outprocedure was het ondanks lastige wetgeving toch mogelijk om een webcollectie op te bouwen. Collectieopbouw en eindcontrole zijn echter het begin van een bruikbare collectie: pas tijdens het ontsluiten en het daadwerkelijk gebruiken ervan door wetenschappers kunnen we ons een beeld vormen van de relevantie van de webcollectie voor onderzoek.
Vanwege privacywetgeving en de Auteurswet is het niet mogelijk om de collectie breed te delen voor onderzoek en raadpleging. De gearchiveerde websites zijn alleen te bezichtigen via de Wayback Machine (web.archive.org, een initiatief van Internet Archive) binnen de muren van de KB, mits de gebruiker in het bezit is van een KB-jaarpas.
Dynamische content
Bij de afdeling Onderzoek van de KB bestaat het programma Researcher-in-residence dat beginnende wetenschappers uitnodigt om onderzoek te doen met tools en datasets uit het online KB Lab. Vorig jaar is researcher-in-residence Karin de Wild, verbonden aan de Universiteit Leiden, bij de KB begonnen met haar onderzoek Museums on the Web. Haar onderzoeksvraag luidt: hoe bouw je een collectie op, die een selectie van gecureerde websites en afgeleide dataset(s) omvat, waarmee de geschiedenis van musea op het web kan worden onderzocht? Dit was aanleiding om te starten met het doorzoekbaar maken van de KB-webcollectie op basis van de inhoud van de pagina’s en andere afgeleide metadata, iets wat met de Wayback Machine niet mogelijk is.
Zoals bij elke digitale bibliotheekcollectie heeft ook de KB-webcollectie haar beperkingen. Doordat de gebruikte crawlersoftware niet (heel goed) in staat was om JavaScript te bewaren, is er veel dynamische content verloren gegaan. Dit is jammer, want veel musea gebruiken JavaScript-technologie om delen van hun collectie uit te lichten op bijvoorbeeld de homepage. Kortom, door gebrekkige archivering van JavaScript en vergelijkbare tools is het niet altijd mogelijk geweest een exacte kopie van een site op te slaan zoals deze ooit live op het web heeft gestaan.
Opensourceproject SolrWayback
Op internet is een vrij actieve community die veel tools heeft gemaakt voor het archiveren en ontsluiten van born digital materiaal op het web. Zo heeft zij een eigen bestandsformaat als standaard bedacht: .WARC (Web ARChive). In deze .WARC-bestanden is een gecomprimeerde versie van een website te vinden in een soort container. Deze bestanden worden gebruikt bij raadpleging en bij het maken van een index voor zoekmogelijkheden. Naast de ruwe informatie uit de .WARC-bestanden bestaat er ook een koppeling naar informatie over de collectieopbouw.
Door gebruik te maken van het opensourceproject SolrWayback bleek het eenvoudig om content van gearchiveerde sites te doorzoeken. Op basis van deze mogelijkheid heeft mijn collega Mirjam Cuper verder gewerkt aan een dashboard dat het makkelijker maakt om inzicht te krijgen in de inhoud van de collectie. De inzichten die we hebben opgedaan tijdens dit onderzoek gebruiken we binnen de context van het project TwiXL om na te denken over bredere ontsluiting van het webarchief voor verder wetenschappelijk onderzoek.
Afgeleide datasets
Een van de zaken waarover we nadenken is een speciale ruimte voor digitaal onderzoek naar gesloten collecties, vergelijkbaar met de mogelijkheid om bijzondere werken fysiek in te zien, om zo meer onderzoek naar het webarchief te stimuleren. Een andere mogelijkheid die we gebruiken om meer inzicht te geven is het gebruik van afgeleide datasets. Deze datasets zonder persoonsgegevens kunnen vaak wel zonder veel juridische obstakels worden gedeeld.
Willem Jan Faber is research software engineer bij de KB, de nationale bibliotheek.
Deze bijdrage komt uit de papieren IP #4-2023. Het hele nummer kun je hieronder lezen of downloaden.