Door Willem Jan Faber
Zijn we in staat om met open source large language models een derde ingang (die van ‘vragen’) te maken tot de collectie? Een team van onderzoekers dook hier voor korte tijd in en ontdekte onder meer Mixtral.
In het najaar van 2023 kreeg ik te horen dat er een klein budget beschikbaar was voor onderzoek naar generatieve AI-systemen zoals ChatGPT (van OpenAI) of Bard/Gemini (van Google). Het leek mij nuttig om een klein team van voormalig researchers-in-residence te vragen hun licht te laten schijnen op de mogelijkheden van open source large language models (LLM’s), de techniek achter generatieve AI.
Zo gezegd, zo gedaan. Het team, bestaand uit Melvin Wevers (assistent-professor digital history, UvA), Thomas Smits (assistent-professor digital history en AI, UvA), Simon Kemper (data scientist, Nationaal Archief) en Marijn Biekart (junior AI-onderzoeker, KB), is aan de slag gegaan om te exploreren wat mogelijk zou zijn. De basale vraag luidde: zijn we in staat om met open source LLM’s een derde ingang te maken tot de collectie (voor dit onderzoek werd specifiek de deelcollectie ANP-radionieuwsbulletins gebruikt). Dus dat we naast ‘bladeren’ en ‘zoeken’ ook de mogelijkheid hebben tot ‘vragen’.
Autonomie hebben
De mogelijkheid om in natuurlijke taal complexe vragen aan een collectie te stellen kan helpen bij het zoeken van specifieke informatie. Ook kan het analyse van bulkdata eenvoudiger maken. Neem bijvoorbeeld de vraag: ‘Hoe vaak is er een advertentie in het Doetinchems Dagblad geplaatst door mijn oma?’ Een zoekmachine kan niet veel met zo’n vraag, maar een chatbot kan je begeleiden bij het vinden van het juiste antwoord. Daarnaast is een dergelijk chatsysteem in staat om de brondocumenten die aan de basis liggen van het antwoord direct te tonen.
Omdat ik verwacht dat het voor erfgoedinstellingen gebruikelijk wordt om voor hun collecties specifieke chatbots te ontwikkelen, is het noodzakelijk om dit gezamenlijk op te pakken. De trend die ik eerder signaleerde in de periode dat het hebben van een eigen zoekinfrastructuur niet gebruikelijk was (want open source was er niets beschikbaar), zie ik nu opnieuw: commerciële bedrijven bieden de ‘vraag’-optie voor collecties aan, terwijl de opensourcewereld achter de schermen heel hard werkt aan een oplossing waarmee de erfgoedinstellingen autonomie kunnen hebben over de extra ingang tot hun collectie.
Engels of Chinees
Tijdens ons kortlopende flitsonderzoek (drie maanden, elke vrijdag) zijn we in staat gebleken om de collectie te verbinden met een bestaand opensourcemodel (Mixtral). Hiermee is het mogelijk om in het Engels vragen te stellen over het archief. Omdat de opensourcemodellen met voldoende redeneringsvermogen vooral zijn getraind op Chinees en Engels, is het helaas nog niet mogelijk om dit in het Nederlands te doen. Het LLM snapt echter wel de Nederlandse context van de documenten. Om het gat van niet-bestaande Nederlandse LLM’s te dichten, is onlangs door TNO de kick-off gegeven voor GPT-NL. Het model dat uit dit project voortvloeit zal waarschijnlijk beter in staat zijn vragen in het Nederlands te begrijpen en te beantwoorden, en het zal het hergebruik in de erfgoedsector helpen stimuleren.
Meer onderzoek
Het onderzoeksteam heeft na zijn korte exploratie van drie maanden snel een aantal lastige vragen weten te adresseren. Een van die vragen is: hoe evalueer je je model zodat je weet dat het geen totale onzin produceert? Een andere belangrijke vraag (die deels is beantwoord) luidt: hoe sluit je een LLM aan op een bestaande collectie? Meer onderzoek zal de komende tijd uitgebreider antwoord moeten bieden op deze vragen, en met gezamenlijke inzet zal een ‘vraag’-ingang bij erfgoedinstellingen hopelijk gemeengoed worden.
Willem Jan Faber is research software engineer bij de KB, de nationale bibliotheek.
Deze bijdrage komt uit de papieren IP #2-2024. Het hele nummer kun je hieronder lezen of downloaden.