Door Anneke de Maat
Maarten Wijntjes en Mitchell van Zuijlen wonnen de Nederlandse Dataprijs voor Materials in Paintings, een dataset van meer dan 200.000 geannoteerde afbeeldingen van uitsneden van schilderijen. Het zijn openbaar beschikbare data, nuttig voor hergebruik in diverse wetenschapsgebieden: van perceptieonderzoek en computervisie tot kunstgeschiedenis. Waarom en hoe maakten de onderzoekers deze enorme dataset?
Maarten Wijntjes is universitair hoofddocent Industrieel Ontwerpen aan de TU Delft. Vanuit de afdeling Human Centered Design doet hij in het Perceptual Intelligence Lab onderzoek naar de visuele communicatie van materiaaleigenschappen. Hij is geïntrigeerd door de vraag hoe het menselijk brein de eigenschappen van materialen waarneemt, en onderzoekt dit op twee manieren. Ten eerste doet hij toegepast onderzoek naar de vraag hoe je materialen het best visueel kunt communiceren in online winkels, vertelt hij. ‘Van kleren kun je nu vaak nog niet goed zien hoe ze voelen, ofwel wat de eigenschappen van de materialen zijn. Als we beter begrijpen hoe je die materiaalkwaliteit visueel kunt communiceren, verloopt de winkelervaring beter en heb je minder teleurgestelde klanten.’
Daarnaast doet hij al jaren fundamenteel onderzoek naar materiaalperceptie via experimenteel psychologisch onderzoek. ‘Je maakt dan zelf stimuli, bijvoorbeeld een foto van een kledingstuk waarbij je varieert met aspecten als licht en perspectief en kijkt wat de invloed daarvan is op de perceptie van het materiaal. Toen ik daarmee bezig was, bedacht ik dat je ook kunt kijken naar hoe kunstenaars materialen weergeven op schilderijen. Denk aan de levensecht geschilderde afbeeldingen van kristallen glazen en zilveren schalen op banketstillevens, of van fluwelen mantels en parelkettingen op portretten. Vooral zeventiende-eeuwse kunstenaars waren ware meesters in het verbeelden van materialen.’
Digital Humanities
Rond die tijd kwam net de wetenschap van de Digital Humanities op en gingen steeds meer musea hoge-resolutieafbeeldingen van hun collecties online zetten. Dat bracht Wijntjes op het idee om verschillende wetenschappelijke disciplines in een onderzoeksproject te integreren: computervisie, perceptieonderzoek, kunsthistorisch onderzoek en digitalecollectiesonderzoek – ook wel Digital Humanities genoemd. Als je wilt onderzoeken hoe kunstenaars materialen afbeelden, heb je een database nodig, wist Wijntjes uit eigen ervaring. ‘Er zijn namelijk wel heel veel schilderijen, foto’s en tekeningen online beschikbaar, maar die zijn niet goed doorzoekbaar. Daar liep ik zelf tegenaan toen ik onderzoek deed naar de perceptie van fluweel. Ik was toen eindeloos aan het zoeken naar mooie digitale afbeeldingen van fluweel.’
Annoteren complexer dan gedacht
Zo werd het idee voor de database Materials in Paintings (MIP) geboren. In 2016 verwierf Wijntjes een VIDI-beurs voor zijn onderzoeksvoorstel ‘Visual communication of material properties’, waarmee hij zijn onderzoek samen met promovendi kon uitvoeren. Wijntjes: ‘Het plan was dat Mitchell van Zuijlen [die inmiddels perceptieonderzoek doet aan Kyoto University, red.] het eerste jaar van zijn promotieonderzoek zou gebruiken voor het aanleggen van de MIP-database. Hij is er uiteindelijk vier jaar mee bezig geweest. Het was een stuk complexer dan we hadden gedacht. Het verzamelen van de digitale afbeeldingen van 19.000 schilderijen van musea uit de hele wereld was niet zo moeilijk, maar het laten annoteren, ofwel het metadateren, was complex en heel bewerkelijk.’
Computers naar foto’s leren kijken
Toen Wijntje zijn VIDI-aanvraag schreef, had een PhD-student van Cornell University in Amerika al een database met foto’s gemaakt om computers materialen te leren herkennen. Daarom vroeg hij Cornell University of ze wilden samenwerken, en dat wilden ze wel. ‘We mochten het platform dat ze voor hun fotodatabase hadden gemaakt, een webinterface met database erachter, gebruiken voor ons onderzoek. Cornell University vond het vanuit de computervisiewetenschap interessant om onderzoek te doen naar “domeintransfer”: als je computers materialen leert herkennen op foto’s, kunnen ze dat dan ook op schilderijen en andersom? Ze hebben daar enkele papers over geschreven. Mitchell is naar Amerika gegaan om met het platform te leren werken. Helaas bleek dit platform nogal houtje-touwtje. We hebben veel tijd moeten besteden aan het aanpassen van code.’
Amazon Mechanical Turk
Via Amazon Mechanical Turk, een online marktplaats voor online werk, vroegen Wijntjes en Van Zuijlen mensen om tegen betaling aan te geven welke materialen ze op de schilderijen zagen en wat voor eigenschappen die materialen hadden, bijvoorbeeld hard of zacht, of glanzend of dof. ‘In het begin wilde ik het liefst een volledig geannoteerde afbeelding’, zegt Wijntjes. ‘Dus dat je van elk stukje op het schilderij precies weet van welk materiaal het is, maar dat bleek te moeilijk. We hebben met twee soorten uitsneden gewerkt. Eerst vroegen we de mensen een uitsnede precies langs de rand van het materiaal te maken – bijvoorbeeld een uitsnede van een zilveren schaal. Dat bleek echter heel bewerkelijk, en het werd door de vele mouse clicks te duur.’
Daarom besloten ze over te stappen op bounding boxes: rechthoekige uitsneden rondom de materialen. ‘We vroegen de mensen te raten welke materialen – uit een lijst van vijftien categorieën materialen – ze op het schilderij zagen. En van de materialen die te zien waren op het schilderij lieten we ze aangeven waar op het schilderij ze te zien waren. Ze mochten voor elk soort materiaal maximaal vijf stukken annoteren, anders werd het te complex. Dat resulteerde in heel veel geannoteerde bounding boxes, maar helaas niet in een volledig geannoteerde afbeelding. We lieten elke afbeelding raten en elke bounding box annoteren door drie tot vijf mensen om voor een betrouwbare waarneming te zorgen.’
Analyseren van visuele conventies
Het eindresultaat is een database met 19.000 materiaal-geannoteerde schilderkunstige afbeeldingen uit de laatste vijfhonderd jaar waarmee onderzoekers uit verschillende wetenschappelijke disciplines vernieuwend onderzoek kunnen doen. Zijn eigen VIDI-onderzoek heeft drie doelen, licht Wijntjes toe. ‘Ten eerste willen we computers leren om beter verschillende soorten materialen te herkennen. Het tweede doel is het begrijpen van de perceptie van materialen door het menselijk brein. Het opzetten van de database is de eerste stap. Dit geeft geen direct antwoord, maar het maakt onderzoek door verschillende soorten wetenschappers mogelijk: van neuropsychologen tot computergraphicsonderzoekers. Met onze database kunnen ze inzoomen op specifieke materialen en kijken naar de overeenkomsten en verschillen in manieren waarop kunstenaars materialen hebben afgebeeld. Zo hebben we net onderzoek gedaan naar de perceptie van parels.’
Bij het derde doel draait het om digitale kunstgeschiedenis, vervolgt hij. ‘Onze database met materiaalannotaties maakt kwantitatieve analyses mogelijk van visuele, stilistische conventies en veranderingen daarin door de kunstgeschiedenis heen. We zien dat onze MIP-database door onderzoekers uit verschillende disciplines wordt gebruikt. Er zijn al publicaties waaraan onderzoek op basis van onze database ten grondslag ligt.’
Citizen-sciencebureau inhuren
Wat ze hebben geleerd van het aanleggen van deze dataset? ‘Dat we nogal overmoedig zijn geweest’, reageert Wijntjes lachend. ‘Voor het maken van een dataset van deze omvang zijn veel technische vaardigheden nodig. Toen we ermee begonnen was er nog maar weinig aandacht voor het findable, accessible, interoperable en reusable (FAIR) maken van data. Onze faculteit had toen ook nog geen datasteward. We hoorden helaas pas aan het eind van het project over de International Image Interoperability Framework (IIIF)-standaard die het hergebruik en de interoperabiliteit van afbeeldingen en metadata beter mogelijk maakt. En een volgende keer dat ik een project met citizen scientists ga doen, ga ik daar zeker een bureau voor inhuren.’
4TU.ResearchData repository
De dataset Materials in Paintings is op twee plaatsen online te vinden en open voor gebruik voor iedereen: via de website Materials in Paintings en via de 4TU.ResearchData repository. Alle afbeeldingen kunnen in open formatsworden gedownload. Wijntjes: ‘De website is niet oneindig houdbaar, maar in de 4TU.ResearchData repository is de dataset ook voor de lange termijn veilig.’
Jan van der Heul, datacurator bij 4TU.ResearchData, was degene die de dataset MIP nomineerde voor de Nederlandse Dataprijs 2022 – die uiteindelijk won in de categorie Natural & Engineering Sciences. Hij was onder de indruk van de kwaliteit van de dataset, zegt hij. ‘Elke upload van een dataset in 4TU.ResearchData wordt door een van onze twee datacuratoren zorgvuldig beoordeeld om de juistheid van de (meta)data te controleren en te verzekeren dat aan de kwaliteitseisen van de repository wordt voldaan. De metadata van de MIP-dataset waren al van zeer goede kwaliteit. Er was een duidelijke titel, een prima beschrijving, een read-me-bestand, en er waren voldoende keywords. Dus was er op een paar kleine punten na niet veel nodig om deze dataset te kunnen accepteren en publiceren. De verbeterpunten na de review waren: het uitbreiden van de naam van de instelling met de naam van de faculteit en het departement, het toevoegen van publicaties en het advies om de keywords uit te breiden op basis van een eerder bij ons gepubliceerde dataset.’
Met het bedrag dat Wijntjes en Van Zuijlen als winnaars van de Nederlandse Dataprijs hebben ontvangen, willen ze een multidisciplinaire tweedaagse conferentie organiseren om de toekomst van perceptieonderzoek te bespreken.
> Het researchartikel ‘Materials in Paintings (MIP): An interdisciplinary dataset for perception, art history, and computer vision’ is hier te lezen of te downloaden.
De Nederlandse Dataprijs
Eens in de twee jaar wordt de Nederlandse Dataprijs uitgereikt aan een individu of een team dat uitblinkt in het findable, accessible, interoperable en reusable (FAIR) maken van onderzoeksdata. Bij het beoordelen van de inzendingen weegt de jury ook mee of de data al dan niet open toegankelijk zijn en hoe wijd ze kunnen worden gebruikt door andere onderzoekers in dezelfde of andere wetenschappelijke discipline(s).
De Dataprijs wordt uitgereikt in drie categorieën: Life Sciences & Health, Natural & Engineering Sciences en Social Sciences & Humanities. De winnaars ontvangen 3.500 euro om hun dataset(s) meer FAIR te maken, bijvoorbeeld door een symposium te organiseren of door de data online toegankelijk te maken. Voor de Nederlandse Dataprijs 2022 werden 51 datasets ingezonden.
De prijs is een initiatief van Research Data Netherlands (RDNL) en het Nationaal Programma Open Science (NPOS).
Anneke de Maat is freelance tekstschrijver en communicatieadviseur.
Deze bijdrage komt uit het digitale magazine IP #3-2023. Klik op de onderstaande button om het hele nummer te lezen.
