Naam: NeoBabel
Wat: AI-beeldgenerator voor niet-Engelstaligen
Wie: UvA Informatics Institute, Cohere Labs
Technologie voor beeldgeneratie richt zich vooralsnog voornamelijk op het Engels. Dit vergroot de digitale ongelijkheid voor niet-Engelstaligen. Onderzoekers van de Faculteit der Natuurwetenschappen, Wiskunde en Informatica (FNWI) van de UvA hebben daarom NeoBabel ontwikkeld, een AI-beeldgenerator die zes verschillende talen begrijpt.
Wanneer je een afbeelding genereert met AI, zijn de resultaten vaak beter als je prompt in het Engels. Dit komt doordat veel AI-modellen in de basis Engelstalig zijn: als je een andere taal gebruikt, wordt jouw prompt naar het Engels vertaald voordat de afbeelding is gemaakt. Voor de meeste mensen wereldwijd is Engels echter niet de moedertaal.
AI-tekstgeneratoren kunnen daarentegen meer dan tweehonderd talen vloeiend weergeven. Daarom hebben onderzoekers van de UvA de handen ineengeslagen met Cohere Labs, een bedrijf gespecialiseerd in AI-tekstgeneratie. Het onderzoeksteam integreerde een systeem voor beeldgeneratie in deze tekstgeneratoren en creëerde zo de meertalige AI-beeldgenerator NeoBabel. Deze ondersteunt momenteel zes talen: Engels, Frans, Nederlands, Chinees, Hindi en Perzisch.
Volledig open source
De meeste modellen voor beeldgeneratie worden gebouwd door een paar grote techbedrijven die zelden alle details van hun product onthullen. ‘Het meeste werk is closed source, waardoor we niet precies kunnen zien hoe het model werkt. Dit druist in tegen onze academische principes’, zegt Cees Snoek, hoogleraar Informatica en lid van het NeoBabel-onderzoeksteam, op de UvA-website. Het team heeft daarom, naast een publicatie over NeoBabel, al zijn code en data openbaar gemaakt. ‘Persoonlijk wilde ik een tool bouwen voor wetenschappelijk onderzoek, en daarvoor heb je de volledige onderzoeksprocedure nodig’, vertelt Mohammad Derakhshani, promovendus en eerste auteur van de publicatie. ‘We hebben de hele procedure openbaar gemaakt zodat iedereen die geïnteresseerd is in dit vakgebied over de benodigde informatie beschikt.’
Geen goede Engelse equivalenten
NeoBabel presteert net zo goed als beeldmodellen in het Engels, maar overtreft ze ruimschoots in de andere vijf talen, weten de onderzoekers. Concurrerende modellen vertalen eerst prompts naar het Engels, terwijl NeoBabel direct afbeeldingen genereert vanuit meerdere talen. ‘Vertalingen verliezen de nuances van taal en cultuur, omdat veel woorden geen goede Engelse equivalenten hebben’, legt Snoek uit.
De onderzoekers verbeterden ook de labeling van de data die werden gebruikt om het AI-model te trainen. Ze gebruikten meertalige taalmodellen om beeldlabels in meerdere talen te vertalen en maakten die labels beschrijvender. ‘Hierdoor kunnen we ons model in al deze talen tegelijk trainen. Voor elke taal leert het de relatie tussen de woorden en de pixels.’
Samen ‘schilderen’
NeoBabel opent een breed scala aan toepassingen, waaronder een meertalig creatief canvas. Op dit digitale canvas kunnen meerdere gebruikers op dezelfde afbeelding ‘schilderen’, elk in hun eigen taal, vertelt Derakhshani. ‘Als ik alleen Perzisch spreek en jij alleen Nederlands kunnen we samen een afbeelding creëren zonder Engels te gebruiken. Jij zou de eerste versie in het Nederlands kunnen maken, en ik kan dan een gebied markeren en de wijzigingen in het Perzisch beschrijven. Het model past de afbeelding daarop aan.’
Video als droom
Volgens Snoek is de volgende stap voor NeoBabel het creëren van cultuurspecifieke afbeeldingen. Dit vereist echter cultuurspecifieke data en meer rekenkracht. ‘Met een substantiëlere computerinfrastructuur zouden we veel meer kunnen bereiken. Deze AI-modellen hoeven niet afkomstig te zijn van grote industriële laboratoria. De creativiteit is er, maar we missen de middelen om die te demonstreren.’
De onderzoekers zijn daarom op zoek naar samenwerkingspartners. Op de lange termijn willen ze NeoBabel uitbreiden naar videocreatie. Snoek: ‘Mijn droom zou zijn dat het ook video’s zou kunnen produceren. Er is een groot televisiearchief in Hilversum, van Beeld & Geluid. Het zou fantastisch zijn om daarmee samen te werken aan de productie van Nederlandse cultuurvideo’s.’
Deze bijdrage komt uit het digitale magazine IP #3-2026. Klik op de onderstaande button om het hele nummer te lezen.
