VU-onderzoek: van 2D-videoconferenties naar Social XR

Computerwetenschapper aan de VU Simon Gunkel onderzocht hoe je bestaande videoconferentiemiddelen uitbreidt om holografische communicatie te ondersteunen. Daarbij krijg je in plaats van een hoofd op een scherm een levensechte fotorealistische 3D-presentatie. Dit heet Social eXtended Reality, of Social XR.

Voor Social XR worden beelden gemaakt met RGBD, een camera die zowel kleur als diepte vastlegt. Gunkel richtte zich met zijn onderzoeksteam op RGBD van begin tot eind: opname, verwerken, verzenden en renderen.

De onderzoekers deelden de holografische communicatiepijplijn op in minimale- en basiscomponenten. Ook analyseerden ze hoe elk van de afzonderlijke componenten (opname, verwerken, verzenden en renderen) impact heeft op de prestatie en vertraging veroorzaakt in het beeld. Hiervoor gebruikten ze prototypes die bestaan uit een complete keten van holografische 3D-communicatie en de modulaire bouwstenen daarvan. Ze evalueerden dit systeem in complexe simulatie-experimenten en ontwikkelden de prototypes naar verschillende gebruiksvoorbeelden.

Met deze resultaten en evaluaties kunnen nieuwe, betere Social XR-systemen worden gebouwd, en de technische kenmerken en beperkingen van verschillende systemen kunnen makkelijker met elkaar worden vergeleken. Ook biedt het onderzoek algemene richtlijnen voor het bouwen en meten van Social XR-systemen.

Volgens Gunkel vormen de uitkomsten van het onderzoek een nieuw referentiekader voor de bouwstenen van Social XR-systemen. ‘Onze bevindingen en technische voorbeelden zijn toepasbaar op onderwijs, hulp of afstand, gezondheidszorg, zakelijke en sociale bijeenkomsten en nog veel meer.’

Gunkel verdedigt zijn proefschrift op 3 december.