Sociale virtuele realiteit en cultureel erfgoed

De groep ‘Distributed and Interactive Systems’ van het CWI heeft samen met onderzoekspartner Sound & Vision een VR-museum ontwikkeld met de naam Mediascape XR.

Deel deze pagina

De DIS-groep(Distributed and Interactive Systems) van het CWI, gespecialiseerd in mensgerichte multimediasystemen en affectieve interactieve systemen, werkt regelmatig samen met het bedrijfsleven en de publieke sector. Voorbeelden van dergelijke samenwerkingen zijn onder meer de omroep en tv-exploitanten BBC en BT, het operahuis Gran Teatre del Liceu, de conferentieorganisator VRDays en het ontwerpbureau ByBorre. Een van de meest recente samenwerkingen van de groep is met Sound and Vision, het Nederlandse instituut voor media en cultuur.

Samen onderzoeken ze in het onderzoeksproject MediaScape XR hoe het museum van de toekomst eruit zal zien, op basis van baanbrekende Social XR-technologieën die door de DIS-groep zijn ontwikkeld. Met de ontwikkeling van dit museum geven de partners een voorproefje van de toekomst van gedeelde toegang op afstand tot cultureel erfgoed door middel van de demonstratie van de baanbrekende applicatie MediaScape XR. Deze applicatie is een veelbelovende oplossing voor een virtueel bezoek aan een 3D-museum samen met andere bezoekers op afstand.

Culturele instellingen staan onder druk om hun collecties online toegankelijk te maken; dit project gaat een stap verder en biedt zeer meeslepende en interactieve ervaringen. De ervaring van een gezamenlijk virtueel museumbezoek biedt inzichten in hoe culturele instellingen de volgende stap kunnen zetten nadat het digitaliseringsproces van hun collectie is afgerond.

Mediascape XR: een VR-museum

Stel je voor dat jij in Londen bent en je vriend in Parijs – hoe kunnen jullie dan samen een museum in Amsterdam bezoeken?

Meer informatie over de MediaScape XR-ervaring

Toon

MediaScape XR neemt de bezoeker op afstand mee naar het virtuele Sound and Vision-museum. De ervaring is speciaal afgestemd op één specifiek cultureel artefact: het kostuum dat Jerney Kaagman, leadzangeres van de rockband Earth and Fire, in 1979 droeg in het muziekprogramma Toppop. In de virtuele omgeving kunnen bezoekers vrijelijk interactie aangaan met een hoogwaardig 3D-model van het kostuum, genieten van een samengestelde rondleiding door dit model en samen met andere bezoekers op afstand de Toppop-show naspelen.

De hele ervaring is opgedeeld in twee hoofdonderdelen: een rondleiding door het museum en het herbeleven van de geschiedenis. In het virtuele museum konden bezoekers het 3D-kostuum vrijelijk vanuit verschillende perspectieven en op verschillende schaal bekijken, en de anekdotische verhalen lezen. Daarna maakten ze een „tijdreis“ naar de geschiedenis van het kostuum, namelijk de TopPop-show in 1979. Ondergedompeld in de historische setting konden bezoekers het glanzende blauwe pak passen en de fantastische musicalshow op hun eigen manier naspelen.

Pablo Cesar: “Wat wij bieden is een sociale VR-ervaring. In feite teleporteren we mensen naar de virtuele realiteit. Het idee is dat we een uiterst realistische weergave van jezelf creëren. We plaatsen je in een virtuele omgeving, waar je activiteiten kunt ondernemen met familie en vrienden die zich op andere locaties bevinden.”

De MediaScape XR-ervaring is ontworpen vanuit een gebruikersgerichte benadering, in samenwerking met curatoren van Sound and Vision en museumliefhebbers. We hebben met hen focusgroepen en co-creatieve workshops gehouden om inzicht te krijgen in de drijfveren van de belanghebbenden, ontwerpvereisten vast te stellen en vernieuwende ideeën te verzamelen.

Na gesprekken met curatoren werd besloten om de aandacht te richten op één specifiek artefact: het kostuum. Dit artefact is nauw verweven met het culturele geheugen van het land en zorgde daardoor voor meer populariteit en een betere verhaallijn. Bovendien maakt het meer meeslepende en leuke ervaringen in VR mogelijk, zoals het passen van het kostuum. Op basis van de onderzoeksresultaten werd een lijst met ontwerpvereisten opgesteld en werden de interactie en de gebruikerservaring vastgelegd. Op basis van onze bevindingen creëerde het team digitale 3D-reproducties van het artefact, het museum, de TopPop-concertzaal en andere tentoonstellingselementen. Daarnaast werd bepaald welke soort begeleidende informatie en educatieve inhoud met de bezoekers zou worden gedeeld. We wilden ervoor zorgen dat bezoekers het verhaal achter het artefact, de technologie en de context van deze ervaring begrijpen.

Het MediaScape XR-project werd tijdens VRDays 2021 met succes gedemonstreerd aan honderden gebruikers. De specifieke opstelling die we gebruikten om het systeem te demonstreren, bestond uit twee gebruikers. Elke gebruiker werd geregistreerd door drie 3D-sensoren en droeg een HTC VIVE PRO-headset met controllers waarmee ze konden navigeren en interactie konden aangaan in de virtuele ruimte. Hoewel voor de demo twee gebruikers naast elkaar waren geplaatst, gaat het hier niet om communicatie via een lokaal netwerk, wat betekent dat de opstelling ook kan werken vanaf twee locaties op afstand (bijvoorbeeld één gebruiker in Parijs en de andere in Londen).

De Mediascape XR SocialVR-applicatie is gebouwd op het VR2Gather-platform, waarmee we meerdere gebruikers in dezelfde virtuele ruimte met elkaar kunnen verbinden. De applicatie, ontwikkeld in de Unity3D-engine, maakt deze multi-user-opstelling mogelijk. Om de gebruikers in realtime vast te leggen, maken we gebruik van het cwipc-framework. Dit framework bestaat uit een reeks bibliotheken en tools waarmee een volledige pijplijn voor volumetrische communicatie tussen meerdere clients kan worden gegenereerd. Het zorgt in realtime voor het vastleggen, coderen, verzenden, decoderen en weergeven van puntenwolken.

Deze nieuwe museumervaring stelt bezoekers in staat om de geschiedenis van museumstukken opnieuw te beleven via het nieuwe medium ‘Social Virtual Reality’. Het illustreert hoe het traditionele model van een museumervaring – waarbij het gaat om passieve observatie – ingrijpend verschuift naar actieve, interpretatieve betrokkenheid. Musea herzien en herinrichten hun ruimtes om een dieper begrip van hun collecties en missie te bevorderen, meer interactie met hun publiek te creëren, een breder scala aan activiteiten aan te bieden en geavanceerder gebruik te maken van immersieve technologieën. De voortdurende inspanningen om museumcollecties te digitaliseren zijn gericht op het creëren van digitale replica’s als onderdeel van het behoudsplan. MediaScape XR maakt nieuwe manieren mogelijk om van de artefacten te genieten en ze te ervaren, of er op zinvolle en sociaal boeiende manieren mee te interageren.

Johan Oomen (Sound and Vision): „De toekomst van het museum zal een combinatie zijn van een traditioneel museum, waar je een tentoonstelling kunt bekijken, en een VR-wereld die die voorwerpen tot leven brengt.”

Het project kreeg in oktober 2022 internationale erkenning, toen het de Best Demo Award won op de gerenommeerde ACM International Conference on Multimedia. De DIS-groep en Sound and Vision blijven samenwerken aan een aantal projecten, zoals TRANSMIXR en 5D Culture, waarin wordt onderzocht hoe nieuwe technologieën organisaties op het gebied van cultureel erfgoed kunnen ondersteunen. Bovendien zijn we gezamenlijk betrokken bij de Creative Industries Immersive Impact Coalition, een nationaal innovatieprogramma dat wordt gecoördineerd door CLICKNL.

Groepen:

Projecten:

Video's:

Wetenschappelijke publicaties: