Ik heb met Leap Motion een virtuele regenboog aangeraakt

Liefde en afwijzing waren dit jaar belangrijke thema’s tijdens Indiecade East, die zeer toepasselijk tijdens het weekend van Valentijnsdag in het Museum of the Moving Image plaatsvond. Mijn eerste aanvaring op het festival was met een zoensimulator, waar ik niet verder over zal uitweiden. Ook deed ik een multiplayer aan waarbij je met narwallen - een soort pijlstaartrog, maar dan anders – door harten moest boren. Maar het meeste plezier had ik in de Leap Motion-hoek, waar het motion-tracking hardwarebedrijf zes verschillende virtual reality spellen had uitgestald. Ik swipete me een ongeluk door een star map met de omvang van de nachtelijke hemel, ik ging op avontuur in een virtuele ruimtestation en reisde door een sci-fi reddingsmissie. Bij ieder spelletje gebruikte ik alleen mijn handen, totdat één spel echter nog meer mijn aandacht opeiste: een synesthetische wereld die ik, naar mijn overtuiging, kon voelen en aanraken, maar het enige waar ik naar greep was gebakken lucht.

Ik zette de Oculus Rift bril op mijn hoofd en meteen stuitte ik op een gigantische vent met een baard, die gemaakt leek te zijn van olie. Dit was het debuut van Rainbow Membrane, een experimentele audiovisuele videogame ontworpen door Leap Motion ontwikkelaar Isaac Cohen. Hij is de man die me zojuist had laten denken dat ik daadwerkelijk de virtuele muren kon voelen en een gigantisch gezicht voor me zag. “Door een fysieke interactie in een digitale ruimte te laten plaatsvinden, probeert Rainbow Membrane om de onjuiste waargenomen dichotomie tussen de ‘virtuele’ en de ‘fysieke’ wereld te doorbreken,” vertelt Cohen me.

In Rainbow Membrane is het makkelijk je al gauw te verliezen in glinsterende muren en je te verwonderen over een gebeeldhouwde kin van een persoon die Cohen omschrijft als “niet noodzakelijk die van Abraham Lincoln,” maar de echte magie begon pas echt toen ik mijn handen voor mijn hoofd uitstrekte. Ik realiseerde me dat wat ik om me heen zag niet alleen kon aanraken, maar het daadwerkelijk kon voelen, dankzij de realistische graphics en het geluid dat in de game verwerkt zat. “Geluid is om de gebruiker heen ‘geplaatst’, en als de gebruiker beweegt wordt er ook een uniek geluid gecreëerd die reageert op die bewegingen,” zegt Cohen over de werking van de synthetische omgeving. De uitleg was simpel en geloofwaardig genoeg. Geluidsmakers bedriegen de ogen al jaren door middel van geluidseffecten. Maar het idee omarmen dat het zicht en het gehoor je vingers voor de gek kunnen houden - dat je echt daadwerkelijk iets voelt - is iets dat je zelf moet ervaren om het te geloven.

Het idee van Rainbow Membrane kwam toen Cohen en zijn vrienden besloten om een Justin Bieber-vormige punching bag te maken. De ontwikkelaar begon aan een kneedbare digitale maas die de gezichtsuitdrukkingen van Bieber in slow motion te simuleren, maar het project werd neergelegd toen bleek dat het onmogelijk was om een geloofwaardig 3D-model van de popster te maken. Het verrichte werk bleek echter niet voor niets. Cohen had namelijk nog steeds de voorloper van de olieachtige, digitale huid op zijn computer staan die nu in Rainbow Membrane gebruikt wordt. Met de hulp van 3D-ontwerper Steven Teeps ontwikkelde hij het kleurrijke model en codeerde het in three.js, waarin ze een muzikale loop voor elk wit stipje in het model aanmaakten. Juist die toevoeging zorgt voor de synesthetische effecten van het videospel: als ik mijn hand langs de muren en vloeren lied glijden werd de muziek steeds harder en harder, waardoor mijn hersenen in voor de gek werden gehouden, denkend dat ik de virtuele ruimte niet alleen kon ervaren, maar ook kon bespelen, het kon voelen.

Later legde Cohen uit dat iedereen die Rainbow Membrane heeft uitgeprobeerd zijn eigen interpretatie had over de textuur van de muren, een scala aan woorden om het gevoel te omschrijven passeerde de revue waaronder “vilt, fluweel, een waterbed, huid, een furry muur, water met alg op het oppervlak, en mijn persoonlijke favoriet: de huid van aangebrande melk bovenop een met hete cacao gevulde mok.” Het zijn behoorlijk gevarieerde beschrijvingen voor iets dat in essentie een desillusie is, of eigenlijk gewoon lucht.

Hoewel Cohen geen plannen heeft om Rainbow Membrane uit te breiden, zit hij wel vol met ideeën over de toekomst van virtual reality. Hij heeft zijn huidachtige texturen inmiddels ingezet in een serie van projecten, variërend van een reeks aan aanraakbare, zwevende bollen, tot een “album / gallerij / synesthetische wonderland” genaamd DRAGONFISH. Momenteel is hij bezig aan een interactief kinderboek en een aantal "intens emotionele ervaringen," waaronder eentje waarbij je op de grond moet liggen en met een aantal kosmisch objecten kunt spelen die boven je zweven, waaronder een zwevende puppy.

“Ik denk dat de meeste mensen, als ze over de toekomst van virtueal reality en motion control praten, het vaak over Minority Report en Iron Man-achtige interfaces hebben, maar ik ben veel meer geïnteresseerd in de mogelijkheden op het gebied van emotionele ervaringen,” zegt Cohen. “In plaats van in termen te denken over hoe efficiënt deze technologie ons kan maken, vraag ik me liever af hoe het onze humaniteit positief kan beïnvloeden.” Volgens Cohen zorgen de beste videogames er namelijk voor dat spelers op ontdekking gaan, in plaats van dat het alleen maar “een afleiding is en het ons verdoofd van miraculeuze humane vormen.” Persoonlijk gebruikt Cohen Rainbow Membrane bijvoorbeeld om te mediteren en te relaxen na een stressvolle dag. De toekomst van Leap Motion belooft ons niet alleen een toekomst van letterlijke hands-on gaming, het opent ook een geheel nieuwe, zij het gesimuleerde, wereld voor onze zintuigen.

Benieuwd naar meer werk van Cohen? Check dan zijn eigen website.

Lees ook:

Ik at wolken op de World Make Faire

Ik had een out-of-body-experience op de Beyond Biënnale