FYI.

This story is over 5 years old.

Muziek

Je gezicht als muziekinstrument: vervorm je stem aan de hand van je gezichtsuitdrukkingen

Met de nieuwe muziekinstallatie van Nick Verstand en Ruben van Leer bepaal je je stemgeluid via je wenkbrauwen, mond en hoofd.

Foto's met dank aan Laura Andalou.

Het zorgvuldig bestuderen van het gezicht van een muzikant vind ik een van de leukste dingen om te doen tijdens een concert. Ik heb bijvoorbeeld een vriend die heel goed gitaar kan spelen en daarbij perse met zijn mond de geluiden die hij speelt moet na-playbacken. Het levert beelden op waarvoor ik graag naar zijn optredens kom. Maar wat als je die gekke bekken en prachtige gezichtstrekjes ook echt van invloed kan laten zijn op de muziek zelf?

Advertentie

Dat is het idee achter de nieuwe installatie van muziekproducer Nick Verstand (29) en filmmaker Ruben van Leer (30). De twee hebben hun muzikale en visuele kennis samengebracht om een installatie te maken waarmee je via je gezichtsuitdrukkingen muzikale effecten aanstuurt. De opstelling bestaat uit een Kinect-camera voor de microfoon die is aangesloten op een laptop met FaceShift-software die het gezicht van de zanger herkent en direct in 3D doorvertaalt naar Ableton Live-effecten.

Het zorgt ervoor dat je met je eigen gezicht in realtime het geluid van je stem kunt bepalen. Door je hoofd naar links en naar rechts te bewegen kun je bijvoorbeeld de pitch van je stemgeluid bepalen. Doe je tijdens het zingen je mond verder open dan hoor je meer reverb in je stem, terwijl je door je wenkbrauwen omhoog te doen een delay aan je zang te kunnen geven.

“Vroeger moest je wel dertig jaar in de leer bij een maestro in de muziek om je Stradivarius-viool te kunnen temmen,” vertelt Verstand me in een email. “Maar met nieuwe technologie wordt het steeds makkelijker om je directer uit te drukken. Beeld en geluid worden een soort extensie van je lichaam. De manier waarop we nu met muziekinstrumenten en live visuals omgaan is aan het veranderen – de interface verdwijnt, en langzamerhand worden onze lichamen zelf de interface. Dat is onze droom. Dat de interface straks niet meer hoeft te bestaan omdat expressie in zijn puurste vorm zelf overgebracht kan worden.”

Advertentie

Om te kijken hoe de installatie het tijdens een liveoptreden zou doen, schakelde het duo de hulp in van Cato van Dijck, leadzangeres van de zompige bluesrock band My Baby, om het instrument uit te testen tijdens het live-event THE SET dat afgelopen 9 mei in de nieuwe Tolhuistuin Paradiso zaal werd gehouden:

“Het instrument stimuleert ook het experimenteren op het toneel,” vertelt van Verstand. “Haar uitdrukkingen, digitale klankeffecten en zang, kortom haar hele performance wordt opeens veel groter op het toneel… Er ontstaat interactie tussen de zangeres en het publiek, alsof er een soort feedback-loop aan de gang is die bijdraagt aan de performance op het podium.”

In de toekomst willen Verstand en Van Leer verder ingaan op de audiovisuele effecten die met het instrument kunnen worden aangestuurd. “We hebben dit prototype letterlijk in twee dagen ontwikkeld,” zegt hij. “Nu willen we gaan kijken hoe we het instrument door kunnen ontwikkelen met verschillende artiesten, onder andere met Cata Pirata van Skip&Die. Iedere artiest heeft zijn eigen performance, en de uitdaging is om die verschillende persoonlijkheden die je op het podium ziet ook in de software door te voeren. Daarnaast willen we kijken naar de mogelijkheden voor interactie met het publiek. Het doel is om iedereen uiteindelijk bij het geheel te betrekken.”

Ik kan niet wachten om iemand met een mond als Mick Jagger of nee, beter nog, het gapende gat van Steven Tyler deze microfoon te zien gebruiken. Man, ik krijg nu al rillingen bij de hoeveelheid reverb die dat zou opleveren.