Een beeld zegt meer dan duizend woorden; het klinkt ongetwijfeld wat oubollig, maar dergelijke volkswijsheden slaan vaak spijkers met koppen. In dit geval wordt de vraag of het beeld inderdaad krachtiger is dan de pen eens zo interessant wanneer je dit thema benadert vanuit een neurowetenschappelijke hoek. Voor we tot de kern van de zaak komen, is het vast nuttig om even te kaderen waar neurowetenschap precies voor staat. Zonder al te veel in detail te treden, kan je aanhalen dat neurowetenschappers zich verdiepen in de cognitieve processen die zich in ons hoofd afspelen; dat betekent eigenlijk niets meer of niets minder dan het gegeven dat je stilstaat bij de duizenden patronen die je eigenlijke denken en doen bepalen. En wat is nu precies het verband tussen neurologie en beelden of woorden?

Beeld en geluid; versterking gezocht!

Ga voor jezelf even na; wat is er sterker: je eigen, persoonlijke herinneringen aan je eerste zoen, of je partner die datzelfde verhaal aan derden vertelt? Hou het antwoord voor jezelf nog even in beraad; maar neem alvast mee dat universitair onderzoek aangeeft dat respondenten die meewerken aan studies rond de kracht van herinneringen haast allemaal voor hun eigen ervaringen kiezen. Bijkomende vragen geven zelfs aan dat de blijvende indruk van een herinnering versterkt wordt wanneer er geluid aan te pas komt. Creatieve geesten hoeven dan ook niet verbaasd te zijn om te beseffen dat zulke inzichten gretig gebruikt kunnen worden om de kracht van beeldgerichte technologieën vooruit te stuwen. De volgende stap in het scheppen van volledige virtuele werelden? De unieke samensmelting tussen beeld en geluid. Topwetenschappers twijfelen al even niet meer aan het feit dat elke unieke reële ervaring bestaat uit een combinatie van sensoriële factoren. Waarom zou je dezelfde ingrediënten dan niet kunnen gebruiken in het bereiden van een virtuele omgeving? Op die manier kan je heuse virtuele werelden scheppen waarin beelden niet enkel op een directe maar ook op een indirecte manier aan geluiden worden gekoppeld. Ramani Duraiswami, hoogleraar computerwetenschap aan de Universiteit Maryland, geeft aan dat je aan de hand van herkenbare achtergrondgeluiden mensen makkelijk doorheen een artificiële wereld kan leiden. Met andere woorden; je hoeft dingen niet te zien om te weten dat ze er zijn. Dat precieze idee werd in 2014 voor het eerst getest aan de hand van RealSpace-3D-audiotechnologie; daarbij kregen een aantal testpersonen via de Oculus Rift DK2 een spannende demo voor de kiezen waarbij geluid als extra parameter werd toegevoegd. De grote moeilijkheid? Het geluid dat geïntegreerd wordt, mag absoluut niet als virtueel worden ervaren. Om even te parafraseren; je virtuele wereld moet vergezeld worden van een accuraat virtueel geluidsbeeld.

Van zender naar ontvanger; alternatieve oplossingen?

De antwoord op dat vraagstuk kan misschien gevonden worden in een aantal bestaande toepassingen. Eigenzinnige muzikanten zoals Beck en Björk experimenten al even met platen en muziekstukken waarbij bepaalde aspecten -denk maar aan instrumenten of toonhoogten- enkel links of rechts te horen zijn. De neurologische wisselwerking die zo ontstaat, geeft je hersenen de indruk dat je te maken krijgt met alternatieve geluidsbronnen.

Waarom zou je daar stoppen?

Bepaalde regisseurs maken vandaag gebruik van Ambisonics; aan de hand van een sferische microfoon wordt elke geluidsbron -in een directe omgeving van 360 graden- mee opgenomen in het eindresultaat. Is het dan enkel een kwestie van dergelijke mogelijkheden aan te passen aan de noden van Virtual Reality? Nou, niet bepaald. Een bijkomende moeilijkheid wordt veroorzaakt door de gebruiker zelf. De manier waarop je als luisteraar geluid oppikt, is niet uniform; denk zo maar aan de unieke anatomie van elk oor. Ook is het zo dat de richting van de geluidsbron ten opzichte van de ontvanger voor heel wat verwarring kan zorgen. En toch lijkt de Universiteit Maryland dicht bij een oplossing. Op dit moment ziet het er naar uit dat de sleutel tot succes ligt in het gebruik van aangepaste headsets. De uiteindelijke virtuele eenmaking tussen beeld en geluid ligt nog in de toekomst, maar de kleine stapjes die op dit moment worden genomen beloven alvast grootse dingen. Maar goed, hoe zat het nu precies met die eerste zoen?