Detecting Social Signals with Spatiotemporal Gabor Filters

Abstract

Wanneer mensen met elkaar communiceren bestaat de boodschap vaak uit meer dan alleen de gesproken woorden. Door middel van bijvoorbeeld gezichtsuitdrukkingen, intonatie, of lichaamshouding kunnen zender en ontvanger los van de woorden die zij gebruiken en soms zelfs zonder dat ze het in de gaten hebben elkaar informeren over hun achterliggende gevoelens, sociale attitude, mentale staat of andere persoonlijke eigenschappen. Het automatisch interpreteren van menselijke visuele sociale signalen met behulp van computers staat centraal in dit onderzoek. Om visuele sociale signalen te interpreteren maken computers gebruik van beeldverwerkingstechnieken. Eerder werk in dit veld richtte zich op technieken die toegepast werden op afbeeldingen of individuele frames uit videoclips en beschreven de inhoud aan de hand van lokale visuele kenmerken. Aan de hand van deze visuele kenmerken probeerde de computer het menselijk signaal te herkennen en te interpreteren. Een nadeel van deze eerdere aanpak is dat informatie over bewegingen in de tijd buiten beschouwing wordt gelaten.Om deze tekortkoming te overbruggen hebben we in dit werk een techniek toegepast die niet alleen in staat is om lokale visuele karakteristieken van individuele frames te beschrijven, zoals kenmerken van aanwezige contourovergangen, maar ook temporele kenmerken, zoals het verplaatsen van deze contourovergangen over tijd in kaart kan brengen. Om erachter te komen of computers daadwerkelijk gebaat zijn bij het toevoegen van temporele informatie om menselijke sociale signalen te herkennen, hebben we in dit werk vier studies verricht waarin we voor vier verschillende sociale signalen telkens systematisch de prestaties van voorspellende algoritmes vergeleken voor zowel de conditie met enkel lokale visuele kenmerken als de conditie met lokale en temporele kenmerken. We begonnen ons onderzoek met visuele spraakherkenning, dat wil zeggen, bepalen of iemand spreekt door alleen naar het beeld te kijken. Daarna onderzochten we of we bij kinderen konden bepalen of zij moeilijkheden ondervonden tijdens beantwoorden van rekensommen. Vervolgens keken we naar het onderscheidtussen gespeelde en spontane glimlachen en tenslotte onderzochten we of we aan de hand van iemands wandelpatroon het geslacht konden bepalen. Hiervoor hebben we in de eerste drie studies gekeken naar signalen die tot uiting komen in het gezicht en in de laatste studie nemen we het hele lichaam in beschouwing. Op basis van de resultaten in deze studies kunnen we concluderen computers inderdaad vaak beter in staat zijn het sociale signaal te voorspellen wanneer zij beschikken over extra temporele informatie. Dit was voornamelijk het geval wanneer het saillante deel van het signaal expliciet aanwezig was in een specifiek deel van het gezicht of lichaam. Voor subtiele signalen of signalen die niet te koppelen zijn aan specifieke delen van het gezicht presteerden zowel de lokale als temporele kenmerken matig in het herkennen van het signaal, al leken de temporele kenmerken het net iets beter te doen. Alles bij elkaar opgeteld kunnen we concluderen dat voor het herkennen van sociale signalen het beter is om temporele informatie te gebruiken dan alleen lokale en toekomstig werk zou zich kunnen richten op het automatisch leren van de optimale temporele kenmerken.<br/