Mobile Phones as Cognitive Systems

Abstract

Drevet af den øgede tilgængelighed af data samt den lave pris på datalagring, er vores mulighed for at indsamle data om mennesker steget dramatisk. “Big data” har gennemsyret den offentlige diskurs og ført til overraskende indsigter på tværs af naturvidenskab og humaniora. Denne afhandling beskæftiger sig med data indsamlet om mennesket og præsenterer forskning der udvider vores kompetencer indenfor indsamling, håndtering, forarbejdning og anvendelse for at skabe et samlet billede af sociale systemer. Målet med denne afhandling er tredelt.Den første del af denne afhandling fokuserer på sensor-drevet indsamling af data og diskuterer behovet, designet, samt implementeringen af denne type studier. Sociale netværk kan måles med høj opløsning og via flere kanaler, såsom ansigt-til-ansigt møder, online netværk eller telefonopkald. For at få et fyldestgørende billede af mennesket skal man dække alle vore kommunikationskanaler. Udfordringer samt motivationen bag den til dato største indsamling af sensor-dreven data, med titlen Copenhagen Networks Study, bliver beskrevet og diskuteret. Foreløbige data bliver præsenteret og indikerer udfordringen i bias og muligheden for slutninger baseret på ufuldstændige data fra kun en kanal. Dette understreger betydningen af den beskrevne fremgangsmåde.Den anden del af denne afhandling omhandler et nyt mobilt system, kaldet Smartphone Brain Scanner, der udvider vores nuværende rammer til mobilt at kunne registrere kognitive tilstande hos mennesker. Den udviklede metode gør det muligt at både indsamle og behandle EEG data dynamisk. Yderligere, åbner den muligheder for at brugere selv kan bygge og anvende nye applikationer på det indsamlede data. Metoden er både kompatibel med standard komponenter, specialbyggede neuro-headset samt andre mobile enheder og kan dermed potentielt blive en ny kanal i indsamlingen af data om mennesket. Denne del beskriver motivationen bag skabelsen af systemet, forklarer de avancerede databehandlingsmetoder og giver eksempler på hvorledes et sådant system kan være nyttigt.I den tredje del undersøges og diskuteres hånderingen af disse følsomme data med henblik på beskyttelsen af privatlivets fred. En omfattende gennemgang belyser de nuværende fremgangsmåder og giver detaljerede anbefalinger til fremtidige studier der omhandler anvendelse af denne slags personfølsomme data. Baseret på denne gennemgang og de to projekter: Copenhagen Networks Study og Smartphone Brain Scanner introduceres begrebet Living Informed Consent. Her postuleres at større individuel kontrol over data er til gavn for brugere, forskere og samfundet generelt. De samme principper om privatlivets fred anvendes i sammenhængen med personlig neuroinformatik og resulterer i en ny tilgang til håndtering af følsomme EEG data.Driven by the ubiquitous availability of data and inexpensive data storage, our ability to sense human beings has increased dramatically. Big data has permeated the public discourse and led to surprising insights across the sciences and the humanities. This dissertation presents research on expanding our capabilities in collecting, handling, processing, and using data collected about human beings to create an integrated view of social systems. The goal of the thesis has been threefold.The first part of the thesis focuses on the need, design, and implementation of large-scale sensor-driven human data collection studies. Social networks can be measured with high resolution and on multiple channels, such as face-toface meetings, social networks, or phone calls, in order to generate a more comprehensive picture of social systems. The largest study to date measuring large-scale social system—the Copenhagen Networks Study—is described, together with motivation and challenges of the deployment. Preliminary results are presented, indicating how a possibly biased and incomplete picture can be generated when data are collected from a single channel and with a low resolution, thus emphasizing the importance of the proposed approach and deployed implementation.The second part of the thesis deals with expanding our capabilities to sense the cognitive and emotional state of the users through development of a system for mobile brain imaging—the Smartphone Brain Scanner. A developed framework allows for EEG data collection and processing. It also provides the ability to build end-user applications on top of raw data and extracted features using off-the-shelf and custom-built neuroheadsets and mobile devices, thereby potentially becoming another channel in integrated human sensing. The motivation for creating such system is presented, advanced data processing—3D source reconstruction—is explained, and applications and use-cases are discussed. In the third part, the privacy issues surrounding the handling of such sensitive behavioral and biomedical data are investigated. A comprehensive review of best privacy practices in sensor-driven human data collection is presented and recommendations for practitioners are made. Based on this review and experiences with the Copenhagen Networks Study and the Smartphone Brain Scanner, the concept of Living Informed Consent is presented, which postulates larger participant control over collected data for the benefit of users, researchers, and society at large. The same privacy principles are applied to a personal neuroinformatics context, resulting in a proposed new approach to sensitive EEG data handling