door Ivo Stuldreher (TNO), Anne-Marie Brouwer (TNO) en Nattapong Thamassan (UTwente)

Heb jij soms ook het idee dat jij en een vriend, familielid, klasgenoot of collega hetzelfde denken en echt ‘in sync’ zijn? Dat kan, en waarschijnlijk letterlijker dan je denkt. Fysiologische maten, zoals hartslag, zweetrespons of hersenactiviteit, kunnen tot op zekere hoogte namelijk synchroniseren, bijvoorbeeld tussen personen die dezelfde activiteit uitvoeren. Binnen NeuroLabNL onderzoeken wij hoe deze synchronie kan bijdragen aan beter onderwijs.

Interpersoonlijke data analyse

Interpersoonlijke fysiologische data analyse is een opkomend onderzoeksgebied dat fysiologische maten, zoals hartslag, zweetrespons of hersenactiviteit gebruikt om iets te zeggen over de mentale activiteit van een persoon. De gebruikelijke aanpak bij het verbinden van hersensignalen aan mentale activiteit omvat het trainen van persoonlijke modellen, waarbij vaak grote hoeveelheden persoonlijke trainingsdata nodig zijn. Interpersoonlijke analyses, daarentegen, richten zich op de informatie die te vinden is in systematische relaties tussen signalen, zoals gemeten bij verschillende leden van een groep of team. Hierdoor hoeft er geen model getraind te worden en is technologie dus breed inzetbaar als het onmogelijk is om voldoende betrouwbare trainingsdata te verzamelen.

Toepassing binnen NeuroLabNL

De systematische relaties tussen hersensignalen zijn in de laatste 10 jaar vooral gerelateerd aan gedeelde aandacht: hoe sterker de synchronie in de hersensignalen tussen personen, hoe sterker de gedeelde aandacht is. Deze maat van aandacht kan van pas komen in het onderwijs, bijvoorbeeld voor de evaluatie van lesmateriaal of voor het ondersteunen van leerlingen met aandachtsproblemen. Binnen NeuroLabNL pakken we een aantal uitdagingen aan die dit soort toepassingen dichterbij brengen.

Als eerste hebben we signalen gebruikt die makkelijker te meten zijn dan hersensignalen, zoals hartslag en zweetrespons. Hoewel de link tussen hersenactiviteit en aandacht sterk is, zijn hersensignalen buiten het lab moeilijk om op een comfortabele en betrouwbare manier te meten. Daarom onderzochten wij of hartslag en zweetrespons door middel van interpersoonlijke analyses ook te koppelen zijn aan gedeelde aandacht.

In een experiment lieten wij deelnemers een luisterboek horen, gemixt met een aantal afleidende geluiden. Dit waren geluiden van een emotionele aard, zoals een huilende baby of de geluiden van een pretpark, afgewisseld met blokken met piepjes. We gaven twee groepen proefpersonen verschillende opdrachten: de ene groep moest op het luisterboek letten, en de afleidende geluiden zoveel mogelijk negeren De andere groep moest juist op de afleidende geluiden letten en daarbij de piepjes tellen, terwijl zij het luisterboek zoveel mogelijk negeerden. We bekeken of we van een willekeurige deelnemer konden bepalen tot welke groep deze behoorde aan de hand van interpersoonlijke analyses met hersensignalen, hartslag en zweetrespons, Dit bleek verassend goed te werken. Niet alleen voor hersenactiviteit, waarmee 96% van de deelnemers correct aan een van de twee groepen kon worden toegewezen, maar ook voor hartslag en zweetrespons, waarmee 73% van de deelnemers correct kon worden toegewezen.

Vanuit het lab naar de echte wereld

Hoewel wetenschappelijk interessant, is bovenstaand scenario nog niet praktisch als we niet op voorhand weten wie er tot welke aandachtsgroep behoort. Denk bijvoorbeeld aan een klaslokaal, waar niet vooraf bekend is welke groep leerlingen hun aandacht goed bij de les kunnen houden en wie snel afgeleid zijn. Daarom bekeken we als tweede stap of de twee groepen ook te onderscheiden waren wanneer we gebruik maakten van zogenaamde ongecontroleerde (unsupervised) leertechnieken. Dit resulteerde opnieuw in positieve resultaten. Met gebruik van hersensignalen kon tot 85% van de deelnemers worden toebedeeld aan de correcte groep. Het gebruik van hartslag of zweetrespons leidde niet tot prestaties boven kans niveau, maar wanneer deze maten werden toegevoegd aan de hersensignalen in het ongecontroleerde leermodel liepen de resultaten op tot 92%.

Onze volgende stap richting gebruik in de echte wereld was om de positieve resultaten met hartslag en zweetrespons te reproduceren met relatief goedkope en gebruiksvriendelijke wearables. Hoewel er wel degelijk verschillen zijn tussen de signalen van goedkope wearables en dure lab-apparatuur, bleek dat de interpersoonlijke data analyse met de wearables in ons geval net zo goed werkte als met de gouden standaard.

Continu en impliciet

Naast het meten van verschillen in aandacht tussen mensen, kan interpersoonlijke data analyse ook informatie leveren over hoe aandacht verloopt over de tijd, en hoe dit samenhangt met gebeurtenissen in de omgeving. In een vervolgstudie hebben we getest of we konden detecteren wanneer de afleidende geluiden te horen waren. Het idee hierachter is dat de afleidende geluiden veel aandacht zullen vragen, wat leidt tot veel gelijkheid in de fysiologische signalen tussen personen. Inderdaad bleek dat de afleidende geluiden boven kans niveau konden worden gedetecteerd. Interessant waren vooral ook de verschillen tussen maten. Hersensignalen bleken goed voor de detectie van piepjes, die de aandacht trokken doordat deze moesten worden geteld. Hartslag en zweetrespons bleken vooral geschikt voor de detectie van emotionele geluiden. Oftewel, er is toegevoegde waarde om naast hersensignalen ook hartslag en zweetrespons mee te nemen, omdat deze aandacht reflecteren die door andere mentale processen gedreven lijkt.

Vertaling naar het onderwijs

In de uitgevoerde onderzoeken is aangetoond dat interpersoonlijke data analyse voor fysiologische maten een veelbelovende methode is voor het monitoren van aandachtsprocessen in groepen. Hoe vertaalt dit zich naar het onderwijs?

Er zijn een aantal praktijkscenario’s waarin dit soort analyses van toegevoegde waarde kunnen zijn. Allereerst kun je denken aan de evaluatie van nieuw, innovatief onderwijsmateriaal. Met behulp van interpersoonlijke analyses kan worden vergeleken hoe de aandachtsprocessen zich ontwikkelen bij nieuwe lesmethodes in vergelijking met bestaande lesmethodes. De effecten van aspecten zoals de duur van een les, de afwisseling binnen een les en de gebruikte lesvormen op aandacht en emotie kunnen in kaart worden gebracht.

Ten tweede zouden wearables in combinatie met slimme interpersoonlijke analyses als assistent van de leraar kunnen dienen. Denk bijvoorbeeld aan extra, juist getimede hulp aan kinderen met aandachtsproblemen. Op groepsniveau zou een leraar ook feedback kunnen krijgen over de effectiviteit van een les en zo nodig een extra pauze inlassen of de lesmethode aanpassen. Een extra voordeel van deze laatste methode is dat de techniek zo kan worden ingericht dat informatie niet is terug te leiden naar een individu.

Binnen NeuroLabNL doen wij ook onderzoek naar deze en andere mogelijke ethische bezwaren van technologieën in het onderwijs. Samen met ethici Anke Snoek en Dorothee Horstkötter onderzoeken we de verwachtingen, obstakels en voordelen van het gebruik van wearables in combinatie met interpersoonlijke data analyse in het onderwijs.