Tijdschriftissue 3 2017

Het leren van nieuw gedrag met een ouder wordend brein

• geschreven door Irene van de Vijver

In het dagelijks leven maken we bijna continu keuzes, bijvoorbeeld of we met de fiets of met de tram naar ons werk gaan, en of het verstandig is om een paraplu mee te nemen of niet. Vaak baseren we deze keuzes op eerdere ervaringen. Een keuze die eerder prettige gevolgen heeft gehad, zal waarschijnlijk worden herhaald. Dit wordt reinforcement learning of ‘feedback leren’ genoemd. Deze leerprocessen blijven het hele leven van belang. Ouder worden leidt echter tot veranderingen in het gedrag, in het denken en ook in de hersenen. Hoe leiden leeftijdsgerelateerde verschillen in de hersenen tot aanpassingen van het leergedrag? Veroudering wordt meestal geassocieerd met achteruitgang, maar is er ook nog sprake van vernieuwing?

Afbeelding van Flickr (https://www.flickr.com/photos/dierkschaefer/2961565820/in/photolist-5vGNkE-DBptPo-784H9C-8s1qj2-5kS97q-X37oRC-azeZkT-qvmzo-9jYpXM-7fwG4h-kjRPa-7kZX4P-84Diy3-apkQ4b-21da4aW-a1xYav-ciXwx7-8cLR5X-oj9m3X-apYrvA-azeZwp-9UwYp-qDbwbV-8tZHgK-efobo9-88SEZN-cL34eC-qmqTor-5kYwkW-gma7m4-gFKv4L-8gNSn6-8nuU6d-casvL7-aot3kt-dAkCSc-aPhhJK-Y6ff-okGXmP-pB3DCr-c9MAKN-4LR19b-cVJN4-3YZ7Bn-8U8h7t-4XECzP-HxTvQ-H93m4r-ousHF-bPbME2), CC BY 2.0 (https://creativecommons.org/licenses/by/2.0/).

Twee gebieden in onze hersenen lijken cruciaal voor feedback leren: het striatum en de frontale cortex (Maia, 2009). Het striatum ligt diep in de hersenen (Figuur 1a) en signaleert in hoeverre de daadwerkelijke gevolgen van een keuze prettiger of minder prettig uitvallen dan je van tevoren verwachtte. De frontale cortex bevindt zich aan de voorkant van de hersenen achter het voorhoofd (Figuur 1b) en is betrokken bij doelgericht gedrag: het maken van (een reeks) keuzes met een bepaald doel voor ogen. Succesvolle keuzes kunnen echter alleen worden gemaakt als de betrokken hersengebieden goed met elkaar communiceren. Dat hangt onder andere af van hoe goed deze gebieden fysiek met elkaar verbonden zijn (Kanai en Rees, 2011). Vergelijk het met de snelweg tussen Amsterdam en Utrecht: hoe breder de weg, hoe meer auto’s er per uur overheen kunnen.

Hoewel ouderen (mensen van 65 jaar en ouder) nog steeds goed in staat zijn tot feedback leren, nemen de snelheid van het leren en de accuraatheid van het geleerde gedrag af, zelfs bij mentaal gezonde veroudering (zie bijvoorbeeld Eppinger en Kray, 2010; Hämmerer et al., 2011). Ook kost het  ouderen meer moeite om hun keuzestrategieën flexibel aan te passen aan de situatie dan jongvolwassenen (vanaf 18 jaar; Mata, von Helversen, & Rieskamp, 2010). Uit eerder onderzoek blijkt verder dat de delen van het striatum en de frontale cortex die bij jongvolwassenen actief worden tijdens het feedback leren, bij ouderen minder activiteit laten zien. Tegelijkertijd tonen ouderen in deze onderzoeken echter een toename van activiteit in andere, gerelateerde hersengebieden in de frontale cortex (Eppinger, Schuck, Nystrom, & Cohen, 2013; Mell et al., 2009; Van de Vijver, Cohen, & Ridderinkhof, 2014). Deze ‘compensatie’ door het gebruik van andere hersengebieden wordt ook bij andere cognitieve processen gevonden. De hersenen lijken dus in staat de eerste tekenen van veroudering te compenseren door extra gebieden in te schakelen (Reuter-Lorenz en Cappell, 2008).

Samen met mijn collega’s heb ik onderzocht hoe veranderingen in het leersucces bij het ouder worden verklaard konden worden door veranderingen in de verbindingen tussen het striatum en de frontale cortex (Van de Vijver et al., 2016). Dit bestudeerden we door het leergedrag te relateren aan scans van de verbindingen in de hersenen: welke verbindingen waren sterker in mensen die het beter leerden, en welke juist niet? We verwachtten dat de verbindingen die in jongvolwassenen belangrijk waren voor het leren bij ouderen achteruit zouden gaan en minder relevant zouden worden. Daarnaast verwachtten we dat de verbindingen tussen het striatum en de ‘compenserende’ frontale hersengebieden juist belangrijker zou worden om goed te kunnen blijven leren op hogere leeftijd.

Hoe goed de deelnemers waren in feedback leren werd gemeten met een computerspel. In dit spel moesten deelnemers bij verschillende abstracte plaatjes leren of ze op de linker- of de rechterknop moesten drukken. Per plaatje was één van de twee knoppen correct. Het was de bedoeling dat ze dit leerden met behulp van de feedback die ze na elke keuze kregen: een groen of een rood vierkant gaf aan of de keuze correct was of niet. Omdat alle plaatjes meerdere keren voorkwamen, konden de deelnemers hun keuzes verbeteren en bij elk plaatje de juiste knop ontdekken. Om het leren iets moeilijker te maken, was de feedback niet altijd consistent: soms drukten deelnemers bij een plaatje de juiste knop in, maar kregen toch te zien dat hun keuze fout was, en soms drukten ze de onjuiste knop in, maar kregen toch te zien dat hun keuze goed was. De deelnemers speelden meerdere versies van het spel: een makkelijke versie waarin ze maar af en toe voor de gek werden gehouden (bij 10% van de plaatjes) en een moeilijke versie waarin ze vaker voor de gek werden gehouden (bij 30% van de plaatjes).

De verbindingen tussen het striatum en de frontale cortex brachten we in kaart met behulp van magnetic resonance imaging (MRI). MRI scans maken gebruik van magnetische velden om de aanwezigheid van bepaalde atomen in het brein te meten. We maakten gebruik van een speciaal soort scan die het netwerk van verbindingen tussen verschillende hersengebieden weer kan geven. Dit gebeurt op basis van de gemeten beweging van waterstofatomen: als de atomen in een bepaald stukje van de hersenen weinig ruimte hebben om te bewegen dan bevinden ze zich waarschijnlijk in een verbinding, net als waterdruppels in een tuinslang weinig bewegingsvrijheid hebben. Op basis van deze scans konden we per deelnemer berekenen waar de verbindingen tussen het striatum en de frontale cortex liepen, en wat de sterkte van deze verbindingen was.

Eerst keken we per leeftijdsgroep (22 jongvolwassenen en 22 ouderen) naar het verband tussen leergedrag en de verbindingen in de hersenen. In de makkelijke conditie presteerden jongvolwassenen met sterkere verbindingen tussen het striatum en de frontale cortex minder goed dan jongvolwassenen met minder sterke verbindingen  In de moeilijke conditie deden de jongvolwassenen met sterkere verbindingen het juist beter dan hun leeftijdsgenoten met minder sterke verbindingen. Dit suggereert dat een goede samenwerking tussen frontale en striatale systemen juist bij inconsistente feedback van belang is. Bij ouderen bleek hetzelfde netwerk van verbindingen van belang voor zowel makkelijk als moeilijk leren: ouderen met sterkere verbindingen in dit netwerk deden het in beide situaties beter dan ouderen met minder sterke verbindingen. Dit sluit aan bij de in flexibiliteit die ouderen laten zien in hun keuzestrategieën (Mata, von Helversen, & Rieskamp, 2010).

Daarna vergeleken we de relatie tussen het gedrag en de hersenverbindingen tussen de twee leeftijdsgroepen. Hoewel de ouderen in deze studie even goed leerden als de jongvolwassenen, vonden we toch grote verschillen in de onderliggende netwerken van belangrijke verbindingen. Het netwerk dat in ouderen van belang was voor het leersucces bleek inderdaad andere en extra connecties tussen het striatum en de frontale cortex te omvatten dan bij de jongvolwassenen. Deze extra connecties betroffen met name connecties met de ‘compenserende’ hersengebieden. Wanneer de kwaliteit van het centrale leernetwerk begint af te nemen, lijken ouderen ter compensatie dus afhankelijker van andere, nog relatief intacte verbindingen.

Bij onze resultaten, en bij veel andere resultaten in dit veld, moet wel in het achterhoofd worden gehouden dat de oudere deelnemers bovengemiddeld actief en intelligent waren. Het is niet duidelijk of het nog mogelijk is te compenseren voor achteruitgang wanneer het verval groter wordt. Onderzoek met taken met verschillende moeilijkheidsniveaus laat zien dat compensatie alleen op de makkelijkere niveaus volstaat (Mattay et al., 2006). Toch suggereren onze en andere studies dus dat veroudering niet alleen gepaard gaat met achteruitgang, maar ook kan worden gezien als een proces van aanpassing en vernieuwing.

Figuur 1 – De belangrijkste gebieden voor feedback leren in onze hersenen zijn (A) de frontale cortex en (B) het striatum (afbeeldingen van de hersenen gebaseerd op het MNI standaardbrein uit de FSL toolbox; Jenkinson et al. (2012), Smith et al. (2004)).

Referenties

• Eppinger, B., & Kray, J. (2010). To choose or to avoid: age differences in learning from positive and negative feedback. Journal of Cognitive Neuroscience, 23(1), 41–52. http://doi.org/10.1162/jocn.2009.21364
• Eppinger, B., Schuck, N. W., Nystrom, L. E., & Cohen, J. D. (2013). Reduced striatal responses to reward prediction errors in older compared with younger adults. The Journal of Neuroscience, 33(24), 9905–12. http://doi.org/10.1523/JNEUROSCI.2942-12.2013
• Hämmerer, D., Li, S.-C., Müller, V., & Lindenberger, U. (2011). Life span differences in electrophysiological correlates of monitoring gains and losses during probabilistic reinforcement learning. Journal of Cognitive Neuroscience, 23(3), 579–92. http://doi.org/10.1162/jocn.2010.21475
• Jenkinson, M., Beckmann, C.F., Behrens, T.E.J., Woolrich, M.W., Smith, S.M., 2012. FSL. Neuroimage 62, 782–90.
• Kanai, R., & Rees, G. (2011). The structural basis of inter-individual differences in human behaviour and cognition. Nature Reviews. Neuroscience, 12(4), 231–42. http://doi.org/10.1038/nrn3000
• Maia, T. V. (2009). Reinforcement learning, conditioning, and the brain: Successes and challenges. Cognitive, Affective & Behavioral Neuroscience, 9(4), 343–64. http://doi.org/10.3758/CABN.9.4.343
• Mata, R., von Helversen, B., & Rieskamp, J. (2010). Learning to choose: Cognitive aging and strategy selection learning in decision making. Psychology and Aging, 25(2), 299–309. http://doi.org/10.1037/a0018923
• Mattay, V. S., Fera, F., Tessitore, A., Hariri, A. R., Berman, K. F., Das, S., … Weinberger, D. R. (2006). Neurophysiological correlates of age-related changes in working memory capacity. Neuroscience Letters, 392(1–2), 32–7. http://doi.org/10.1016/j.neulet.2005.09.025
• Mell, T., Wartenburger, I., Marschner, A., Villringer, A., Reischies, F. M., & Heekeren, H. R. (2009). Altered function of ventral striatum during reward-based decision making in old age. Frontiers in Human Neuroscience, 3, 34. http://doi.org/10.3389/neuro.09.034.2009
• Reuter-Lorenz, P. A., & Cappell, K. A. (2008). Neurocognitive aging and the compensation hypothesis. Current Directions in Psychological Science, 17(3), 177–182.
• Smith, S.M., Jenkinson, M., Woolrich, M.W., Beckmann, C.F., Behrens, T.E.J., Johansen-Berg, H., Bannister, P.R., De Luca, M., Drobnjak, I., Flitney, D.E., Niazy, R.K., Saunders, J., Vickers, J., Zhang, Y., De Stefano, N., Brady, J.M., Matthews, P.M., 2004. Advances in functional and structural MR image analysis and implementation as FSL.Neuroimage 23 Suppl 1, S208–19.
• van de Vijver, I., Cohen, M. X., & Ridderinkhof, K. R. (2014). Aging affects medial but not anterior frontal learning-related theta oscillations. Neurobiology of Aging, 35(3), 692–704. http://doi.org/10.1016/j.neurobiolaging.2013.09.006
• van de Vijver, I., Ridderinkhof, K. R., Harsay, H., Reneman, L., Cavanagh, J. F., Buitenweg, J. I. V, & Cohen, M. X. (2016). Frontostriatal anatomical connections predict age- and difficulty-related differences in reinforcement learning. Neurobiology of Aging, 46, 1–12. http://doi.org/10.1016/j.neurobiolaging.2016.06.002