In-Mind blog

Wroeten in de data en selecteren wat past: Hoe overtuigingen van wetenschappers onderzoeksresultaten onbetrouwbaar maken

• geschreven door Lianne Wolsink

Wetenschappers hebben, net als andere mensen, een voorliefde voor bewijs dat overeenkomt met hun overtuigingen (Chambers, 2019, Hoofdstuk 1). Neem bijvoorbeeld de vraag of regelmatig bewegen goed is voor het denkvermogen. Het klinkt heel aannemelijk: Lichaamsbeweging is goed voor de gezondheid, dus het zal ook wel goed zijn voor cognitie. Wetenschappelijk onderzoek helpt ons om voorbij onze eigen ideeën en overtuigingen te kijken om erachter te komen of iets echt is zoals we denken. Maar dat is niet vanzelfsprekend en gaat wel eens mis (bijv. Goldacre, 2009; Ritchie, 2020). Overtuigingen kunnen, al dan niet onbewust, resultaten op verschillende manieren vervormen, bijvoorbeeld door te wroeten in de data, negatieve resultaten links te laten liggen, of alleen positieve resultaten te publiceren.

Dit is helaas niet alleen een intern wetenschapsprobleem. Onderzoeksresultaten vinden hun weg naar de buitenwereld via beleid en richtlijnen en hebben daarmee invloed op het dagelijks leven. Beleid gebaseerd op onbetrouwbare resultaten verspilt niet alleen tijd en geld, maar kan ook schadelijke effecten hebben (denk bijvoorbeeld aan schadelijke medische behandelingen; Goldacre, 2009). Daarnaast wordt het opdoen van betrouwbare kennis en het ontwikkelen van nieuwe, effectieve interventies belemmert als je vast blijft houden aan ideeën die niet door bewijs worden ondersteund.

Afbeelding van Pexels.

Wroeten in de data

Data is op verschillende manieren te analyseren en als je maar lang genoeg probeert, vind je altijd wel iets dat statistisch significant is en past bij je verwachtingen (Simmons et al., 2011). Dit wil niet zeggen dat lichaamsbeweging in werkelijkheid een effect of cognitie heeft. Door het wroeten in de data kan het namelijk net zo goed een vals positief resultaat zijn en daarmee toevallig significant (Stefan & Schönbrodt, 2023). Het wordt problematisch wanneer slechts deze positieve resultaten worden opgeschreven, alsof er nooit is gewroet. Hierdoor kunnen andere onderzoekers niet achterhalen hoe de resultaten precies tot stand zijn gekomen en hoeveel waarde er aan gehecht moet worden.

Wat is er aan de hand met het wetenschappelijk onderzoek naar lichaamsbeweging en denkvermogen? Een recent overzichtsartikel beschrijft verschillende problemen, waaronder uiteenlopende analysemethode die duiden op gewroet in de data en het negeren van negatieve resultaten (Ciria et al., 2023). Voorgaande overzichtsartikelen, die bedoeld zijn om de literatuur samen te vatten, blijken selectief te zijn geweest in het kiezen van relevante experimenten. Studies die wel hadden moeten worden toegevoegd, zijn achterwege gelaten. De verschillende overzichtsartikelen bekijken zo elk een selectief stukje van de literatuur – niet toevallig het positiefste stukje – en zijn op zichzelf geen goede samenvatting van de gehele literatuur. 

Bovendien lijkt er sprake van de zogeheten publicatiebias: Studies met negatieve resultaten worden minder snel worden gepubliceerd. Voorgaande overzichtsartikelen hebben hier onvoldoende rekening mee gehouden, waardoor hun conclusies positiever uitvallen (Ciria et al., 2023). Het effect van lichaamsbeweging op denkvermogen wordt verwaarloosbaar klein wanneer men corrigeert voor deze problemen (Ciria et al., 2023). Dus, is regelmatig bewegen goed voor je denkvermogen? Dat zou kunnen, maar overtuigend wetenschappelijk bewijs ontbreekt. Dit betekent overigens niet dat regelmatig bewegen een slecht idee is, het is immers goed voor de gezondheid, maar of je cognitie er beter van wordt, is vooralsnog een open vraag.

Open Science

Om betrouwbare antwoorden te vinden op deze en andere vragen en niet te vervallen in pseudowetenschap, moeten wetenschappers zichzelf beschermen tegen intuïtieve ideeën en de menselijke voorliefde voor de bevestiging van deze ideeën (Lilienfeld, 2010). Gelukkig zijn daar methoden voor, zoals het vooraf vastleggen van de analysemethode (Wagenmakers et al., 2012). Het idee dat wetenschappelijk onderzoek toegankelijker, transparanter, reproduceerbaarder en inclusiever moet zijn, ook wel Open Science genoemd, krijgt de laatste jaren steeds meer voet aan de grond (Pennington, 2023). Het openbaar maken van de data, zodat resultaten geverifieerd kunnen worden, valt hier bijvoorbeeld onder. Bovendien zou het helpen als conclusies een afspiegeling zijn van de resultaten, met de nodige nuance en voorzichtigheid, en zonder ze mooier weer te geven dan ze zijn (Hoekstra & Vazire, 2021).

Hou jezelf niet voor de gek

Als wetenschappers verder willen kijken dan hun eigen overtuigingen en nieuwe, betrouwbare kennis willen opdoen, is er kwalitatief goed en transparant onderzoek nodig en een kritische en bescheiden houding, of zoals de Amerikaanse natuurkundige Richard Feynman (1974) het verwoordde “The first principle is that you must not fool yourself – and you are the easiest person to fool” (p. 12). Open Science kan daarbij helpen door het onderzoeksproces toegankelijker en transparanter te maken.

Landelijke Open Science week

Van 22 tot 26 september 2025 vindt de landelijke Open Science week plaats, georganiseerd door het Network of Open Science Communities in the Netherlands (OSC-NL). In deze week worden er allerlei activiteiten georganiseerd om meer aandacht te vragen voor het belang van Open Science en om de praktische toepassing ervan te stimuleren. Voor meer informatie, klik hier.  

Meer informatie over Open Science in Nederland: klik hier. Meer informatie over het Netherlands Reproducibility Network: klik hier. 

Referentielijst

Chambers, C. (2019). The seven deadly sins of psychology: A manifesto for reforming the culture of scientific practice. Princeton University Press.

Ciria, L. F., Román-Caballero, R., Vadillo, M. A., Holgado, D., Luque-Casado, A., Perakakis, P., & Sanabria, D. (2023). An umbrella review of randomized control trials on the effects of physical exercise on cognition. Nature human behaviour, 7(6), 928-941. https://doi.org/10.1038/s41562-023-01554-4

Feynman, R. P. (1974). Cargo cult science. Engineering & Science, 37, 10–13.

Goldacre,  B. (2009). Bad science. London, England: Fourth Estate.

Hoekstra, R., & Vazire, S. (2021). Aspiring to greater intellectual humility in science. Nature Human Behaviour, 5(12), 1602-1607. https://doi.org/10.1038/s41562-021-01203-8

Lilienfeld, S. O. (2010). Can psychology become a science?. Personality and individual differences, 49(4), 281-288. https://doi.org/10.1016/j.paid.2010.01.024

Pennington, C. (2023). A student's guide to open science: Using the replication crisis to reform psychology. McGraw-Hill Education (UK).

Ritchie, S. (2020). Science fictions: Exposing fraud, bias, negligence and hype in science. Random House.

Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: 

Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological science, 22(11), 1359-1366. https://doi.org/10.1177/0956797611417632

Stefan, A. M., & Schönbrodt, F. D. (2023). Big little lies: A compendium and simulation of p-hacking strategies. Royal Society Open Science, 10(2), 220346. https://doi.org/10.1098/rsos.220346

Wagenmakers, E. J., Wetzels, R., Borsboom, D., van der Maas, H. L., & Kievit, R. A. (2012). An agenda for purely confirmatory research. Perspectives on psychological science, 7(6), 632-638. https://doi.org/10.1177/1745691612463078