Recent schreven Marcel Das en Peter van der Velden een interessant artikel over hoe gangbare veronderstellingen uit wetenschappelijk onderzoek soms tot verkeerde conclusies kunnen leiden. [1] Beiden hoogleraren, verbonden aan Tilburg University en Centerdata, zetten in dit artikel aan tot het werpen van een kritische blik op de manier waarop een onderzoek is gepland en uitgevoerd. We geven je hier graag een samenvatting.
Wetenschappelijk onderzoek, zeker die van het spraakmakende soort, komt in Nederlandse kranten, radio- en televisieprogramma’s vaak aan bod. Bij het beoordelen van onderzoek kun je je afvragen of deze onderzoeksresultaten betrouwbaar zijn. Soms blijft er na kritische beoordeling van gepresenteerde alarmerende conclusies nog weinig over.
Als we het hebben over de betrouwbaarheid van een onderzoek, heeft dit betrekking op de manier van meten. Hierbij leidt een betrouwbare meetmethode tot precieze uitkomsten, gekenmerkt door een gelijkmatige spreiding van de meetwaarden. [2] Een betrouwbaar onderzoek moet daarnaast representatief zijn. Er is sprake van representativiteit wanneer een getrokken steekproef een verkleinde afspiegeling is van de werkelijkheid – de populatie. [3] De populatie is hierbij de gehele onderzoeksgroep. Aan de hand van een representatieve steekproef, kunnen er geldige uitspraken worden gedaan over de populatie.
‘Journalisten, redacties en andere geïnteresseerden laten zich bij de interpretatie van onderzoeksresultaten vermoedelijk leiden door de veronderstelling: “Wanneer de demografische kenmerken (leeftijd, geslacht, etc.) van de onderzoeksgroep gelijk zijn aan die van de bevolking (of de doelgroep), zijn de resultaten representatief.”’, zeggen Das en van der Velden. Daarnaast lijken er veronderstellingen over de grootte van steekproeven en het significantieniveau: een groter onderzoek is per definitie betrouwbaarder, en een statistisch significant verschil of verband is een groot verschil of verband. Geen van deze veronderstellingen zijn zonder meer waar.
Das en van der Velden geven in hun artikel aan hoe het gelijktrekken van demografische kenmerken geen garantie geeft voor representatieve resultaten. Bijvoorbeeld, als er voor de onderzoeksvraag “Wat voor waarde hecht men aan politieke partijen?” een steekproef wordt getrokken uit leden van alle politieke partijen, is er sprake van voorselectie. Het gelijktrekken van demografische kenmerken van deze deelnemers aan die van de Nederlandse bevolking (zoals leeftijd en geslacht), waarborgt niet per se de representativiteit van de onderzoeksgroep: deze steekproef hecht namelijk sowieso al enige mate van waarde aan politieke partijen, gezien ze er allen lid van zijn.
Aan de hand van een ander voorbeeld leggen Das en van der Velden uit dat een kleinere steekproef soms meer kan zeggen over de populatie dan een grotere groep. Wanneer er wordt gekeken naar de mate waarin mensen van sociale media gebruik maken, is een groep van 50.000 mensen die via sociale media geworven zijn minder wenselijk dan een kleinere groep die via een willekeurig panel is geworven. De eerste, grotere groep is een selectieve groep: deze groep gebruikt sowieso al sociale media. De tweede, kleinere groep is daarentegen niet (of minder) selectief. Een grote steekproef is dus niet per se beter dan een kleine steekproef
Tot slot beschrijven Das en van der Velden hoe een statistische significant verschil of verband niet altijd gelijk staat aan een groot verschil of verband. Een verschil wordt significant (of betekenisvol) genoemd, wanneer de kans dat een verschil door toeval ontstaan is, kleiner is dan 5%. [4] De kans dat een gevonden verschil door toeval is veroorzaakt, wordt hierdoor bepaald. Wanneer er bijvoorbeeld in een onderzoek een significant verschil wordt gevonden in eenzaamheidsgevoelens tussen ouderen en jongeren (50.5% versus 49.5%), dan zijn de gevoelens van eenzaamheid dus significant verschillend, maar niet per se groot.
Al met al concluderen Das en Van der Velden dat de beschreven veronderstellingen uit wetenschappelijk onderzoek dus soms tot verkeerde conclusies kunnen leiden. Een grote steekproef, een statistisch significant verschil of verband en het gelijktrekken van de samenstelling onderzoeksgroep en de populatie zorgt dus niet per se voor betrouwbare resultaten. De auteurs zetten aan tot kritisch kijken naar de opzet en uitvoering van wetenschappelijk onderzoek.
Bronnen:
1 https://www.centerdata.nl/actueel/hoe-gangbare-veronderstellingen-tot-verkeerde-conclusies-kunnen-leiden
2 https://www.studiemeesters.nl/scriptie/betrouwbaarheid-en-validiteit/
3 https://kcmsurvey.eu/actueel/waaraan-moet-een-representatief-onderzoek-voldoen/
4 https://www.bioplek.org/techniekkaartenbovenbouw/techniek99ttoets.html