Is Wetenschap wel zo objectief als men beweert te zijn?

Wetenschap wordt vaak geprezen als de meest betrouwbare manier om kennis over de wereld te vergaren. Haar methoden zijn gestructureerd, haar processen transparant, en haar resultaten controleerbaar. Het streven naar objectiviteit staat centraal in elk wetenschappelijk onderzoek, waarbij de wetenschapper als onpartijdige waarnemer wordt gepositioneerd. Maar hoe objectief is de wetenschap werkelijk? Hoe zeker zijn we dat wat we meten ook correct is? Of sluipen er onvermijdelijk subjectieve elementen binnen die de manier waarop we de wereld begrijpen beïnvloeden?
Wat is Wetenschap?
Wetenschap zoals we die vandaag de dag kennen, werd na de Verlichting gedefinieerd als een rationele aanpak. Waar de mens vroeger werd gezien als een subjectief wezen dat zich op het slagveld tussen goed en kwaad bevond, probeerde de wetenschap zich af te scheiden van de theologie. De focus verschoof van de buitenkant van de mens naar het verklaren van de binnenkant. De mensheid zou zich verenigen door de kracht van de rede en zo streven naar een maatschappij die zich richt op de Rede.
De academische wereld vertrouwt op de leuze ‘meten is weten’. Dit heeft geleid tot een grote fascinatie voor cijfers, die zich ook heeft verspreid naar de publieke ruimte. Dingen die in cijfers, grafieken en tabellen worden weergegeven, hebben een grote impact. Deze cijfers hebben een bijna hypnotiserende kracht omdat ze de illusie creëren dat ze inwisselbaar zijn voor feiten. Hier ontstaat echter een eerste probleem binnen de wetenschap: het Meetprobleem.
Het Meetprobleem
Het Meetprobleem omvat dat sommige objecten of fenomenen moeilijk tot niet te meten zijn. Laten me dit verduidelijken met voorbeelden.
De Frans-Amerikaanse wiskundige Benoît Mandelbrot introduceerde in zijn ‘Coastline Paradox’ het idee dat de landgrenzen van het Verenigd Koninkrijk moeilijk meetbaar zijn. Hij bedacht een experiment waarbij hij de landgrenzen van het VK ging meten. Hij begon met een ‘meetlat’ van 100 km en berekende dat, met deze schaal, de landgrenzen cumulatief ongeveer 2800 kilometer lang waren. Toen hij de schaal veranderde naar 50 km, kwam hij op 3400 kilometer uit. Dit verschil van 600 km ontstond doordat je met een kleinere schaal veel preciezer kunt meten.. Deze voorbeelden tonen duidelijk aan dat sommige zaken afhankelijk zijn van hoe het gemeten wordt en met welk meetinstrument.
Een ander voorbeeld komt van de statisticus E.H. Simpson. De Simpsons Paradox laat zien dat zeer eenvoudige cijfers multi-interpretabel zijn. Bijvoorbeeld racisme en de doodstraf in Amerika. Als we onderscheid maken op basis van het ras van het slachtoffer en wie veroordeeld werd, zien we dat zowel blanke als zwarte daders ongeveer even vaak de doodstraf krijgen, waarbij blanke daders iets vaker ter dood worden gebracht. Hieruit zou je kunnen concluderen dat ras geen invloed heeft. Maar als je een extra analyseniveau toevoegt, namelijk het ras van de moordenaar en het ras van het slachtoffer, krijg je een volledig andere interpretatie van het cijfer. Bij een blanke moordenaar en een blank slachtoffer kreeg 12 procent de doodstraf. Wanneer een blanke moordenaar echter een zwart slachtoffer maakte, kreeg 0 procent de doodstraf. Bij zwarte moordenaars kreeg 5,8 procent de doodstraf als het slachtoffer zwart was, maar bij blanke slachtoffers was dat maar liefst 17,5 procent. Dit extra analyseniveau brengt een volledig nieuwe interpretatie van de cijfers naar voren. Dus de manier waarop cijfers gepresenteerd worden, hoeveel analyse niveaus toegevoegd worden of zelfs weggelaten, heeft invloed op hoe ze worden geïnterpreteerd.
De replicatiecrisis
Een tweede probleem gaat over replicatie: als ik dezelfde methode op dezelfde onderwerpen toepas, krijg ik dan dezelfde resultaten, met andere woorden, zijn de resultaten repliceerbaar? In 2011 begon de replicatiecrisis in de wetenschap, toen duidelijk werd dat Diederik Stapel zich schuldig had gemaakt aan wetenschappelijke fraude. Hij manipuleerde zijn data en verzon zijn eigen gegevens. Schokkend was niet alleen de fraude zelf, maar ook dat de 55 publicaties waarbij fraude werd vastgesteld door het systeem van peerreview waren gekomen. Peer review is een proces waarbij andere wetenschappers, die experts zijn in hetzelfde vakgebied, je onderzoek controleren voordat het wordt gepubliceerd.
Naar aanleiding van deze gebeurtenis voerde Brian Nosek een studie uit waarin hij 270 auteurs en 100 gepubliceerde studies onderzocht. Het eerste wat opviel, was dat 97% van de studies significante resultaten vonden. Er werden vrijwel geen studies gepubliceerd waarbij de aanvankelijke hypothese niet houdbaar bleek, maar juist de nulhypothese van toepassing was, de hypothese dat er geen effect of verschil is. Bij pogingen tot replicatie bleek het aantal significante resultaten echter te zijn gedaald tot 36%, en was de effectgrootte minder dan de helft van de effectgrootte die werd gerapporteerd in de oorspronkelijke studies. In 2015 werd een grootschalige studie gepubliceerd waarin meer dan 250.000 nulhypothese-significantietoetsingen werden onderzocht met het speciaal daarvoor ontwikkelde pakket Statcheck. Tijdens dit onderzoek vond men dat voor farmaceutische bedrijven (zoals Bayer) slechts 20-25 procent van validiteitsonderzoeken repliceerbaar was. Dit betekent dus dat maar 20-25 procent van de studies met medicijnen dezelfde resultaten gaven als in de oorspronkelijke studie. 75 procent behaalde niet dezelfde resultaten. Via een enquête door het wetenschappelijke tijdschrift Nature onder 1576 wetenschappers – scheikundigen, natuurkundigen, ingenieurs, aard- en milieuwetenschappers, biologen, geneeskundigen en andere vakgebieden – gaf 90% aan te denken dat er in meer of mindere mate sprake was van een replicatiecrisis. Meer dan 70% van hen hadden zonder succes gepoogd andere studies te repliceren, terwijl ruim de helft niet in staat bleek eigen studies te repliceren.
Onzekere zekerheid
Wetenschap, die zich profileert als het enige juiste instrument om kennis te vergaren, heeft ons helemaal geen absolute zekerheid gebracht. Het feit dat meer dan 70% van de wetenschappers niet slaagt in het repliceren van studies van anderen en meer dan de helft niet hun eigen werk kon repliceren, duidt op structurele problemen. Als er iets is wat ik u als lezer probeer duidelijk te maken, is het: wees kritisch. Heb niet zomaar een geloof in cijfers, grafieken en tabellen. Neem ze niet zomaar blind over en probeer zelf alert te zijn voor de eventueel aanwezige subjectieve elementen en wees bewust van de al dan niet onzichtbare invloed die deze uitoefenen.