Lijnen die samen dansen op je grafiek zijn niet per se een oorzakelijke tango

Maar laten we eerlijk zijn, als het aantal verkochte ijsjes tegelijk stijgt met het aantal verdrinkingen, dan betekent dat waarschijnlijk gewoon dat het warm is en iedereen verkoeling zoekt bij het water. Een ijsje, hoe groot ook, duwt niemand het zwembad in. Het verband is er, maar het is niet per se een oorzakelijk verband. Er is duidelijk een derde variabele in het spel die het verhaal spannend maakt, zoals de temperatuur.

Lijnen die samen dansen op je grafiek zijn niet per se partners in een oorzakelijke tango. Dus bij de volgende dramatische krantenkop over koffieconsumptie en hartritmestoornissen: neem je kopje met een korreltje zout, en vraag je af of correlatie ook echt causaliteit is, of dat er gewoon weer een derde, onzichtbare danspartner meedoet.

Een voorbeeld uit de praktijk

Het (b)lijkt dat in een gemeente buurten met meer groenvoorzieningen gemiddeld een lager criminaliteitscijfer scoren. Men zou kunnen concluderen dat meer bomen en parken automatisch de criminaliteit verlagen. Maar het zou ook kunnen dat rijkere buurten (die vaak toch al veiliger zijn) meer geld investeren in groen, of dat een derde factor, zoals sociale cohesie of meer toezicht, een rol speelt. Als beleidsmakers direct investeren in meer parken om criminaliteit te bestrijden, zonder deze factoren te onderzoeken, kan dat leiden tot teleurstellende of zelfs averechts werkende resultaten, want meer parken kunnen zomaar leiden tot meer hangjongeren of hangouderen die tot overlast leiden.

Door de eeuwen heen is gebleken dat het voor mensen moeilijk is om onderscheid te maken tussen een causaal verband en een statistisch significante correlatie. Het zou zo maar kunnen verklaren waarom er regendansen zijn, of waarom er geofferd wordt voor een goede oogst. Het is niet onwaarschijnlijk dat iemand een willekeurige activiteit gedaan heeft (zoals dansen) waarna er iets positiefs gebeurde (regen!) met vervolgens de hoop of verwachting dat het herhalen ervan opnieuw leidt tot het zelfde gevolg. Ook oude ‘geneeskunde’ waarbij de vreemdste zaken geprobeerd zijn, zijn soms traditie geworden, omdat het ‘gewerkt’ heeft. Maar ook dit was vaak toeval: omdat je eerst A deed en daarna B gebeurde, betekent niet dat A ook invloed heeft gehad op B.

Trap jij er zelf nooit in? Uit onderzoek tijdens de coronapandemie bleek dat er een correlatie bestond tussen mensen met een vitamine D-tekort en het coronasterftecijfer. Toen dit bekend werd lazen veel mensen dit als een argument om vitamine D-pillen te gaan slikken. En nu jij dit leest lijkt dat misschien ‘best logisch’. Maar de onderzoekers gaven expliciet aan dat ze geen reden zagen om meer vitamine D te slikken. Er was gewoon een correlatie aangetroffen, meer niet. Die laatste nuance van de onderzoekers heeft het nieuws echter niet gered, waardoor er veel meer vitaminde D werd gekocht.

Gefopt door willekeur

In zijn schitterende boek ‘Fooled by randomness’ schrijft de wiskundige Nassim Nicholas Taleb (vooral bekend van zijn boek The Black Swan) precies over dit onderwerp: mensen hebben sterk de neiging verbanden te zien, ook als die er niet zijn. Andersom hebben ze er moeite mee om te accepteren dat gebeurtenissen willekeurig optreden. We zeggen niet voor niets ‘alle goede dingen in drieën’ en niet alleen in Nederland, maar wereldwijd.

Ook dat suggereert een verband dat er niet is. Taleb refereert in zijn boek naar het (schitterende!) werk van psycholoog Daniel Kahnemann die onderzoek deed naar de ‘Narrative Fallacy’: de valkuil van het narratief, waarbij complexe zaken versimpeld worden door een niet bestaand causaal verband te suggereren. Veel mensen accepteren een makkelijke (maar onjuiste!) uitleg boven een ingewikkelde nuance. In de politiek heet dit verschijnsel populisme. De correlatie tussen immigratie en criminaliteit is hier een veelgebruikt voorbeeld van. Is dit een ‘overduidelijke causale relatie’ of is hier meer nuance in te maken?

Inschattingen van risico’s kunnen flink de mist ingaan als er onvoldoende zicht is op het verschijnsel van correlatie versus causaliteit.

Wat ‘we’ dus vaak vergeten is dat veel gebeurtenissen, activiteiten of verschijnselen een zekere willekeurigheid volgen. Dit geldt bijvoorbeeld voor het weer, je humeur, je gezondheid, het raakschieten van een penalty, de opbrengst van het land, het krijgen van kinderen, de kwaliteit van je werk etcetera.  Toch menen veel mensen op zowat alles wat hiervoor genoemd is invloed te kunnen uitoefenen. En als die invloed een verbetering laat zien, heeft het ‘dus’ gewerkt. En ook dat, zo voel je ondertussen aan, is zeker niet altijd waar. Een griepje duurt een paar dagen en alle tips ten spijt, moet je deze uitzieken zolang het duurt. Gelukssokken bij penaltyschieten helpen niet.

Een aardig voorbeeld van ingebeelde invloed is een onderzoek van Kahnemann waarin hij keek naar de prestaties van piloten en de invloed die hun leidinggevenden daarop hadden. De leidinggevenden waren ervan overtuigd dat het bestraffen van slechte prestaties werkte, maar het belonen van goede prestaties niet. Want als ze een piloot op hun donder gaven als ze een slechte dag hadden, deden ze het daarna écht beter. Maar als ze beloonden voor een goede dag deden ze het de volgende dag niet opnieuw zo goed, vaak juist slechter! Kahnemann toonde aan dat de prestaties van piloten redelijk ‘random’ verdeeld zijn: soms hadden ze een goede dag, soms een slechte. Gewoon, zoals jij een ik. Na een slechte dag volgt vaak een betere, en na een heel goede dag vaak een minder goede. Een donderpreek of een aai over de bol had binnen het onderzoek van Kahnemann nauwelijks invloed!

Hoe weet je dan wel of A invloed heeft op B?

Maar hoe werkt dat dan in de wetenschap? Hoe  stel je vast dat A en B niet alleen een duidelijke correlatie hebben, maar dat er daadwerkelijk een causaal verband is? Dat doe je door (blinde) testen met een controlegroep:

Dat doe je door (blinde) testen met een controlegroep: je deelt een groep in twee gelijke delen, stelt een groep bloot aan middel A en de ander niet (of bijvoorbeeld aan een placebo). Vervolgens onderzoek je de ontwikkelingen binnen de twee groepen van het effect B, dat je wilt meten om vast te stellen of middel A effect heeft op B. Deze methode haalt overigens ook feilloos de eerder beschreven willekeurigheid van verschijnselen naar boven. Want als een gebeurtenis voldoende willekeurig is, zijn de invloeden van middel A en het placebo even sterk.

Het kan verleidelijk zijn om harde conclusies te trekken uit een correlatie. Al die mooie grafieken die suggereren dat A gebeurt, B vanzelf volgt. Maar laat je niet misleiden: wat samen opgaat, betekent dus niet dat het één het ander veroorzaakt. Vaak zijn er andere variabelen in het spel of is het gewoon toeval.

Dus voordat je conclusies trekt op basis van data, stel jezelf altijd de kritische vraag: “Is er écht sprake van oorzakelijk verband, of zie ik gewoon twee dingen die toevallig tegelijk gebeuren?” Een goede en onderbouwde grafiek liegt niet, maar je interpretatie kan dat zeker wel doen. Dus laat je logisch verstand het winnen van je opwinding over die perfecte lijn en de correlatie.

Nu denk je wellicht: Nou en? Wat moet ik hiermee?

Vanuit riskmanagement is het goed te weten dat het verschijnsel bestaat. Veel risico’s worden geschat of gemeten. Als er te weinig data beschikbaar is (of als niemand de moeite neemt data te zoeken) worden risico’s geschat op basis van het persoonlijke gevoel van de aanwezigen. Inschattingen van risico’s kunnen flink de mist ingaan als er onvoldoende zicht is op het verschijnsel van correlatie versus causaliteit.

Ook beleidsmakers (bijvoorbeeld bij HR) doen er goed aan om bij implementatie van regels goed in ogenschouw te nemen wat de data écht zegt (bijvoorbeeld over belonen en bestraffen) voordat een systematiek aangepast wordt. Je brein ziet mogelijk causale verbanden waar ze niet zijn. Hier bewust zijn kan je ook van vooroordelen af helpen. Schiet dus niet direct in de actiemodus door maatregelen te adviseren of op te pakken, voordat je zeker bent van de causale verbanden.

En pas deze zomer nog een beetje op voor grote ijsjes aan de rand van een zwembad. Voor je het weet lig je erin.

LEES OOK: Dreigend tekort arbeidsmigranten is riskmanagement voor CFO