4 manieren om te misleiden met statistiek

Waar je ook kijkt, overal wordt gestrooid met cijfers en statistieken. Maar ‘er schuilt terreur in cijfers,’ schrijft financieel journalist Darrell Huff in zijn boek Liegen met cijfers, de vertaling van de bestseller How to Lie with Statistics. Deze bestseller werd voor het eerst gepubliceerd in 1954, maar de herkenbare voorbeelden en onmisbare inzichten zijn tijdloos en nu relevanter dan ooit. 

In dit boek maakt Huff een einde aan list en bedrog met cijfers – hij onthult op welke sluwe manieren statistische cijfers worden misbruikt om een mooier beeld te schetsen of de waarheid te verdraaien. Hieronder vijf typische voorbeelden. 
 
1. Verwar correlatie met causaliteit
Dit is een bekende valkuil in de statistiek. Dat er een relatie is tussen twee statistieken, betekent niet dat de ene de oorzaak is van de andere. Dit 'mentale bochtjes afsnijden’ leidt tot veronderstellingen dat als lage cijfers en roken samen gaan, dat moet betekenen dat roken lage cijfers veroorzaakt. Of, wanneer er meer ijs verkocht wordt er ook meer moorden worden gepleegd. Zouden beide iets met het weer te maken kunnen hebben?
 
Managers kunnen hier gebruik van maken. Laten we zeggen dat een verkoopmanager de pijplijn met leads wil laten groeien. Dus verhoogt hij het aantal telefoontjes dat sales medewerkers moeten plegen met 20 procent. De week daarop neemt het aantal leads toe met 18 procent, waarop de verkoopmanager meteen naar zijn baas stapt om te vertellen hoe succesvol zijn maatregel is geweest. Maar misschien zijn er wel verborgen variabelen in het spel. Misschien is er gelijktijdig een nieuwe lijst met potentiële klanten geïntroduceerd die de stijging heeft veroorzaakt. Een goede scepticus twijfelt aan te snel getrokken conclusies over causaliteit.

2. Gebruik semi-verwante cijfers
Als je iets wilt bewijzen dat je niet kunt bewijzen, toon dan iets anders aan en doe net alsof dat hetzelfde is. In jaarverslagen wordt dit volop toegepast. Een lezer van Harper’s Magazine sprong in een ingezonden brief ooit op de bres voor supermarktketen A&P door te wijzen op de lage netto opbrengst van slechts 1,1 procent van de omzet. Dat klinkt inderdaad verontrustend laag. Vergelijk het met de 4 tot 6 procent rente die je dat jaar moest betalen voor je banklening of hypotheek. Zou A&P niet beter af zijn als ze uit de kruidenierswaren zouden stappen en hun kapitaal gewoon op de bank zouden zetten om rente te trekken? 

De denkfout is dat jaarlijkse return on investment (ROI) niet hetzelfde is als de return on sales (winstdeel van de totale omzet). In een latere editie van Harper’s reageerde een andere lezer met de volgende opmerking: “Als ik elke ochtend een artikel koop voor 99 cent en die elke middag doorverkoop voor 1 dollar, dan maak ik maar 1 procent winst op de omzet, maar 365 procent op mijn investering in een heel jaar” (want je investeert dezelfde 99 cent steeds opnieuw). Je kunt elk resultaat op vele manieren presenteren. Je kunt exact hetzelfde cijfer bijvoorbeeld uitdrukken als 1 procent ROI, 15 procent return on investment, een winst van tien miljoen, een winstverhoging van 40 procent (vergeleken met het gemiddelde van een periode van vier jaar) of een winstdaling van 60 procent ten opzichte van vorig jaar. Je kiest gewoon de methode die de boodschap het beste ondersteunt en vertrouwt erop dat slechts weinig lezers doorhebben hoe slecht dat cijfer de werkelijke situatie weerspiegelt. 

 
3. Een beeld vertekenen
Deugdelijke cijfers worden vaak – nadat ze het bureau van de statisticus hebben verlaten – verdraaid, opgeblazen of selectief gepresenteerd door een verkoper, marketeer, pr-adviseur, journalist of copywriter. Een goed hulpmiddel voor misleiding met statistische gegevens is de kaart. Met de kaart kun je op vele manieren de feiten verhullen en een vertekenend beeld geven van de werkelijkheid. Een bekend voorbeeld is de ‘oprukkende schaduw’, een illustratie die eerst in de VS werd verspreid door First National Bank en toen door talloze media werd overgenomen. 

Op de kaart worden de meeste staten ten westen van de rivier de Mississippi zwart gekleurd om aan te geven dat de totale overheidsuitgaven gelijk zijn aan het cumulatieve inkomen in die staten. Met andere woorden, de overheid geeft in totaal evenveel uit, als in die staten bij elkaar wordt verdiend. Het bedrieglijke is dat er staten zijn gekozen met een groot oppervlak, maar een laag inkomen omdat ze dun bevolkt zijn. Was de kaartenmaker begonnen in de staat New York of New England, dan was de schaduw veel minder groot en indrukwekkend geweest. Niet interessant om die kaart te verspreiden, want wat heeft het voor zin om overheidsuitgaven kleiner te laten lijken dan ze in werkelijkheid zijn. 

4. Informatie verstoppen in kleine lettertjes
‘Uit onderzoek blijkt dat mensen die poetsen met tandpasta van Doakes 23 procent minder gaatjes hebben’. Dat klinkt goed. Het onderzoek is blijkbaar verricht door een geruststellend ‘onafhankelijk’ laboratorium en de cijfers zijn gecontroleerd door een betrouwbare accountant. Wat wil je nog meer? 

Liegt Doakes hier dat het gedrukt staat? Nee. En ze hoeven ook niet te liegen, want er zijn makkelijkere manieren om aan overtuigende cijfers te komen. De belangrijkste troef in dit verhaal is de ondeugdelijke steekproef – dat wil zeggen, statistisch ondeugdelijk. Maar precies goed voor het doel dat Doakes voor ogen had. Als je de kleine lettertjes gelezen had, had je kunnen weten dat de testgroep slechts bestond uit twaalf personen. Eigenlijk nog best sportief van Doakes dat ze dat in de kleine lettertjes vermeldden, want de meeste adverteerders laten die informatie achterwege…

In Liegen met cijfers vindt u nog veel meer schandalige voorbeelden. 

Vijf vragen om te stellen als statistieken gebruikt worden:
Voorkomen dat je bedrogen wordt door misleidende statistieken? Stel altijd onderstaande vijf vragen: 
1. Wie zegt het en met welke belangen?
2. Hoe weten ze dat?
3. Wat ontbreekt er? 
4. Is het de echte statistiek of wat iemand rapporteert? 
5. Rijmt het met gezond verstand? 

Lees ook: 5 bouwstenen van radicaal verbeterde externe rapportages