Onderzoek: Effectiviteit managementrapportages schrikbarend laag

Inleiding
In twee eerdere publicaties (Gillissen en Kruger, 2011, 2012) hebben wij – Merlijn Gillissen en Marcel Kruger van Decido – aangegeven dat er 10 valkuilen bestaan die wij regelmatig tegenkomen bij organisaties. Sinds 2011 hebben we enquêtes gehouden over het gebruik van managementrapportages bij organisaties en de mate waarin de managementsrapportages effectief werden gebruikt.

In dit artikel bespreken we de resultaten van deze enquêtes. De enquêtes zijn ingevuld door bijna tweehonderd organisaties, verdeeld over zowel de profit als de not-for-profit sector. De analyse gaf het schrikbarende beeld dat bij ruim 70 procent van de organisaties, minder dan de helft van de gebruikers de managementrapportages ook echt gebruiken. Bovendien blijkt dat gemiddeld 25% van de organisaties zeer ontevreden is over de kwaliteit en effectiviteit van hun managementrapportages. Slechts 16 procent is tevreden over de bruikbaarheid ervan in dagelijkse besturing en beslissingsvraagstukken.

We bespreken eerst op hoofdlijnen de belangrijkste bevindingen. We gaan daarbij vooral in op twee kwadranten van de effectiviteit van rapportages, te weten ‘kennen’ en ‘kunnen’.

Effectief gebruik nog steeds laag
Figuur 1 geeft aan wat het effectief gebruik van managementrapportages is bij organisaties. Respondenten gaven antwoord op de vraag ‘Hoeveel procent van de managers gebruikt de rapportages effectief bij besturing?’. We kijken hier dus niet naar het percentage managers dat een set aan rapportages krijgt, maar welk percentage er daadwerkelijk iets mee doet in besturing.

Figuur 1: Gebruik van management rapportages, bron Decido 2011-2012

Op basis van de resultaten zijn er drie constateringen te doen:
1. Bij nog geen 20 procent van de organisaties wordt grotendeels gestuurd via management rapportages
2. Meer dan de helft van de organisaties geeft aan dat het merendeel van hun managers niet beslist op basis van de rapportages
3. Bij ruim 30 procent van de organisaties worden de rapportages bijna volledig niet gebruikt bij de besturing van de organisatie.

Als we kijken naar het onderscheid tussen profit en not-for-profit instellingen, zien we duidelijk een groot verschil in effectiviteit: bij not-for-profit organisaties (vooral overheid en zorginstellingen), geven ruim 80 procent van de respondenten aan dat hun management niet of nauwelijks management informatie gebruikt om te sturen. Het gemiddeld effectief gebruik van management informatie bij not-for-profit-instellingen ligt rond de 20 procent.

Effectiviteit: kennen, kunnen, willen, doen
Wanneer worden managementrapportages nu echt gebruikt? Wat zijn de organisatorische randvoorwaarden die ingevuld moeten zijn opdat managers daadwerkelijk hun rapportages gebruiken als basis voor besluitvorming? Naar onze mening zijn dat vier kwadranten:

A) Kennen
Bij ‘Kennen’ staat de vraag centraal of de gebruiker snapt naar welke informatie hij kijkt. Belangrijke aspecten bij het kennen (of begrijpen) van rapportages zijn:
– Definitie: weten ze naar welke indicator ze kijken en kennen ze de definitie?
– Belang: weten ze waarom deze indicator belangrijk is voor besturing?
– Verband: kennen ze de verbanden tussen de indicatoren en snappen ze oorzaak en gevolg?
– Praktijkaansluiting: weten ze de relatie te leggen tussen de indicatoren en hun dagelijkse werkzaamheden?

B) Kunnen
Bij ‘Kunnen’ staat de vraag centraal of de gebruiker ook iets met de getoonde informatie kan doen. Belangrijke aspecten bij het kunnen (of in praktijk brengen) van rapportages zijn:
– Beïnvloedbaarheid: kunnen ze de indicator zelf beïnvloeden of niet?
– Signalering: kunnen ze snel zien welke indicator ‘op rood’ staat en welke ‘op groen’?
– Diagnostiek: kunnen ze na de signalering snel tot de oorzaak van de afwijking komen?
– Actiegerichtheid: kunnen ze zelf acties definiëren om de resultaten bij te sturen?

C) Willen
Bij ‘Willen’ staat de vraag centraal of de gebruiker ook iets met de getoonde informatie wil doen. Belangrijke aspecten bij het echt willen gebruiken van rapportages zijn:
– Reële targets: zijn de gestelde doelen ook echt haalbaar?
– Incentive compatible: is de beoordeling in lijn met de gestelde doelen?

D) Doen
Bij ‘Doen’ staat de vraag centraal of de gebruiker ook gestimuleerd worden de rapportages te gebruiken. Belangrijke aspecten daarbij zijn:
– Aanspreken op resultaat: spreken managers elkaar aan op gestelde doelen?
– Ruimte geven: krijgen managers ruimte om bij achterblijvende resultaten zelf met verbetervoorstellen te komen of worden ze gelijk ‘afgerekend’?

Deze vier kwadranten zijn vooral organisatorische randvoorwaarden, onder te verdelen naar enerzijds de manier waarop de rapportages ontworpen zijn en anderzijds de resultaatgerichtheid van de organisatie. Dit laatste is een echt cultuuraspect. In het vervolg van dit artikel gaan we dieper in op de kwaliteit van de managementrapportages: de manier waarop ze ontworpen zijn en of ze direct gebruiksklaar zijn.

Ontwerp valkuilen die effectiviteit belemmeren
Onderstaand overzicht geeft de resultaten weer van het onderzoek naar valkuilen tijdens het ontwerp van effectieve rapportages. In het enquête zijn twaalf vragen gesteld die betrekking hadden op de volgende dimensies van het ontwerp van management rapportages(*1):

i) Lay-out – overzichtelijkheid en aantal indicatoren
ii) Inhoud – definitie van indicatoren en verband tussen indicatoren
iii) Actualiteit – verversing van gegevens en tijdige beschikbaarheid
iv) Aansluiting – toepasbaarheid en aansluiting bij dagelijkse besturing

De antwoordmogelijkheden waren kwalitatief op een 4-punts schaal van ‘Helemaal mee oneens’ tot ‘Helemaal mee eens’. Alle vragen waren positief gesteld. Er bestond geen ‘tussenantwoord’ (bv weet niet/geen mening). In onderstaand overzicht tonen we het percentage respondenten die het ‘(Helemaal) eens’ waren met de stelling. We hebben de resultaten vertaald naar de valkuilen, zoals eerder besproken in Gillissen en Kruger (2011).

Valkuil voor effectiviteit rapportages
– Er is geen samenhang tussen oorzaken en gevolgen in indicatoren (68%)
– Te veel indicatoren waardoor niet duidelijk is waarop te sturen (52%)
– De indicatoren zijn in beperkte mate of niet door de manager te beïnvloeden (50%)
– De indicatoren sluiten niet aan bij de operationele besturing (49%)
– De rapportages bevatten geen targets, stoplichten of normstelling (47%)
– De informatie wordt niet frequent ververst (35%)
Valkuilen bij het ontwerpen van effectieve managementrapportages. N=190, onderzoek Decido 2011-2012

Uit het overzicht blijkt dat het ontbreken van samenhang en oorzakelijke verbanden tussen indicatoren de grootste valkuil is bij het effectief gebruik van managementrapportages. De tweede valkuil is dat er te veel indicatoren in een rapportage staan, waardoor niet duidelijk wordt waar nu precies op gestuurd dient te worden.

Beide valkuilen hebben natuurlijk een grote relatie met elkaar: hoe meer indicatoren er in een rapportage staan, hoe moeilijker het wordt om overzicht te houden en te weten als gebruiker welke indicator nu écht van belang is om op te sturen. Als de samenhang ook nog niet duidelijk is, wordt het een brij aan indicatoren zonder oorzakelijk verband. Meer dan de helft van respondenten geeft aan meer dan 15 indicatoren in één rapport te hebben. Zonder duidelijke ‘leeswijzer’ is het dan ook best moeilijk om binnen een oogopslag te zien welke indicatoren aandacht behoeven.

Op de derde plaats in de lijst met valkuilen staat dat de indicatoren in de rapportages slechts beperkt door de manager te beïnvloeden zijn. Hier zien we in de praktijk helaas veel voorbeelden van. De oorzaak moet gezocht worden in een ‘algemene rapportage’ waarbij voorbij is gegaan aan de verantwoordelijkheidsgebieden van de managers. Een groot deel van de indicatoren zijn ‘op organisatieniveau’ en daarmee wel relevant en interessant, maar niet direct door de gebruiker te beïnvloeden. Een goed voorbeeld hiervan is het rendement op een hypothekenportefeuille van een bank. Deze is op basis van jaren tot stand gekomen en niet op korte termijn bij te sturen.

In het kielzog van beïnvloedbaarheid volgt de valkuil dat de indicatoren niet aansluiten met de dagelijkse praktijk. Dit betekent dat het moeilijk is om een concrete vertaalslag te maken naar te ondernemen acties. En dat maakt rapportages juist effectief: dat je ze gebruikt om bij te sturen. Heel vaak zie je in dashboards bijvoorbeeld percentages staan. Een percentage van iets heeft wel een intuïtieve betekenis, maar vergt altijd verdere analyse: is het probleem ontstaan door de teller of door de noemer. Voordat je daar de juiste gegevens in het juiste perspectief hebt geplaatst, ben je veel meer tijd kwijt en mensen haken dan al in een eerder stadium af.

Rapportcijfer gemiddeld een 6
In de enquête hebben we gevraagd aan respondenten om een rapportcijfer te geven over de kwaliteit van hun managementrapportages op de hierboven aangegeven dimensies. Tabel 2 toont de frequentieverdeling van de antwoorden op deze rapportcijfers. Uit de tabellen valt op te maken dat er ‘dikkere staarten’ zijn naar lage rapportcijfers, maar dat over het algemeen er redelijk nette verdelingen uitkomen. De gemiddelde rapportcijfers voor kwaliteit, actualiteit, overzichtelijkheid en bruikbaarheid liggen rond de 6, waarbij overzichtelijkheid met een 6,4 gemiddeld het hoogste van de vier aspecten scoort. Op de dimensies inhoudelijke kwaliteit en bruikbaarheid wordt het laagst gescoord.

Figuur 2: Frequentieverdeling van scores overall en not-for-profit

Als we ook hier kijken naar de verschillen tussen profit en not-for-profit, blijkt dat de not-for-profit organisaties op twee onderdelen slechter scoren: actualiteit en Inhoudelijke kwaliteit. Dit kan mogelijk verklaard worden door het feit dat relevante stuurinformatie bij zorginstellingen en (lagere) overheden nog niet frequent wordt gemeten. Bij veel zorginstellingen bestaat er een zogenaamde 4-maandsrapportage, wat neerkomt op 3 keer per jaar een set aan managementrapportages.

Ook bij de overheid wordt er nog vaak in kwartalen of 4-maandsperiodes gerapporteerd. Een tweede verklaring is dat sommige van de maatschappelijke indicatoren ook daadwerkelijk niet frequent gemeten worden. Zo zijn we bij een provincie de indicator ‘instandhouding bedreigde diersoorten’ en bij een waterschap ‘waterkwaliteit van watersystemen’ tegengekomen. Deze indicatoren worden niet frequent gemeten (en is ook een rechtvaardig besluit), maar dan bestaat de kunst er uit om andere indicatoren te benoemen die wel meer frequent iets zeggen over de onderliggende doelstelling.

Als het gaat om inhoudelijke kwaliteit kan het zo zijn dat mensen in de not-for-profit sector het moeilijker vinden om duidelijke (maatschappelijke) doelen te stellen. Bij naar-winst-strevende-organisaties zijn er inderdaad ‘makkelijker’ indicatoren zoals omzet, marktaandeel en winst te benoemen.

Aan de andere kant is onze stelling dat voor elke organisatie een juiste en relevante set van indicatoren benoemd kan worden, maar het vergt iets meer denkwerk om tot een juiste en beïnvloedbare set te komen. Op het aspect lay-out zijn de respondenten van de not-for-profit sector juist meer tevreden dan het overall gemiddelde. Wellicht kan een verklaring zijn dat de penetratie van BI-tools in de not-for-profit sector later op gang kwam dan in de profit-sector. In de not-for-profit sector is men wellicht nog onder de indruk van de mooie grafische weergave van cijfers, terwijl men hier in de profit-sector al gewend aan is.

Hoe de effectiviteit te vergroten?
Uit de resultaten blijkt dat er twee belangrijke verbeterrichtingen zijn om de effectiviteit te vergroten:
1. Lay-out-technische verbeteringen
2. Inhoudelijke verbeteringen

Op het gebied van Lay-out technische verbeteringen zijn er standaarden van managementrapportages te vinden (o.a. Stephen Few en Wayne Eckerson). Een uitgewerkt voorbeeld staat hieronder afgebeeld (zie figuur 3).

 
Figuur 3: Standaard Layout Effectieve Management Rapportage

Op het gebied van inhoudelijke verbeteringen zijn er geen goede algemene voorbeelden te geven. Dit heeft te maken met de kwaliteit van het ontwerpproces en de vertaling van de organisatiestrategie naar de verschillende lagen daaronder. Daarvoor is een aparte aanpak nodig (zie Gillissen, Kruger en Van der Ploeg 2009).

Conclusie
Veel organisaties zijn nog niet tevreden over de effectiviteit van hun management rapportages. Dit heeft niet zozeer te maken met de actualiteit en lay-out (hoewel daar nog wel verbeteringen mogelijk zijn) maar vooral met de inhoud van de rapportages. Hierbij springen twee elementen in het oog: het aantal indicatoren (en hun onderlinge relatie) en de aansluiting met de dagelijkse praktijk.

Uit de vele gesprekken die wij met managers voeren over de kwaliteit en effectiviteit van hun rapportages blijkt dat een goede rapportage op alle vier de aspecten een (ruime) voldoende moet scoren om goed gebruikt te worden. Als er ‘dissatisfyers’ zijn, geef je de gebruikers een excuus om ze niet te gebruiken, en die zullen ook echt gegrepen worden.

Helaas geven nog te veel organisaties hun gebruikers voldoende argumenten in handen om de rapportages niet te gebruiken. Een ‘face-lift’ van de rapportages is een quick-win, die geen grote investering hoeft te vergen. Een inhoudelijke beoordeling van de rapportages vergt in veel gevallen wel een serieuze investering, maar deze valt toch in het niet, in vergelijking met de investering in hard en software van BI en DWH systemen. Wil je echt effectief rendement halen uit je management rapportages, is het deze investering meer dan waard.

Bronnen
Gillissen, Kruger en Van Der Ploeg (2009), Van Ambitie naar Succes, 212 pagina’s

Wayne W. Eckerson (2010), Performance Dashboards, John Wiley and Sons Ltd, 2nd Revised edition november 2010