PwC MO loopt tegen de lamp met rapporten waar AI erop losliegt

De Midden-Oosten tak van PwC, een wereldwijde gerenommeerde consultancy en accountantsketen, is betrapt op rapporten waar kwistig gebruik is gemaakt van foute informatie die door AI is gegeneerd. Hierover schrijft de Financial Times. De MO-tak publiceerde meerdere rapporten over AI en elektrische voertuigen met onjuiste bronvermeldingen, verzonnen wetenschappelijke verwijzingen en niet-verifieerbare informatie. De Financial Times baseert zich op basis van onderzoek van AI-detectiebedrijf GPTZero.

De fouten zijn aangetroffen in vier zogenoemde thought leadership-rapporten van PwC Midden-Oosten, die bedoeld zijn voor de adviestak van het bedrijf. Volgens de onderzoekers vertonen de rapporten duidelijke kenmerken van door AI gegenereerde teksten, waaronder hallucinaties: verzonnen feiten, foutieve bronvermeldingen en verwijzingen naar niet-bestaande webpagina’s en wetenschappelijke publicaties.

Luchtkwaliteit in Riyad

Een van de opvallendste voorbeelden is een wetenschappelijk artikel over de luchtkwaliteit in Riyad dat volgens GPTZero nooit heeft bestaan. Ook verschillende voetnoten verwijzen naar irrelevante of onvindbare bronnen. In één geval wordt zelfs een blog van een tiener met slechts enkele honderden volgers aangehaald als bron voor een succesverhaal over AI bij zakenbank JPMorgan.

Volgens GPTZero wijzen ook inconsistenties in de bronvermeldingen op het gebruik van generatieve AI. Zo wordt in één rapport drie keer dezelfde statistiek over verkeersongelukken genoemd, telkens met een andere of ontbrekende bronvermelding. Ook bevat een url in een van de rapporten de aanduiding utm_source=chatgpt.com, wat suggereert dat de informatie via ChatGPT is verkregen.

Bronvermeldingen aanpassen

PwC Midden-Oosten laat weten de juistheid van zijn publicaties serieus te nemen en een beperkt aantal bronvermeldingen in de betrokken rapporten aan te passen. Het bedrijf benadrukt dat het interne kwaliteitscontroles hanteert voor onderzoek en het verantwoord gebruik van AI, maar gaf geen verklaring voor het ontstaan van de fouten.

Het incident is pijnlijk voor PwC, dat net als andere grote accountants- en advieskantoren bedrijven adviseert over de veilige en verantwoorde inzet van kunstmatige intelligentie. Eerder moesten ook concurrenten EY en KPMG rapporten intrekken nadat daarin vergelijkbare AI-gegenereerde fouten waren ontdekt.