Dashboards voor gegevenskwaliteit kunnen geruststellende nauwkeurigheid bieden. Ze laten zien dat een dataset voor 94% compleet, voor 91% geldig of voor 86% nauwkeurig is. Ze classificeren problemen volgens bekende dimensies, zoals volledigheid, geldigheid, nauwkeurigheid, consistentie, actualiteit en uniekheid.
Deze dimensies zijn waardevol. Ze helpen organisaties vast te stellen op welke manieren gegevens gebrekkig zijn en zorgen voor een gemeenschappelijke taal om dit te monitoren. DAMA UK beschrijft op vergelijkbare wijze kwaliteitsdimensies van gegevens als indicatoren voor het meten en communiceren van gegevenskwaliteit. Het probleem ontstaat wanneer deze statistieken worden beschouwd als de ultieme maatstaf voor gegevenskwaliteit.
Wat betekent een gegevenskwaliteitsscore van 86% eigenlijk voor het bedrijf? Geeft het aan dat de productie in gevaar is? Dat facturen niet kunnen worden verwerkt? Dat inkoopbeslissingen gebaseerd zijn op onbetrouwbare informatie? Of betekent het simpelweg dat duizenden optionele velden, die zelden worden gebruikt, leeg blijven?
Een percentage kan ons vertellen hoeveel records niet aan een regel voldeden. Het kan ons niet vertellen of die fouten ertoe doen.
Wanneer het gemiddelde het echte probleem verbergt
Stel je twee datasets voor.
De eerste bevat 1.000 ongeldige waarden. Misschien ontbreken secundaire contactgegevens, worden in beschrijvingen inconsistente afkortingen gebruikt, of zijn optionele classificatievelden niet bijgewerkt. Het dashboard voor gegevenskwaliteit kleurt rood. Het aantal openstaande problemen ziet er alarmerend uit. Toch kan het directe effect op de organisatie beperkt zijn.
De tweede dataset bevat slechts één ongeldige waarde. De tweede dataset bevat slechts één ongeldige waarde. Statistisch gezien is dit bijna onzichtbaar. Operationeel gezien is het echter catastrofaal. Een onjuiste planningsparameter verhindert dat een cruciaal onderdeel wordt aangevuld. Het materiaal ontbreekt wanneer de productie van start gaat, de productielijn stopt en elk uur stilstand brengt extra kosten met zich mee. Het dashboard geeft misschien nog steeds een gegevenskwaliteit van 99% aan, maar het bedrijf produceert niet meer.
Welke dataset heeft het grotere probleem met de gegevenskwaliteit? Als we alleen naar de afgevallen records kijken, lijkt het antwoord de eerste te zijn. Als we naar de operationele impact kijken, is het antwoord wellicht duidelijk de tweede.
Dit is de zwakte van geaggregeerde statistieken over gegevenskwaliteit. Ze behandelen defecten alsof hun belang gelijkmatig over een dataset is verdeeld. In werkelijkheid is het gegevensrisico sterk geconcentreerd. Duizenden kleine problemen kunnen minder risico opleveren dan één defect op een kritiek punt in een bedrijfsproces.
Het gemiddelde maakt dit niet noodzakelijkerwijs zichtbaar. In sommige gevallen verbergt het dit juist.
Een geldige waarde kan nog steeds gevaarlijk zijn
Technische dimensies vertellen op het niveau van een individueel record slechts een deel van het verhaal. Een bankrekeningnummer van een leverancier kan volledig, correct geformatteerd en technisch geldig zijn, en toch onjuist. Een materiaalclassificatie kan perfect voldoen aan het vereiste formaat, maar toch leiden tot de verkeerde inkoop-, douane- of planningsbeslissing. Een afleveradres kan elke validatiecontrole doorstaan en toch naar de verkeerde locatie verwijzen. Omgekeerd kan een lege of technisch inconsistente waarde geen betekenisvolle gevolgen hebben als het veld niet wordt gebruikt in een relevant proces.
Dit maakt validiteit of volledigheid niet onbelangrijk. Het laat zien dat gegevenskwaliteit niet los van het doel ervan kan worden beoordeeld. Hetzelfde defect kan in de ene context onbeduidend zijn en in een andere context kritiek. Het belang ervan hangt af van het proces dat ermee wordt ondersteund, de beslissing die erdoor wordt beïnvloed en de gevolgen wanneer de waarde onjuist is.
Traditionele dimensies beantwoorden een belangrijke diagnostische vraag: Op welke manier zijn de gegevens gebrekkig?
Het bedrijf heeft daarnaast een ander antwoord nodig: Wat kan er gebeuren als gevolg van dit defect?
Zonder die tweede vraag lopen organisaties het risico zeer geavanceerde metingen te creëren van de verkeerde problemen.
De verborgen kosten van het gelijk behandelen van elk probleem
Wanneer dashboards problemen voornamelijk op basis van omvang prioriteren, kunnen datateams en zakelijke gebruikers veel moeite besteden aan het corrigeren van grote groepen zichtbare fouten met een geringe impact. Ondertussen kunnen minder frequente problemen die van invloed zijn op de productie, betalingen, compliance, leveringen aan klanten of een ERP-transformatie verborgen blijven in dezelfde backlog.
Dit leidt tot een tweede probleem. Medewerkers gaan datakwaliteit zien als een eindeloze opschoonactie in plaats van een manier om de bedrijfsprestaties te beschermen en te verbeteren. Een dashboard toont duizenden fouten. Zakelijke gebruikers worden gevraagd deze te corrigeren. Niemand kan echter duidelijk uitleggen wat de kosten van deze problemen zijn, welke processen ervan afhankelijk zijn, of waarom de ene taak voorrang zou moeten krijgen boven de andere. Na verloop van tijd neemt de aandacht af, omdat elk probleem urgent lijkt en geen enkel probleem een betekenisvol verband lijkt te hebben met een resultaat.
Het antwoord is niet om te stoppen met het meten van volledigheid, validiteit of nauwkeurigheid. Het antwoord is om die metingen te koppelen aan de bedrijfscontext.
Van het aantal defecten tot bedrijfsrisico’s
Een zinvoller dashboard voor gegevenskwaliteit zou nog steeds het aantal en het type mislukte records weergeven. Maar het zou ook laten zien welk bedrijfsproces wordt beïnvloed, de potentiële operationele of financiële gevolgen, de inspanning die nodig is voor correctie, en de persoon die verantwoordelijk is voor de beslissing.
Dit betekent niet dat elk gegevensprobleem een gedetailleerde financiële businesscase vereist. Het analyseniveau moet in verhouding staan tot de potentiële impact. Voor veel problemen kan een eenvoudige classificatie, zoals lage, gemiddelde of hoge bedrijfskritikaliteit, voldoende zijn. Voor belangrijke problemen kan een gedetailleerdere schatting worden gemaakt van de kosten, het risico of de operationele verstoring. Voor de meest kritieke gevallen kunnen organisaties procesanalyses of simulaties gebruiken om de potentiële gevolgen nauwkeuriger in kaart te brengen.
Het doel is niet om voor elk onjuist veld een exacte geldwaarde te berekenen. Het is bedoeld om betere beslissingen te nemen over prioriteiten.
Zodra deze context beschikbaar is, betekent een lager percentage voor de gegevenskwaliteit niet automatisch dat er grotere urgentie is. Een hoog percentage betekent niet automatisch dat het bedrijf beschermd is. Het management kan in plaats daarvan middelen inzetten daar waar onbetrouwbare gegevens de grootste risico's opleveren.
Het doel is geen perfecte gegevens
Organisaties zullen nooit elk gegevensprobleem oplossen. Dat hoeft ook niet.
Sommige fouten zijn te klein om de inspanning te rechtvaardigen. Sommige velden zijn niet langer relevant. Sommige inconsistenties kunnen worden getolereerd zonder dat dit gevolgen heeft voor een proces of beslissing. Het nastreven van perfecte gegevens in elk systeem en voor elk kenmerk is meestal onrealistisch en economisch twijfelachtig.
Een nuttiger doel is betrouwbare gegevens op die plaatsen waar het bedrijf zich geen mislukking kan veroorloven. Dat vereist een verschuiving in de manier waarop over gegevenskwaliteit wordt gecommuniceerd. In plaats van alleen te vragen: “Hoe volledig zijn onze gegevens?”, zouden organisaties moeten vragen: “Welke ontbrekende waarden zouden een belangrijk proces kunnen verstoren?” In plaats van alleen het aantal ongeldige records te rapporteren, moeten ze vaststellen welke ongeldige records financiële, operationele, regelgevings- of reputatierisico’s met zich meebrengen.
Volledigheid, geldigheid, nauwkeurigheid, consistentie, actualiteit en uniekheid blijven in veel gevallen relevant. Maar het zijn diagnostische dimensies, geen bedrijfsresultaten. Een datakwaliteitsscore vertelt ons hoeveel gegevens er onjuist lijken te zijn. Risicomaatstaven voor zakelijke impact vertellen ons wat we eraan moeten doen. Want wanneer één onjuist record de productie kan stilleggen, is een gemiddelde van 99% niet geruststellend. Het is irrelevant.
Klaar om te meten wat slechte gegevens daadwerkelijk verstoren?
Met de Data Quality Navigator van BearingPoint kunnen organisaties dataproblemen beoordelen, prioriteren en oplossen op basis van hun zakelijke impact, niet alleen op basis van technische aspecten of het aantal foutieve records. Bezoek BearingPoint op Data Expo om te zien hoe gegevenskwaliteit relevanter, bruikbaarder en bedrijfsgerichter kan worden. Je kunt ook terecht op www.bearingpoint.com.
